JP2021125745A - マルチディスプレイシステムとその制御方法 - Google Patents
マルチディスプレイシステムとその制御方法 Download PDFInfo
- Publication number
- JP2021125745A JP2021125745A JP2020016372A JP2020016372A JP2021125745A JP 2021125745 A JP2021125745 A JP 2021125745A JP 2020016372 A JP2020016372 A JP 2020016372A JP 2020016372 A JP2020016372 A JP 2020016372A JP 2021125745 A JP2021125745 A JP 2021125745A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- unit
- display device
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004891 communication Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 30
- 230000004044 response Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000005484 gravity Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 102220638049 E3 ubiquitin-protein ligase RFWD3_S65A_mutation Human genes 0.000 description 2
- 102220638048 E3 ubiquitin-protein ligase RFWD3_S71A_mutation Human genes 0.000 description 2
- 102220490407 S-adenosylhomocysteine hydrolase-like protein 1_S70A_mutation Human genes 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012567 pattern recognition method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102220636733 E3 ubiquitin-protein ligase RFWD3_S46A_mutation Human genes 0.000 description 1
- 102220638514 E3 ubiquitin-protein ligase RFWD3_S74A_mutation Human genes 0.000 description 1
- 102220605052 Histone H4-like protein type G_S61A_mutation Human genes 0.000 description 1
- 102220503034 Neuronal-specific septin-3_S46D_mutation Human genes 0.000 description 1
- 102220470871 Pleiotrophin_S45A_mutation Human genes 0.000 description 1
- 102220490389 S-adenosylhomocysteine hydrolase-like protein 1_S64A_mutation Human genes 0.000 description 1
- 102220474385 Solute carrier family 13 member 3_S75A_mutation Human genes 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 102220036882 rs587780102 Human genes 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムであって、
前記制御部は、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換し、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知し、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示する。
互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムの制御方法であって、
前記制御方法は、前記制御部が、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換するステップと、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知するステップと、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示するステップとを、
含む。
以下、図1〜図11を参照して、実施形態1に係るマルチディスプレイシステム100について以下に説明する。
(1)所定のLANの設定を行うLAN設定部101と、
(2)検索要求信号を用いて、他のプロジェクタである表示装置2,3を検索するプロジェクタ検索部102と、
(3)パノラマ画像を表示するため、他の表示装置2,3との相対的な位置関係で、表示部13における画像表示の配置位置(例えば、図1の例では、パノラマ画像から切り出した所定の注視画像を正面スクリーン(1S,2S,3Sのうちの1つ)に設定した場合における、パノラマ画像での配置位置(パノラマ画像を例えば三分割した分割画像(正面、正面から±180度又は±270度)のうちのいずれを表示部13に表示するか)を設定する。)を設定する配置設定部103と、
(4)表示装置1,2,3間で行う時刻同期処理において、表示装置1をマスタ装置として設定する時刻同期マスタ設定部104と、
(5)表示装置1,2,3間で行う時刻同期処理を実行する時刻同期部105と、
(6)ユーザ80の顔向きを検出して、その検出結果に基づいて、注視画像を表示する画像表示装置に対応する正面スクリーンを判定する顔向き検出及びスクリーン正面判定部106と、
(7)ユーザ80が入力した検索対象物に応答してサーバ装置9に対して動画データを検索する動画検索部107と、
(8)自装置1及び他の表示装置2,3に対して所定の制御コマンド(例えばサーバ装置9に対して動画配信のためのアクセスの指示)を一斉配信する制御コマンド一斉配信部108と、
(9)一斉配信された制御コマンドを受信して、例えばサーバ装置9に対して動画配信のためのアクセスを行う制御コマンド受信アクセス部109と、
(10)サーバ装置9から動画データを受信する動画受信部110と、
(11)受信した動画データをフレーム毎にデコードする動画デコード部111と、
(12)デコードされた動画データを、フレーム単位で注視画像を画像認識するフレーム単位画像認識部112と、
(13)画像認識された注視画像の重心の経緯度を算出する経緯度算出部113と、
(14)タイムスタンプを生成するタイムスタンプ生成部114と、
(15)複数の表示装置1,2,3で同期して同時に画像を表示するように切り替える映像表示視点切替部115と、
を備える。
(1)所定のLANの設定を行うLAN設定部201と、
(2)表示装置1からの検索要求信号に応答して、自分の表示装置の存在を通知する検索通知信号を返信するプロジェクタ検索応答部202と、
(3)パノラマ画像を表示するため、他の表示装置1,2又は3との相対的な位置関係で、表示部23における画像表示の配置位置(例えば、図1の例では、注視画像を正面スクリーン(1S,2S,3Sのうちの1つ)に設定した場合における、パノラマ画像での配置位置(パノラマ画像を例えば三分割した分割画像(正面、正面から±180度又は±270度)のうちのいずれを表示部23に表示するか)を設定する。)配置設定部203と、
(4)表示装置1,2,3間で行う時刻同期処理において、表示装置2,3をスレーブ装置として設定する時刻同期スレーブ設定部204と、
(5)表示装置1,2,3間で行う時刻同期処理を実行する時刻同期部205と、
(6)一斉配信された制御コマンドを受信して、例えばサーバ装置9に対して動画配信のためのアクセスを行う制御コマンド受信アクセス部206と、
(7)サーバ装置9から動画データを受信する動画受信部207と、
(8)受信した動画データをフレーム毎にデコードする動画デコード部208と、
(9)複数の表示装置1,2,3で同期して同時に画像を表示するように切り替える映像表示視点切替部209と、
を備える。
(1)ユーザ80は、小型端末装置15のディスプレイキーボード等を用いて、動画検索すべき検索対象物のキーワードの文字を入力し、音声入力し、もしくは表示画像中で位置指定する。当該データは小型端末装置15により認識された後、小型端末装置15から無線通信部14を介して動画検索部107に入力される。
(2)ユーザ80は、マイクロホン5に対して、動画検索すべき検索対象物のキーワードを発声して入力する。当該データは、音声認識された後、動画検索部107に入力される。
さらに、表示装置3の動画受信部208は図8の動画ダウンロード(DL)処理を実行して動画像データを受信し(S70B)、動画デコード部208はダウンロードされた動画データを1フレームずつデコードする(S71B)。
図12は実施形態2に係るマルチディスプレイシステム200の構成例を示すブロック図である。図12のマルチディスプレイシステム200は、図1のマルチディスプレイシステム1に比較して以下の点が異なる。
(1)プロジェクタである表示装置1及びスクリーン1Sに代えて、モニタ装置である表示装置1Aを備える。
(2)プロジェクタである表示装置2及びスクリーン2Sに代えて、モニタ装置である表示装置2Aを備える。
(3)プロジェクタである表示装置3及びスクリーン3Sに代えて、モニタ装置である表示装置3Aを備える。
以上の実施形態1及び2では、3個の表示装置1,2,3又は1A,2A,3Aについて説明しているが、本開示はこれに限らず、2個の以上の表示装置を備えるマルチディスプレイシステムを構成してもよい。なお、表示装置の個数に応じてパノラマ画像の分割個数が設定される。
1S.2S.3S スクリーン
4 カメラ
5 マイクロホン
6 ローカルエリアネットワーク(LAN)
7 ルータ装置
8 ワイドエリアネットワーク(WAN)
9 サーバ装置
10 制御部
11 記憶部
12 通信部
13 表示部
14 無線通信部
15 小型端末装置
20 制御部
21 記憶部
22 通信部
23 表示部
31 集合データメモリ
32 データ処理部
33 学習用データセットメモリ
34 機械学習部
35 学習済みモデルメモリ
40 学習済みモデル部
50 パノラマ画像
51 注視画像
51P 重心
60 球体
61 中心
62 カメラ
71 視野
72,72f,72n 表示域
73 近面
74 遠面
75 視錐台
75d 遠近面距離
80 ユーザ
101 LAN設定部
102 プロジェクタ検索部
103 配置設定部
104 時刻同期マスタ設定部
105 時刻同期部
106 顔向き検出及びスクリーン正面判定部
107 動画検索部
108 制御コマンド一斉配信部
109 制御コマンド受信アクセス部
100,200 マルチディスプレイシステム
110 動画受信部
111 動画デコード部
112 フレーム単位画像認識部
113 経緯度算出部
114 タイムスタンプ生成部
115 映像表示視点切替部
201 LAN設定部
202 プロジェクタ検索応答部
203 配置設定部
204 時刻同期スレーブ設定部
205 時刻同期部
206 制御コマンド受信アクセス部
207 動画受信部
208 動画デコード部
209 映像表示視点切替部
Claims (8)
- 互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムであって、
前記制御部は、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換し、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知し、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示する、マルチディスプレイシステム。 - 前記注視画像の位置情報は、前記パノラマ画像の正距円筒図の画像データにおける経緯度情報である、
請求項1に記載のマルチディスプレイシステム。 - 前記制御部は、複数のユーザの向きを検出し、前記複数のユーザのうちの多数のユーザが向いている表示装置を正面表示装置として設定して、前記表示開始時刻から時間同期して前記複数の表示装置全体で前記パノラマ画像を表示する、
請求項1又は2に記載のマルチディスプレイシステム。 - 前記表示装置はプロジェクタである、請求項1〜3のうちのいずれか1つに記載のマルチディスプレイシステム。
- 前記表示装置はモニタ装置である、請求項1〜3のうちのいずれか1つに記載のマルチディスプレイシステム。
- 互いに接続された複数の表示装置を備え、パノラマ画像を表示するように制御する制御部を備えるマルチディスプレイシステムの制御方法であって、
前記制御方法は、前記制御部が、
注視画像を含むパノラマ画像データを、正距円筒図法を用いて正距円筒図の画像データに変換するステップと、
前記正距円筒図の画像データの画像において、画像認識法を用いて所定の注視画像を特定し、前記特定した注視画像の位置情報を算出し、前記注視画像の位置情報に対して前記画像データの表示開始時刻を付加して前記各表示装置に通知するステップと、
前記注視画像の位置情報及び前記表示開始時刻に基づいて、前記注視画像を、前記複数の表示装置のうち正面表示装置として設定された表示装置において表示するステップとを、
含むマルチディスプレイシステムの制御方法。 - 前記注視画像の位置情報は、前記パノラマ画像の正距円筒図の画像データにおける経緯度情報である、
請求項5に記載のマルチディスプレイシステムの制御方法。 - 前記制御部が、複数のユーザの向きを検出し、前記複数のユーザのうちの多数のユーザが向いている表示装置を正面表示装置として設定して、前記表示開始時刻から時間同期して前記複数の表示装置全体で前記パノラマ画像を表示するステップをさらに含む、
請求項5又は6に記載のマルチディスプレイシステムの制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016372A JP7429861B2 (ja) | 2020-02-03 | 2020-02-03 | マルチディスプレイシステムとその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016372A JP7429861B2 (ja) | 2020-02-03 | 2020-02-03 | マルチディスプレイシステムとその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021125745A true JP2021125745A (ja) | 2021-08-30 |
JP7429861B2 JP7429861B2 (ja) | 2024-02-09 |
Family
ID=77459681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016372A Active JP7429861B2 (ja) | 2020-02-03 | 2020-02-03 | マルチディスプレイシステムとその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7429861B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7410523B1 (ja) | 2022-08-19 | 2024-01-10 | 株式会社ブイキューブ | 表示装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014016828A (ja) * | 2012-07-09 | 2014-01-30 | Konami Digital Entertainment Co Ltd | アプリケーション管理装置、アプリケーション管理システム、アプリケーション管理方法、およびアプリケーション管理プログラム |
JP2018110384A (ja) * | 2016-12-28 | 2018-07-12 | 株式会社リコー | 画像処理装置、撮影システム、画像処理方法、及びプログラム |
US20190273863A1 (en) * | 2016-09-16 | 2019-09-05 | Max-Planck-Gesellschaft Zur Forderung D. Wissenschaften E.V. | Interactive Data Visualization Environment |
-
2020
- 2020-02-03 JP JP2020016372A patent/JP7429861B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014016828A (ja) * | 2012-07-09 | 2014-01-30 | Konami Digital Entertainment Co Ltd | アプリケーション管理装置、アプリケーション管理システム、アプリケーション管理方法、およびアプリケーション管理プログラム |
US20190273863A1 (en) * | 2016-09-16 | 2019-09-05 | Max-Planck-Gesellschaft Zur Forderung D. Wissenschaften E.V. | Interactive Data Visualization Environment |
JP2018110384A (ja) * | 2016-12-28 | 2018-07-12 | 株式会社リコー | 画像処理装置、撮影システム、画像処理方法、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7410523B1 (ja) | 2022-08-19 | 2024-01-10 | 株式会社ブイキューブ | 表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7429861B2 (ja) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10712555B2 (en) | Streaming virtual reality video | |
US8867886B2 (en) | Surround video playback | |
WO2017086263A1 (ja) | 情報処理装置および画像生成方法 | |
JP2019533372A (ja) | パノラマ画像の表示制御方法、装置及び記憶媒体 | |
JP4148671B2 (ja) | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム | |
US20130129304A1 (en) | Variable 3-d surround video playback with virtual panning and smooth transition | |
TWI644235B (zh) | Wearable instant interaction system | |
JP2016025633A (ja) | 情報処理装置、管理装置、情報処理方法、およびプログラム | |
JP2019531038A (ja) | ディスプレイ装置及びその制御方法 | |
CN116325771A (zh) | 用于提供图像平移、倾斜和变焦功能的多传感器摄像系统、设备和方法 | |
JP2022040434A (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
JP2022057771A (ja) | 通信管理装置、画像通信システム、通信管理方法及びプログラム | |
JP7429861B2 (ja) | マルチディスプレイシステムとその制御方法 | |
WO2020138258A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6807744B2 (ja) | 画像表示方法及び装置 | |
JP2014072608A (ja) | 情報処理システム、情報処理装置、表示装置、及びプログラム | |
EP4152310A1 (en) | Remote control system, remote operation device therefor, video processing device, and program | |
KR20180052255A (ko) | 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치 | |
JP6308842B2 (ja) | 表示システム及びプログラム | |
KR20180059285A (ko) | 가상현실 영상을 제공하는 미디어 재생 장치 및 영상 제공 서버 | |
JP5861684B2 (ja) | 情報処理装置、及びプログラム | |
JP2006318385A (ja) | 画像生成システム、プログラムおよび情報記憶媒体 | |
JP6711118B2 (ja) | 画像管理システム、プログラム及び情報端末 | |
US20230260235A1 (en) | Information processing apparatus, information processing method, and information processing system | |
JP6655751B1 (ja) | 映像表示制御装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240116 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7429861 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |