JP2020182243A - 情報処理装置およびマルチカメラシステム - Google Patents
情報処理装置およびマルチカメラシステム Download PDFInfo
- Publication number
- JP2020182243A JP2020182243A JP2020127781A JP2020127781A JP2020182243A JP 2020182243 A JP2020182243 A JP 2020182243A JP 2020127781 A JP2020127781 A JP 2020127781A JP 2020127781 A JP2020127781 A JP 2020127781A JP 2020182243 A JP2020182243 A JP 2020182243A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- camera
- cameras
- image data
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000012546 transfer Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 29
- 238000012790 confirmation Methods 0.000 abstract description 100
- 238000012545 processing Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
Description
複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステムにある。
1.実施の形態
2.変形例
[マルチカメラシステムの構成例]
図1は、実施の形態としてのマルチカメラシステム10Aの構成例を示している。このマルチカメラシステム10Aは、複数個、ここでは3個のカメラ(ビデオカメラ)、つまりカメラ(カメラA)101-A、カメラ(カメラB)101-B、カメラ(カメラC)101-Cを有している。また、マルチカメラシステム10Aは、スマートフォンやタブレットなどの携帯端末あるいはパーソナルコンピュータ等からなる確認装置102を有している。
図3は、カメラ101(101-A,101-B,101-C)の構成例を示している。カメラ101は、CPU111と、メモリ112と、イメージャ/レンズ部113と、カメラ信号処理部114と、コーデック処理部115を有している。また、カメラ101は、パネル処理部116と、パネル117と、有線通信処理部118と、有線LAN端子119と、無線通信処理部120と、アンテナ121を有している。
図4は、確認装置102の構成例を示している。確認装置102は、CPU131と、メモリ132と、コーデック処理部133と、グラフィック処理部134を有している。また、確認装置102は、パネル処理部135と、パネル136と、有線通信処理部137と、有線LAN端子138と、無線通信処理部139と、アンテナ140を有している。
図5は、確認装置102から各カメラにエンドトリガ信号を送った場合に各カメラでフレームバッファ内のフレームに番号付をする際のタイミングチャートの一例を示している。時刻t1で、確認装置102から各カメラにエンドトリガ信号が送られる。各カメラは、この時刻t1に対応したフレームまでで記録動作を停止し(撮像動作は必ずしも停止する必要はないが、撮像動作も停止してもよい)、当該フレームのフレーム番号を「1」とする。そして、各カメラは、フレームバッファに記録されている各フレームに対して、このフレーム番号「1」のフレームを基準に時間を遡って各フレームに番号付けしていく。
図6は、確認装置102のパネル136に表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示している。この例では、カメラ(カメラA)101-Aが選択され、その撮像画像300が表示されている。この画面には、撮像画像にユーザ操作用のUI画面が重畳されている。
図7のシーケンス図は、確認装置102での再生時における各カメラとの間の通信のシーケンス例を示している。まず、カメラ(カメラA)101-Aの画像をコマ送りして表示する際の通信例を示している。
なお、上述では、確認装置102に所定カメラの所定フレームの画像を表示する際に、当該所定フレームの画像データを当該所定カメラからその都度取得する例を示した。この場合、特に、無線LAN接続の場合、通信経路の状況によっては表示レイテンシが延びることが想定される。
なお、上述実施の形態においては、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートが60Hzである例を示した。本技術は、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートがその他の場合にも同様に適用でき、例えば、ハイフレームレート、例えば、図5に示す240Hzなどの場合にあっても同様に適用できる。
(1)複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステム。
(2)上記複数のカメラは同一被写体を異なるアングルで撮像する
前記(1)に記載のマルチカメラシステム。
(3)イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
カメラ。
(4)上記メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される
前記(3)に記載のカメラ。
(5)上記メモリには、各フレームの画像データが、少なくとも所定時間以上の単位でループ記録される
前記(3)または(4)に記載のカメラ。
(6)イメージャと、該イメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えるカメラの処理方法であって、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付けるステップと、
上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送するステップを有する
カメラの処理方法。
(7)ディスプレイと、
複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
確認装置。
(8)上記所定カメラの切り替えを行うための操作部をさらに備える
前記(7)に記載の確認装置。
(9)上記操作部は、上記ディスプレイの画面上に配置されたタッチパネルにより構成される
前記委(8)に記載の確認装置。
(10)上記ディスプレイには、上記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
前記(9)に記載の確認装置。
(11)ディスプレイを備える確認装置の処理方法であって、
複数のカメラにエンドトリガ信号を送信するステップと、
上記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信するステップと、
上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示するステップを有する
確認装置の処理方法。
101,101-A,101-B,101-C・・・カメラ
102・・・確認装置
103-A,103-B,103-C・・・制御用機器
111・・・CPU
112・・・メモリ
113・・・イメージャ/レンズ部
114・・・カメラ信号処理部
115・・・コーデック処理部
116・・・パネル処理部
117・・・パネル
118・・・有線通信処理部
119・・・有線LAN端子
120・・・無線通信処理部
121・・・アンテナ
131・・・CPU
132・・・メモリ
133・・・コーデック処理部
134・・・グラフィック処理部
135・・・パネル処理部
136・・・パネル
137・・・有線通信処理部
138・・・有線LAN端子
139・・・無線通信処理部
140・・・アンテナ
Claims (26)
- 同一の被写体を異なるアングルで撮像する複数のカメラにより撮像された各フレームに対し、前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理を制御する制御部を有する、
情報処理装置。 - 前記割り当てさせる制御は、トリガ信号の送信により行われる
請求項1に記載の情報処理装置。 - 前記複数のカメラは、前記トリガ信号の受信タイミングに基づいて、それぞれのカメラにより撮像されたフレームの中から前記各フレームを選択する
請求項2に記載の情報処理装置。 - 前記各フレームは、前記トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームである
請求項3に記載の情報処理装置。 - 前記各フレームは、前記複数のカメラのそれぞれにより撮像されたフレームのうち一部の連続するフレームである
請求項1から4のいずれかに記載の情報処理装置。 - 前記各フレーム対して割り当てさせる前記フレーム番号は、連続するフレーム番号である
請求項1から5のいずれかに記載の情報処理装置。 - 前記制御部は、前記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理を制御する
請求項1から6のいずれかに記載の情報処理装置。 - 前記制御部は、前記フレーム番号で指定されたフレームの画像データを前記所定カメラから受信する処理を制御する
請求項7に記載の情報処理装置。 - 前記複数のカメラは、前記各フレームの画像データをイントラフレーム圧縮してメモリに書き込み、
前記受信した画像データは、前記フレーム番号で指定されたフレームの前記イントラフレーム圧縮された画像データである
請求項8に記載の情報処理装置。 - 前記制御部は、前記受信した画像データによる画像をディスプレイに表示する処理を制御する
請求項8または9に記載の情報処理装置。 - 前記所定カメラの切り替えを行うための操作部を有する
請求項7から10のいずれかに記載の情報処理装置。 - 前記操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される
請求項11に記載の情報処理装置。 - 前記ディスプレイには、前記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
請求項12に記載の情報処理装置。 - 複数のカメラと、該複数のカメラに有線あるいは無線で接続された情報処理装置を備え、
前記情報処理装置は、
同一の被写体を異なるアングルで撮像する前記複数のカメラにより撮像された各フレームに対し、前記複数のカメラに前記複数カメラ間で同じ時間のフレームには同じフレーム番号を割り当てさせる処理を制御する制御部を有する、
マルチカメラシステム。 - 前記割り当てさせる制御は、トリガ信号の送信により行われる
請求項14に記載のマルチカメラシステム。 - 前記複数のカメラは、前記トリガ信号の受信タイミングに基づいて、それぞれのカメラにより撮像されたフレームの中から前記各フレームを選択する
請求項15に記載のマルチカメラシステム。 - 前記各フレームは、前記トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームである
請求項16に記載のマルチカメラシステム。 - 前記各フレームは、前記複数のカメラのそれぞれにより撮像されたフレームのうち一部の連続するフレームである
請求項14から17のいずれかに記載のマルチカメラシステム。 - 前記各フレーム対して割り当てさせる前記フレーム番号は、連続するフレーム番号である
請求項14から18のいずれかに記載のマルチカメラシステム。 - 前記制御部は、前記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理を制御する
請求項14から19のいずれかに記載のマルチカメラシステム。 - 前記制御部は、前記フレーム番号で指定されたフレームの画像データを前記所定カメラから受信する処理を制御する
請求項20に記載のマルチカメラシステム。 - 前記複数のカメラは、前記各フレームの画像データをイントラフレーム圧縮してメモリに書き込み、
前記受信した画像データは、前記フレーム番号で指定されたフレームの前記イントラフレーム圧縮された画像データである
請求項21に記載のマルチカメラシステム。 - 前記制御部は、前記受信した画像データによる画像をディスプレイに表示する処理を制御する
請求項21または22に記載のマルチカメラシステム。 - 前記情報処理装置は、前記所定カメラの切り替えを行うための操作部を有する
請求項20から23のいずれかに記載のマルチカメラシステム。 - 前記操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される
請求項24に記載のマルチカメラシステム。 - 前記ディスプレイには、前記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
請求項25に記載のマルチカメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127781A JP7031703B2 (ja) | 2020-07-28 | 2020-07-28 | 情報処理装置およびマルチカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127781A JP7031703B2 (ja) | 2020-07-28 | 2020-07-28 | 情報処理装置およびマルチカメラシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016156717A Division JP6747158B2 (ja) | 2016-08-09 | 2016-08-09 | マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020182243A true JP2020182243A (ja) | 2020-11-05 |
JP7031703B2 JP7031703B2 (ja) | 2022-03-08 |
Family
ID=73024854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020127781A Active JP7031703B2 (ja) | 2020-07-28 | 2020-07-28 | 情報処理装置およびマルチカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7031703B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116366780A (zh) * | 2023-04-10 | 2023-06-30 | 小米汽车科技有限公司 | 用于帧同步的帧序号确定方法、装置及车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032012A (ja) * | 2002-06-21 | 2004-01-29 | Sony Corp | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム |
JP2009194933A (ja) * | 2009-05-25 | 2009-08-27 | Nikon Corp | 画像出力装置 |
JP2011176661A (ja) * | 2010-02-25 | 2011-09-08 | Casio Computer Co Ltd | 動画撮像装置、及びプログラム |
JP2012039558A (ja) * | 2010-08-11 | 2012-02-23 | Casio Comput Co Ltd | 基準画像特定装置、及び、プログラム |
JP2012249188A (ja) * | 2011-05-30 | 2012-12-13 | Oki Electric Ind Co Ltd | 映像配信システム及び方法 |
JP2015185965A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 撮像システム、撮像方法、画像再生装置及びプログラム |
-
2020
- 2020-07-28 JP JP2020127781A patent/JP7031703B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032012A (ja) * | 2002-06-21 | 2004-01-29 | Sony Corp | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム |
JP2009194933A (ja) * | 2009-05-25 | 2009-08-27 | Nikon Corp | 画像出力装置 |
JP2011176661A (ja) * | 2010-02-25 | 2011-09-08 | Casio Computer Co Ltd | 動画撮像装置、及びプログラム |
JP2012039558A (ja) * | 2010-08-11 | 2012-02-23 | Casio Comput Co Ltd | 基準画像特定装置、及び、プログラム |
JP2012249188A (ja) * | 2011-05-30 | 2012-12-13 | Oki Electric Ind Co Ltd | 映像配信システム及び方法 |
JP2015185965A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 撮像システム、撮像方法、画像再生装置及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116366780A (zh) * | 2023-04-10 | 2023-06-30 | 小米汽车科技有限公司 | 用于帧同步的帧序号确定方法、装置及车辆 |
CN116366780B (zh) * | 2023-04-10 | 2024-04-02 | 小米汽车科技有限公司 | 用于帧同步的帧序号确定方法、装置及车辆 |
Also Published As
Publication number | Publication date |
---|---|
JP7031703B2 (ja) | 2022-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747158B2 (ja) | マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 | |
US20170134654A1 (en) | Video recording method and device | |
JP7140177B2 (ja) | カメラ、カメラの制御方法、制御装置、制御装置の制御方法、システムおよびシステムの制御方法 | |
US10708500B2 (en) | Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus for capturing moving images | |
JP7031703B2 (ja) | 情報処理装置およびマルチカメラシステム | |
US9258540B2 (en) | Imaging apparatus | |
US20210409613A1 (en) | Information processing device, information processing method, program, and information processing system | |
US20080030608A1 (en) | Electronic camera and combined program | |
JP2014150487A (ja) | 撮像装置 | |
JP6583458B2 (ja) | 撮像装置及び制御方法 | |
JP5567858B2 (ja) | 記録装置及びその制御方法 | |
JP2000184261A (ja) | 撮像装置 | |
JP2018195923A (ja) | 記録装置 | |
JP6051066B2 (ja) | カラオケ用の歌唱動画再生システム | |
JP2019062427A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2018098664A (ja) | 記録装置、その制御方法、コンピュータプログラム及び記録媒体 | |
JP4612826B2 (ja) | ストレージ装置、ストレージ方法、コンピュータ読み取り可能な記憶媒体、及びプログラム | |
JP2009239646A (ja) | テレビ会議システムおよびテレビ会議装置および画像処理プログラム | |
JPH10294939A (ja) | 画像伝送システム及び画像伝送装置 | |
JP6351325B2 (ja) | 記録装置およびその制御方法 | |
JP2015186040A (ja) | 記録装置およびその制御方法 | |
JP2002185902A (ja) | 映像記録装置 | |
JP5930807B2 (ja) | 撮像装置 | |
JP2006033193A (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP4343991B2 (ja) | カメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7031703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |