JP2018026676A - マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 - Google Patents

マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 Download PDF

Info

Publication number
JP2018026676A
JP2018026676A JP2016156717A JP2016156717A JP2018026676A JP 2018026676 A JP2018026676 A JP 2018026676A JP 2016156717 A JP2016156717 A JP 2016156717A JP 2016156717 A JP2016156717 A JP 2016156717A JP 2018026676 A JP2018026676 A JP 2018026676A
Authority
JP
Japan
Prior art keywords
frame
camera
confirmation device
image data
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016156717A
Other languages
English (en)
Other versions
JP2018026676A5 (ja
JP6747158B2 (ja
Inventor
哲夫 金子
Tetsuo Kaneko
哲夫 金子
恭弘 飯塚
Takahiro Iizuka
恭弘 飯塚
和弘 内田
Kazuhiro Uchida
和弘 内田
盛雄 中塚
Morio Nakatsuka
盛雄 中塚
真之介 宇佐美
Shinnosuke Usami
真之介 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016156717A priority Critical patent/JP6747158B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201780048110.7A priority patent/CN109565563B/zh
Priority to US16/322,143 priority patent/US11025877B2/en
Priority to EP17826588.0A priority patent/EP3434007A2/en
Priority to PCT/JP2017/028096 priority patent/WO2018030238A2/en
Publication of JP2018026676A publication Critical patent/JP2018026676A/ja
Publication of JP2018026676A5 publication Critical patent/JP2018026676A5/ja
Application granted granted Critical
Publication of JP6747158B2 publication Critical patent/JP6747158B2/ja
Priority to US17/241,970 priority patent/US11323679B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor

Abstract

【課題】複数のカメラの撮像画像を良好に確認し得るようにする。【解決手段】確認装置からカメラにエンドトリガ信号を送信し、各カメラではこのトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号付けをする。確認装置から所定カメラにフレーム番号を伴う転送要求を送信し、確認装置では所定カメラから送られてくる画像データによる画像を表示する。確認装置において、各カメラの撮像画像を良好に確認し得る。また、各カメラ間で同じ時間のフレームには同じフレーム番号が割り当てられるので、同じ時間のフレームで簡単にカメラアングルの切り替えを行うことができる。【選択図】図2

Description

本技術は、マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法に関する。
従来、スポーツの練習などで被写体の運動動作の確認のため複数のアングルから動画を撮影することが行われている。その際に、すぐにその動画を確認したいが、従来は1台ずつのカメラ本体で再生するか、パーソナルコンピュータなどに取り込んで1ファイルずつ再生していた。また、ある瞬間のフォームを確認するために、一時停止した状態で異なるアングルの画像をストレスなく短時間で切り替えて見たいが、その手段がなかった。
例えば、特許文献1には、複数コンテンツを短時間に把握できるよう、要約コンテンツの自動生成を行うことが記載されている。この場合、あらかじめ定義したイベントの発生量によってコンテンツの再生スピードを変化させることで、要約コンテンツを作成しているが、撮影したコンテンツをすぐに任意の時間やアングルを指定して再生することはできない。
特開2010−039877号公報
本技術の目的は、複数のカメラの撮像画像を良好に確認し得るようにすることにある。
本技術の概念は、
複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステムにある。
本技術において、マルチカメラシステムは、複数のカメラと、この複数のカメラに有線あるいは無線で接続された確認装置とからなっている。例えば、複数のカメラは同一被写体を異なるアングルで撮像する、ようにされてもよい。
カメラには、イメージャと、このイメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、制御部が備えられている。制御部により、確認装置からのエンドトリガ信号の受信があるとき、このトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理が制御される。また、制御部により、確認装置からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して確認装置に転送する処理が制御される。
例えば、メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される、ようにされてもよい。これによりデータ量を少なくでき、転送をスムーズに行うことが可能となる。また、メモリには、各フレームの画像データが、少なくとも所定時間内以上の単位でループ記録される、ようにされてもよい。これにより、メモリ容量を節約することが可能となる。
確認装置には、ディスプレイと、制御部が備えられている。制御部により、複数のカメラにエンドトリガ信号を送信する処理が制御される。また、制御部により、複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理が制御される。また、制御部により、所定カメラから転送されてくるフレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をディスプレイに表示する処理が制御される。
例えば、所定カメラの切り替えを行うための操作部をさらに備える、ようにされてもよい。この場合、例えば、操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される、ようにされてもよい。そして、この場合、例えば、ディスプレイには、カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される、ようにされてもよい。これにより、画像確認をするカメラ(特定のカメラ)の切り替えを容易かつ簡単に行うことができる。
このように本技術においては、確認装置から複数のカメラにエンドトリガ信号が送信され、各カメラではこのトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号が付けられ、また、確認装置から所定カメラにフレーム番号を伴う転送要求が送信され、確認装置では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置において複数のカメラの撮像画像を良好に確認し得る。この場合、各カメラ間で同じ時間のフレームには同じフレーム番号が割り当てられるので、同じ時間のフレームで簡単にカメラアングルの切り替えを行うことができる。
本技術によれば、複数のカメラの撮像画像を良好に確認し得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としてのマルチカメラシステムの構成例を示すブロック図である。 複数のカメラの設置状態を示す図である。 カメラの構成例を示すブロック図である。 確認装置の構成例を示すブロック図である。 各カメラでフレームバッファ内のフレームに番号付をする際のタイミングチャートの一例を示す図である。 確認装置のパネルに表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示す図である。 確認装置での再生時における各カメラとの間の通信のシーケンス例を示す図である。 各カメラの再生コンテンツを確認装置のフレームバッファに予めダウンロードする場合の動作の一例を示す図である。 各カメラの再生コンテンツを確認装置のフレームバッファに予めダウンロードする場合の動作の他の一例を示す図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。 マルチカメラシステムの他の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[マルチカメラシステムの構成例]
図1は、実施の形態としてのマルチカメラシステム10Aの構成例を示している。このマルチカメラシステム10Aは、複数個、ここでは3個のカメラ(ビデオカメラ)、つまりカメラ(カメラA)101-A、カメラ(カメラB)101-B、カメラ(カメラC)101-Cを有している。また、マルチカメラシステム10Aは、スマートフォンやタブレットなどの携帯端末あるいはパーソナルコンピュータ等からなる確認装置102を有している。
カメラ101-A,101-B,101-Cと確認装置102は有線あるいは無線でLAN接続されている。例えば、確認装置102はマスタ機器を構成し、カメラ101-A,101-B,101-Cのそれぞれはスレーブ機器を構成する。図2は、カメラ101-A,101-B,101-Cの設置状態を示している。カメラ101-A,101-B,101-Cは、同一の被写体OBを、異なるアングルで撮像するように配置される。
確認装置102は、ユーザ操作に応じて、各カメラに対して撮像の開始・終了のトリガを掛けることができる。この場合、マスタ機器である確認装置102は、各カメラに対して撮像の開始・終了のトリガ信号(コマンド)を発行する。各カメラは、通信部分を構成する制御インタフェース(制御I/F)を介して、このトリガ信号を受け取り、その指示に従った動作をする。なお、各カメラの制御インタフェースは、当該カメラに内蔵されている。また、確認装置102は、パネル(ディスプレイ)を備えており、撮影終了後は、このディスプレイで各カメラにおける撮像画像の確認ができる。
カメラ101-A,101-B,101-Cは、それぞれ、イメージャと、このイメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えている。この場合、メモリには、各フレームの画像データ(例えば、フレームレートは60Hzである)がイントラフレーム圧縮、この実施の形態ではJPEG圧縮されて書き込まれる。また、メモリには、各フレームの画像データが、少なくとも所定時間以上、この実施の形態では3秒間以上の単位でループ記録される。なお、必ずしもループ記録である必要はなく、また、各フレームの画像データがAVCなどでエンコードされてメモリに書き込まれるようにされてもよい。
カメラ101-A,101-B,101-Cは、確認装置102からのエンドトリガ信号の受信があるとき、このエンドトリガ信号に対応したフレームから過去所定時間、この実施の形態では3秒間のフレームに対してフレーム番号を付ける処理をする。例えば、最初のフレームのフレーム番号は“1”とされ、最後のフレーム番号は“180”とされる。また、カメラ101-A,101-B,101-Cのそれぞれは、確認装置102からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して確認装置102に転送する。
確認装置102は、ユーザの撮像停止操作に応じて、各カメラにエンドトリガ信号を送る。また、確認装置102は、ユーザ操作に応じて、カメラ101-A,101-B,101-Cから選択された所定カメラに、フレーム番号を伴う転送要求を送信する。そして、確認装置102は、所定カメラから転送されてくる、上記フレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をパネル(ディスプレイ)に表示する。
「カメラの構成例」
図3は、カメラ101(101-A,101-B,101-C)の構成例を示している。カメラ101は、CPU111と、メモリ112と、イメージャ/レンズ部113と、カメラ信号処理部114と、コーデック処理部115を有している。また、カメラ101は、パネル処理部116と、パネル117と、有線通信処理部118と、有線LAN端子119と、無線通信処理部120と、アンテナ121を有している。
CPU111は、カメラ101の各部の動作を制御する。メモリ112は、制御ソフトウェアの格納およびデータの保管、CPU111のワークエリア等を構成する。また、メモリ112は、撮像画像データをループ記録するフレームバッファも構成している。
イメージャ/レンズ部113は、撮像レンズとイメージャとからなり、被写体を撮像して撮像信号を得る。カメラ信号処理部114は、イメージャ/レンズ部113で得られた撮像信号を処理して被写体に対応した画像データ(撮像画像データ)を生成する。コーデック処理部115は、カメラ信号処理部114で得られた各フレームの画像データに対してJPEG圧縮の処理をする。メモリ112のフレームバッファには、このようにJPEG圧縮された各フレームの画像データがループ記録される。
パネル処理部116は、カメラ信号処理部114で得られた画像データに基づいてパネル117を駆動して、このパネル117に撮像画像を表示する。パネル117は、LCDや有機ELパネルなどで構成される。パネル117は、タッチパネル機能を有し、必要に応じて、パネル117には、ユーザ操作のためのUI表示もされる。
有線通信処理部118は、有線LAN端子119を通じて、外部機器、この実施の形態では確認装置102との間で有線通信をする。無線通信処理部120は、アンテナ121を通じて、外部機器、この実施の形態では確認装置102との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。
「確認装置の構成例」
図4は、確認装置102の構成例を示している。確認装置102は、CPU131と、メモリ132と、コーデック処理部133と、グラフィック処理部134を有している。また、確認装置102は、パネル処理部135と、パネル136と、有線通信処理部137と、有線LAN端子138と、無線通信処理部139と、アンテナ140を有している。
CPU131は、確認装置102の各部の動作を制御する。メモリ132は、制御ソフトウェアの格納およびデータの保管、CPU131のワークエリア等を構成する。また、メモリ132は、カメラ101(図3参照)から転送されてくる各フレームの画像データを一時的に記録する。
コーデック処理部133は、画像表示のために、メモリ132のフレームバッファに一時的に記録されている各フレームの画像データを読み出し、伸長処理をする。パネル処理部135は、コーデック処理部133で伸長処理されて得られた画像データに基づいて表示パネル136を駆動して、このパネル136に画像を表示する。パネル136は、LCDや有機ELパネルなどで構成される。パネル136は、タッチパネル機能を有し、必要に応じて、パネル136には、ユーザ操作のためのUI表示もされる。
有線通信処理部137は、有線LAN端子138を通じて、外部機器、この実施の形態ではカメラ101との間で有線通信をする。無線通信処理部139は、アンテナ140を通じて、外部機器、この実施の形態ではカメラ101との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。
「エンドトリガによるフレーム番号付例」
図5は、確認装置102から各カメラにエンドトリガ信号を送った場合に各カメラでフレームバッファ内のフレームに番号付をする際のタイミングチャートの一例を示している。時刻t1で、確認装置102から各カメラにエンドトリガ信号が送られる。各カメラは、この時刻t1に対応したフレームまでで記録動作を停止し(撮像動作は必ずしも停止する必要はないが、撮像動作も停止してもよい)、当該フレームのフレーム番号を「1」とする。そして、各カメラは、フレームバッファに記録されている各フレームに対して、このフレーム番号「1」のフレームを基準に時間を遡って各フレームに番号付けしていく。
図示の例では、エンドトリガから3秒分の動画フレームに対して番号付けしているので、先頭のフレームの番号は「180」となっている。これにより、各カメラの同じフレーム番号のフレームを同一時刻と見なすことができる。各カメラは、必ずしも、ゲンロック(Genlock)などで露光の位相が揃っていなくてもよい。また、確認装置102からのエンドトリガ信号が各カメラに届くまでにタイミング的なゆらぎがあってもよい。ただし、露光位相やトリガータイミングが揃っていれば、再生時のカメラ切り替えを綺麗に遷移させることができる。
「確認装置上のユーザーインタフェース例」
図6は、確認装置102のパネル136に表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示している。この例では、カメラ(カメラA)101-Aが選択され、その撮像画像300が表示されている。この画面には、撮像画像にユーザ操作用のUI画面が重畳されている。
この画面では、再生用アイコンが表示されている再生操作部301からのユーザ操作により、選択されているカメラの撮像画像の再生、一時停止、早送り、巻き戻し、コマ送りなどの通常の再生操作を行うことができる。ここで、再生用アイコンにはスクロールバーも併設されており、指でスクロールすることで、前後にコマ送りや、早送り・巻き戻しも可能である。
また、カメラ切り替え用アイコンが表示されているカメラ切り替え操作部302からのユーザ操作により、任意の再生時刻で、別のカメラのアングルに切り替えることができる。この例では、“B”というボタンを押すと、押した瞬間のカメラ(カメラA)101-Aと同じ時刻の、カメラ(カメラB)101-Bの撮像画像に切り替わる。同様に、“C”というボタンを押すと、押した瞬間のカメラ(カメラA)101-Aと同じ時刻の、カメラ(カメラC)101-Cの撮像画像に切り替わる。
なお、カメラ切り替え操作は、ボタンを押す操作だけでなく、ボタンの上部に存在するスクロールバーによりカメラを左から右へと、あるいは右から左へと次々と切り替えることもできる。カメラの台数が多い場合には、タイムスライス映像と同じ再生表現が可能である。カメラの切り替えは、再生中でも、一時停止中でも行うことができる。
「確認装置と各カメラとの間の通信シーケンス」
図7のシーケンス図は、確認装置102での再生時における各カメラとの間の通信のシーケンス例を示している。まず、カメラ(カメラA)101-Aの画像をコマ送りして表示する際の通信例を示している。
先頭のフレームのフレーム番号が「180(#180)」なので、確認装置102は、カメラ(カメラA)101-Aに対して、#180のフレームの画像データ(この場合は、JPEG圧縮符号化されている)の転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#180のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#180のフレームの画像データによる画像がパネル136に表示される。
次に、同様に、確認装置102は、カメラ(カメラA)101-Aに対して、#179のフレームの画像データの転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#179のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#179のフレームの画像データによる画像がパネル136に表示される。
次に、確認装置102では、(カメラB)101-Bに切り替える。これは、図6のUI画面において、例えば、カメラ切り替え操作部302における“B”ボタンが押されたときの動作に対応する。この場合、確認装置102は、カメラ(カメラB)101-Bに対して、#179のフレームの画像データの転送を要求する。これに対して、カメラ(カメラB)101-Bは、自分のフレームバッファ内の#179のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#179のフレームの画像データによる画像がパネル136に表示される。以下、同様の動作となる。
「表示レイテンシの改善例」
なお、上述では、確認装置102に所定カメラの所定フレームの画像を表示する際に、当該所定フレームの画像データを当該所定カメラからその都度取得する例を示した。この場合、特に、無線LAN接続の場合、通信経路の状況によっては表示レイテンシが延びることが想定される。
この表示レイテンシの改善のために、確認装置102のメモリ132(図4参照)にフレームバッファを持たせ、各カメラの再生コンテンツを当該フレームバッファに予めダウンロードすることが考えられる。この実施の形態では、3秒分の全てのカメラのJPEGファイルが確認装置102に予めバッファリングされる。このバッファリング後は、確認装置102内に閉じて再生が行われるので、通信経路の状況の影響を受けることがなく、表示レイテンシが改善される。
図8のタイミングチャートは、各カメラの再生コンテンツを確認装置102のフレームバッファに予めダウンロードする場合の動作の一例を示している。確認装置102は、各カメラにエンドトリガ信号が供給された記録動作の停止直後は、所定カメラから所定フレームの画像データを取得して画像表示する再生動作になるが、この動作と並行して裏で、各カメラは3秒分のJPEGファイル(=Motion JPRG/MPEG)を確認装置102に転送する動作をする。
この転送が完了した後、確認装置102は、所定カメラの所定フレームの画像を表示する際に、各カメラと通信するのではなく、自身のフレームバッファから当該所定フレームの画像データを取得して画像表示を行う。これにより、通信経路の状況の影響を受けることがなく、表示レイテンシが改善される。
図9のタイミングチャートは、各カメラの再生コンテンツを確認装置102のフレームバッファに予めダウンロードする場合の動作の他の一例を示している。この例は、裏で各カメラが確認装置102に転送する画像データを、JPEG圧縮データではなく、AVCなどでエンコードされた本線ストリームとするものである。この場合は、転送後に、さらに確認装置102でフレーム単位のJPEGなどのデータに再エンコードしてもよい。
上述したように、図1に示すマルチカメラシステム10Aにおいては、確認装置102からカメラ101-A,101-B,101-Cにエンドトリガ信号が送信され、各カメラではこのトリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号が付けられ、また、確認装置102から所定カメラにフレーム番号を伴う転送要求が送信され、確認装置102では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置102において、各カメラの撮像画像を良好に確認し得る。また、この場合、各カメラ間で同じ時間のフレームには同じフレーム番号が割り当てられるので、同じ時間のフレームで簡単にカメラアングルの切り替えを行うことができる。
<2.変形例>
なお、上述実施の形態においては、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートが60Hzである例を示した。本技術は、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートがその他の場合にも同様に適用でき、例えば、ハイフレームレート、例えば、図5に示す240Hzなどの場合にあっても同様に適用できる。
また、上述実施の形態においては、カメラが3個である場合の例を示した。本技術は、カメラが2個、あるいは4個以上の場合にも同様に適用できる。
また、上述実施の形態においては、各カメラの内部に制御インタフェースを備える例を示した。しかし、カメラは制御インタフェースを備えておらず、カメラの外部に制御用機器を設けることも考えられる。
図10は、その場合におけるマルチカメラシステム10Bの構成例を示している。この図10において、図1と対応する部分には同一符号を付して示している。カメラ101-A,101-B,101-Cは、それぞれ、図1に示すマルチカメラシステム10Aとは異なって、制御インタフェース(制御I/F)を備えてはいない。カメラ101-A,101-B,101-Cの外部に、それぞれ、制御インタフェース(制御I/F)と同様の機能を持つ制御用機器(制御用機器A)101-A、制御用機器(制御用機器B)101-B、制御用機器(制御用機器C)101-Cが設けられる。
また、上述実施の形態においては、カメラ101-A,101-B,101-Cとは別個に確認装置102を備える例を示した。しかし、確認装置102を備えておらず、カメラ101-A,101-B,101-Cのいずれかが確認装置を兼用する構成も考えられる。図11は、その場合におけるマルチカメラシステム10Cの構成例を示している。この図11において、図1と対応する部分には同一符号を付して示している。
なお、図11に示すマルチカメラシステム10Cは、図1に示すマルチカメラシステム10Aに対応したものであるが、図10に示すマルチカメラシステム10Bに対応したものも同様に構成できることは勿論である。詳細説明は省略するが、図12は、その場合におけるマルチカメラシステム10Dの構成例を示している。
また、本技術は、以下のような構成を取ることもできる。
(1)複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステム。
(2)上記複数のカメラは同一被写体を異なるアングルで撮像する
前記(1)に記載のマルチカメラシステム。
(3)イメージャと、
上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
カメラ。
(4)上記メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される
前記(3)に記載のカメラ。
(5)上記メモリには、各フレームの画像データが、少なくとも所定時間以上の単位でループ記録される
前記(3)または(4)に記載のカメラ。
(6)イメージャと、該イメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えるカメラの処理方法であって、
確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付けるステップと、
上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送するステップを有する
カメラの処理方法。
(7)ディスプレイと、
複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
確認装置。
(8)上記所定カメラの切り替えを行うための操作部をさらに備える
前記(7)に記載の確認装置。
(9)上記操作部は、上記ディスプレイの画面上に配置されたタッチパネルにより構成される
前記委(8)に記載の確認装置。
(10)上記ディスプレイには、上記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
前記(9)に記載の確認装置。
(11)ディスプレイを備える確認装置の処理方法であって、
複数のカメラにエンドトリガ信号を送信するステップと、
上記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信するステップと、
上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示するステップを有する
確認装置の処理方法。
10A,10B,10C,10D・・・マルチカメラシステム
101,101-A,101-B,101-C・・・カメラ
102・・・確認装置
103-A,103-B,103-C・・・制御用機器
111・・・CPU
112・・・メモリ
113・・・イメージャ/レンズ部
114・・・カメラ信号処理部
115・・・コーデック処理部
116・・・パネル処理部
117・・・パネル
118・・・有線通信処理部
119・・・有線LAN端子
120・・・無線通信処理部
121・・・アンテナ
131・・・CPU
132・・・メモリ
133・・・コーデック処理部
134・・・グラフィック処理部
135・・・パネル処理部
136・・・パネル
137・・・有線通信処理部
138・・・有線LAN端子
139・・・無線通信処理部
140・・・アンテナ

Claims (11)

  1. 複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
    上記カメラは、
    イメージャと、
    上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
    上記確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
    上記確認装置は、
    ディスプレイと、
    上記複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
    マルチカメラシステム。
  2. 上記複数のカメラは同一被写体を異なるアングルで撮像する
    請求項1に記載のマルチカメラシステム。
  3. イメージャと、
    上記イメージャで撮像されて得られた各フレームの画像データを書き込むメモリと、
    確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付ける処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
    カメラ。
  4. 上記メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、上記確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される
    請求項3に記載のカメラ。
  5. 上記メモリには、各フレームの画像データが、少なくとも所定時間以上の単位でループ記録される
    請求項3に記載のカメラ。
  6. イメージャと、該イメージャで撮像されて得られた各フレームの画像データを書き込むメモリを備えるカメラの処理方法であって、
    確認装置からのエンドトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームから過去所定時間のフレームに対してフレーム番号を付けるステップと、
    上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送するステップを有する
    カメラの処理方法。
  7. ディスプレイと、
    複数のカメラにエンドトリガ信号を送信する処理と、該複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
    確認装置。
  8. 上記所定カメラの切り替えを行うための操作部をさらに備える
    請求項7に記載の確認装置。
  9. 上記操作部は、上記ディスプレイの画面上に配置されたタッチパネルにより構成される
    請求項8に記載の確認装置。
  10. 上記ディスプレイには、上記所定カメラの切り替えを行うためのボタンおよび/またはスクロールバーが表示される
    請求項9に記載の確認装置。
  11. ディスプレイを備える確認装置の処理方法であって、
    複数のカメラにエンドトリガ信号を送信するステップと、
    上記複数のカメラから選択された所定カメラにフレーム番号を伴う転送要求を送信するステップと、
    上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示するステップを有する
    確認装置の処理方法。
JP2016156717A 2016-08-09 2016-08-09 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 Expired - Fee Related JP6747158B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016156717A JP6747158B2 (ja) 2016-08-09 2016-08-09 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
US16/322,143 US11025877B2 (en) 2016-08-09 2017-08-02 Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
EP17826588.0A EP3434007A2 (en) 2016-08-09 2017-08-02 Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
PCT/JP2017/028096 WO2018030238A2 (en) 2016-08-09 2017-08-02 Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN201780048110.7A CN109565563B (zh) 2016-08-09 2017-08-02 多相机系统、信息处理装置以及非暂态计算机可读介质
US17/241,970 US11323679B2 (en) 2016-08-09 2021-04-27 Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016156717A JP6747158B2 (ja) 2016-08-09 2016-08-09 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020127781A Division JP7031703B2 (ja) 2020-07-28 2020-07-28 情報処理装置およびマルチカメラシステム

Publications (3)

Publication Number Publication Date
JP2018026676A true JP2018026676A (ja) 2018-02-15
JP2018026676A5 JP2018026676A5 (ja) 2019-08-15
JP6747158B2 JP6747158B2 (ja) 2020-08-26

Family

ID=60953917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016156717A Expired - Fee Related JP6747158B2 (ja) 2016-08-09 2016-08-09 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法

Country Status (5)

Country Link
US (2) US11025877B2 (ja)
EP (1) EP3434007A2 (ja)
JP (1) JP6747158B2 (ja)
CN (1) CN109565563B (ja)
WO (1) WO2018030238A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
US10750077B1 (en) 2019-02-20 2020-08-18 Himax Imaging Limited Camera system with multiple camera
WO2020170931A1 (ja) * 2019-02-21 2020-08-27 ソニー株式会社 データ伝送システム、データ伝送方法及びコンピュータプログラム
TWI702566B (zh) * 2019-03-20 2020-08-21 恆景科技股份有限公司 相機系統
CN113010738B (zh) * 2021-02-08 2024-01-30 维沃移动通信(杭州)有限公司 视频处理方法、装置、电子设备及可读存储介质
CN116366780B (zh) * 2023-04-10 2024-04-02 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US432897A (en) * 1890-07-22 End-gate for wagons
CA2429236A1 (en) * 2000-11-16 2002-05-23 Vr Interactive Corporation Inward-looking imaging system
US7190882B2 (en) * 2001-03-19 2007-03-13 Applied Concepts, Inc. In-car digital video recording with MPEG-4 compression for police cruisers and other vehicles
AU2002307545A1 (en) * 2001-04-20 2002-11-05 Corp. Kewazinga Navigable camera array and viewer therefore
US20030222981A1 (en) * 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
JP4186520B2 (ja) 2002-06-21 2008-11-26 ソニー株式会社 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
JP2004253872A (ja) * 2003-02-18 2004-09-09 Canon Inc 映像入力装置
JP3937332B2 (ja) * 2003-03-11 2007-06-27 ソニー株式会社 撮影システム
FI20031657A (fi) * 2003-11-14 2005-05-15 Nokia Corp Langaton monikamerajärjestelmä
JP2009111518A (ja) * 2007-10-26 2009-05-21 Casio Comput Co Ltd 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP5096259B2 (ja) 2008-08-07 2012-12-12 日本電信電話株式会社 要約コンテンツ生成装置および要約コンテンツ生成プログラム
CN101751677B (zh) 2008-12-17 2013-01-02 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
US20100195978A1 (en) * 2009-02-03 2010-08-05 Ekchian Gregory J System to facilitate replay of multiple recordings of a live event
JP4525834B2 (ja) 2009-05-25 2010-08-18 株式会社ニコン 画像出力装置
CN101668160B (zh) 2009-09-10 2012-08-29 华为终端有限公司 视频图像数据处理方法、装置及视频会议系统及终端
JP5402431B2 (ja) * 2009-09-11 2014-01-29 沖電気工業株式会社 カメラ制御装置
JP5622167B2 (ja) 2010-02-25 2014-11-12 カシオ計算機株式会社 動画撮像装置、撮影方法、及びプログラム
JP2012039558A (ja) * 2010-08-11 2012-02-23 Casio Comput Co Ltd 基準画像特定装置、及び、プログラム
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability
JP2012151795A (ja) * 2011-01-21 2012-08-09 Sony Corp 映像記録装置と映像記録制御方法
JP5316588B2 (ja) 2011-05-30 2013-10-16 沖電気工業株式会社 映像配信システム及び方法
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback
US20130177294A1 (en) * 2012-01-07 2013-07-11 Aleksandr Kennberg Interactive media content supporting multiple camera views
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
EP2763409B1 (en) * 2013-01-31 2019-10-23 Honeywell International Inc. Systems and methods for managing access to surveillance cameras
US9762865B2 (en) * 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
KR20150018125A (ko) 2013-08-09 2015-02-23 엘지전자 주식회사 전자 디바이스 및 전자 디바이스와 통신하는 단말기
US9159371B2 (en) * 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
US9467643B2 (en) * 2014-01-06 2016-10-11 Progress Rail Services Corporation Event recorder playback with integrated GPS mapping
JP6326892B2 (ja) 2014-03-20 2018-05-23 大日本印刷株式会社 撮像システム、撮像方法、画像再生装置及びプログラム
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3207501A4 (en) * 2014-10-17 2018-06-06 Digital Ally Inc. Forensic video recording with presence detection
CN105681632B (zh) * 2015-12-31 2019-06-28 深圳市华途数字技术有限公司 多目摄像机及其帧同步的方法

Also Published As

Publication number Publication date
US11323679B2 (en) 2022-05-03
CN109565563A (zh) 2019-04-02
CN109565563B (zh) 2022-04-26
WO2018030238A3 (en) 2018-05-24
EP3434007A2 (en) 2019-01-30
US20210250566A1 (en) 2021-08-12
WO2018030238A2 (en) 2018-02-15
US11025877B2 (en) 2021-06-01
US20190191139A1 (en) 2019-06-20
JP6747158B2 (ja) 2020-08-26

Similar Documents

Publication Publication Date Title
JP6747158B2 (ja) マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
US20140111670A1 (en) System and method for enhanced image capture
WO2013132828A1 (ja) 通信システムおよび中継装置
JP7140177B2 (ja) カメラ、カメラの制御方法、制御装置、制御装置の制御方法、システムおよびシステムの制御方法
JP6743604B2 (ja) マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
JP6801286B2 (ja) マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
JP7031703B2 (ja) 情報処理装置およびマルチカメラシステム
JP2006060422A (ja) 画像伝送装置
US9609215B2 (en) Moving-image recording/reproduction apparatus
US9258540B2 (en) Imaging apparatus
US20210409613A1 (en) Information processing device, information processing method, program, and information processing system
JP2014150487A (ja) 撮像装置
JP6119447B2 (ja) 撮像システム、及び制御方法
JP2019062427A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2018195923A (ja) 記録装置
JP2018098664A (ja) 記録装置、その制御方法、コンピュータプログラム及び記録媒体
JP2011176769A (ja) 記録装置及びその制御方法
JP6739030B2 (ja) 撮像装置、電子機器及び撮像システム
JP6351325B2 (ja) 記録装置およびその制御方法
JP2015186040A (ja) 記録装置およびその制御方法
JP5930807B2 (ja) 撮像装置
JP5925020B2 (ja) 再生装置
JP2020091696A (ja) 記録再生装置
JP2021044705A (ja) 撮像装置、その制御方法、プログラムおよび記録媒体
JP2017188831A (ja) 画像記録装置及び画像記録装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6747158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees