JP2006238326A - カメラ装置システムおよび撮影動画像再生方法 - Google Patents

Abstract

【課題】広角カメラ部と望遠カメラ部の２眼構成であり、広角カメラ部による全景撮影と望遠カメラ部による望遠撮影を同時並行に行い、望遠カメラ部は、パン、チルト、ズームなどの撮影操作を行って、カメラ装置と離れた場所にある表示装置に、広角映像中の望遠撮影範囲をより正確に表示する。
【解決手段】カメラ装置が、望遠画像の撮影時点において、広角カメラ部の撮影視野における望遠カメラ部の撮影範囲の情報を取得するとともに、該撮影範囲を表示するのにより正確である広角画像を判定する手段によって、望遠画像に対応付ける広角画像を決定し、撮影した望遠画像を、撮影範囲情報及び広角画像を特定する情報とともに送信する。カメラ装置と離れた場所で撮影映像を再生する装置では、各望遠画像が特定する広角画像の表示上に、望遠撮影範囲を示すことができるように、望遠映像の再生を広角映像の再生に同期させる。
【選択図】図１

Description

本発明は、カメラ装置が撮影するデジタル動画像データを送信し、カメラ装置と離れた場所で再生表示するカメラ装置システムおよび撮影動画像再生方法に関する。遠隔でカメラ装置の撮影操作を行って動画像データを利用するシステム、例えば監視カメラシステムにおいて好適である。

従来、遠隔操作可能なカメラ制御システムでは、撮影可能な全景視野（パノラマ）画像を表示し、撮影者が所望の一部視野を詳細撮影する方法がある。撮影者は、全景画像中で撮影方向を指定するなどの操作によって、離れた場所にあるカメラ操作を行うことができる。

このようなカメラシステムにおいて、全景を撮影した動画像を送信し再生表示しながら、撮影者が全景映像中の所望の範囲を高倍率で撮影する方法がある。例えば、特許文献１では、全景を撮影する広角カメラと撮影方向を遠隔操作可能な望遠カメラを、微小な距離で離して同一方向に向けて置き、カメラと離れた位置にあってそれぞれの撮影映像を表示する装置が、広角カメラの撮影映像の画面に望遠カメラの撮影方向のポインタを表示することで、望遠カメラの遠隔撮影操作を容易にするカメラ制御システムを述べている。

また、広角カメラ部と望遠カメラ部を備えるカメラ装置があり、望遠カメラ部の撮影方向及び撮影倍率を遠隔操作可能な装置において、広角映像と望遠映像をそれぞれ表示し、また広角映像の表示画面に望遠カメラ部の撮影視野に相当する範囲の枠を表示するカメラ制御システムも提案されている（例えば、特許文献２参照）。
特開平８−２７５０４４号公報 特開２０００−３４１５７４号公報

前記従来技術のように、カメラと離れた場所で広角カメラと望遠カメラの撮影映像を同時に表示するとき、広角映像中に表示する望遠撮影範囲の部分画像と、表示する望遠画像に時間的なずれが生じてしまう。望遠映像に対応する撮影範囲表示を明確にしながら撮影動画を再生したい場合に不都合である。

本発明は、このような従来の構成が有していた問題を解決しようとするものであり、広角映像の表示における望遠撮影範囲の画像と望遠映像の表示のずれを少なくし、同期させようとするものである。

カメラ装置が、望遠画像の撮影時点において、広角カメラ部の撮影視野における望遠カメラ部の撮影範囲の情報を取得するとともに、該撮影範囲を表示するのにより正確である広角画像を判定する手段によって、望遠画像に対応付ける広角画像を決定し、撮影した望遠画像を、撮影範囲情報及び広角画像を特定する情報とともに送信する。カメラ装置と離れた場所で撮影映像を再生する装置では、各望遠画像が特定する広角画像の表示上に、望遠撮影範囲を示すことができるように、望遠映像の再生を広角映像の再生に同期させる。

本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。

（１）撮影する動画像を外部に送信可能であるカメラ装置システムであって、
広角な視野で全景を撮影する広角カメラ部と、一部視野を高倍率に拡大して撮影可能な望遠カメラ部を具備し、広角撮影と望遠撮影を同時平行に行い、
望遠カメラ部のパン、チルト、ズームなどの撮影操作によって撮影方向と撮影倍率を制御し、広角カメラ部が撮影する全景内の所望の方向を望遠撮影することが可能であり、
該カメラ装置システムは、望遠画像の撮影時点において、広角カメラ部の撮影視野内における望遠カメラ部の撮影範囲情報を取得するとともに、望遠画像が撮影範囲を明確に表示できる広角画像を特定する手段を有し、
望遠画像の撮影範囲情報と、望遠画像の全景中の撮影範囲を明確に表示できる広角画像を特定する情報を、望遠画像データに付加して送信することを特徴とするカメラ装置システム。

本発明によって、広角の撮影映像における望遠撮影映像の撮影範囲をより正確に表示する再生方法を実現することができる。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

（第１の実施形態）
本発明の実施形態の一例について説明する。

図２は、本発明におけるカメラ装置の実施形態の概観図である。カメラ装置は、広角カメラ部２０１と望遠カメラ部２０２の２眼カメラ装置を備えた一体型の構成を表す。望遠カメラ部２０２はパン・チルト動作可能な雲台２０３に載せられており、望遠カメラ部２０２は、広角カメラ部２０１の撮影視野内で自由な方向に、撮影方向を変えることができる。

図３は、本発明のカメラ装置が撮影して送信する広角映像と望遠映像を再生表示し、カメラ装置の遠隔操作することができる機器における画面例を表す。これは本発明のカメラ装置に専用の機器でなくてもよく、例えばネットワークに接続可能な、ＰＣやワークステーション、ＴＶ、携帯情報端末（ＰＤＡ）、携帯電話などであってもよい。

３０１はカメラ操作画面を表す。３０２は望遠カメラ部が撮影する映像を表示する望遠映像画面であり、３０３は広角カメラ部が撮影する全景（パノラマ）映像を表示する広角映像画面である。望遠映像画面３０２は、広角映像画面３０３の部分領域である望遠撮影範囲３０４を、望遠カメラ部で撮影した映像を表示する。すなわち望遠撮影範囲３０４は、広角映像画面３０３中における望遠カメラ部の撮影視野範囲を表している。撮影者は、望遠撮影範囲３０４を所望の位置に指定することで、望遠カメラ部をその方向へ向ける操作を行うことができる。その結果、望遠カメラ部のパン・チルト動作で望遠映像３０２が変わり、撮影範囲３０４の位置も移動する。３０５は望遠カメラ部の撮影倍率を変更できるＧＵＩを表す。撮影倍率を変更すると、３０１の望遠映像が変化し、撮影範囲３０４の枠の大きさも変化する。

図１は本発明におけるカメラ装置の実施形態の概略構成を表すブロック図である。システムバス１０１には、ＣＰＵ１０２、システムプログラムが格納されているＲＯＭ１０３、システムプログラム実行時に使用される一時記憶領域であるＲＡＭ１０４が接続されており、ＲＯＭ１０３からＲＡＭ１０４にシステムプログラムが読み込まれ、ＣＰＵ１０２によって実行される。

１０５は広角カメラ部を示しており、システムバス１０１に接続されている。この広角カメラ部１０５には、レンズ群１ １０６、ＣＣＤ１ １０７、ＣＣＤ制御部１ １０８、画像処理部１ １０９が含まれている。１０６のレンズ群は被写体像を光学的にＣＣＤ１０７へ投影するために複数枚のレンズで構成されており、かつ広角に被写体を撮像できる特性を持っている。ＣＣＤ（光電変換素子）１０７はレンズ群１０６によって投影された撮影画像をアナログ電気信号に変換するための素子である。ＣＣＤ制御部１０８は、ＣＣＤ１０７に転送クロック信号やシャッター信号を供給するためのタイミングジェネレータ、ＣＣＤ出力信号のノイズ除去、ゲイン処理を行うための回路、さらに、アナログ信号をデジタル信号に変換するためのＡ／Ｄ変換回路などを含んでいる。また、画像処理部１０９は、ＣＣＤ制御部１０８より出力されたデジタル信号をガンマ変換、色空間変換、また、ホワイトバランス、露出補正等の画像処理を行い、画像符号化処理部１１６で符号化利用可能なデジタル信号出力を行うものである。広角カメラ部は、レンズ群１０６が広角な撮影視野を投射した歪曲のある撮像から、デジタル画像処理によって修正して歪みのない広角撮影画像を生成することができる。

１１０は望遠カメラ部を示しており、システムバス１０１に接続されている。この望遠カメラ部１１０は、広角カメラ部１０５と同様に、レンズ群２ １１１、ＣＣＤ２ １１２、ＣＣＤ制御部２ １１３、画像処理部２ １１４を備えている。さらに、望遠カメラ部１１０には、撮影方向を移動させるパン、チルト動作のための制御モータ１１５が装備されている。また、望遠カメラ部１１０は、光学的なズーム撮像を行える機構を備えており、ズーム撮影をすることができる。

１１６は画像符号化処理部であり、広角カメラ部１０５、望遠カメラ部１１０によって撮影されたデジタル画像を、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ４などの動画フォーマットに符号化する。１１７は通信インターフェース／通信制御部であり、外部ネットワークに接続するためのインターフェースを有する。本カメラ装置は、本カメラ装置を遠隔操作する表示装置、あるいは、外部のネットワーク機器と通信可能であり、撮影した動画像データを外部に送信することが可能である。

本発明のネットワークカメラシステムでは、カメラ装置の広角カメラ部と望遠カメラ部の撮影動画像を外部に送信し、図３の望遠映像画面３０２と広角映像画面３０３に再生表示する。また、望遠映像が広角映像のどの部分を撮影したかを望遠映像範囲３０４の枠で表示する。望遠映像範囲は、望遠カメラのパン角度、チルト角度、およびズーム倍率によって、広角映像画面上における表示枠の位置と大きさが計算される。

このようなネットワークカメラシステムの実施構成において、前記請求項１について図４と図５を参照して述べる。なお、撮影者にとっては、所望の位置を撮影する望遠映像の方が、望遠撮影可能な全景を表示する広角映像に比べて重要度が高いので、本実施形態においては、望遠映像の画像を伝送する割合を広角映像の画像を伝送する割合よりも大きくし、表示する望遠映像の変化がより滑らかになるようにしている。

図４は、カメラ装置の撮影中における広角撮影と望遠撮影の順番を模式的にタイムチャートに表したものである。４０１と４０２はそれぞれ望遠カメラと広角カメラの撮影画像順を表す時間軸である。Ｔ４０３〜Ｔ４１２は、各々の時刻に撮影した望遠画像であり、Ｗ４１３、Ｗ４１４は各々の時刻に撮影した広角画像を表す。図４はカメラ装置が、Ｔ４０３、Ｗ４１３、Ｔ４０４〜Ｔ４０９、Ｗ４１４、Ｔ４１０〜Ｔ４１２の順で撮影することを表している。望遠画像Ｔ４０３〜Ｔ４１２の撮影処理では、各々の望遠画像の広角画像における撮影範囲を明確に表示できる広角画像を特定する。図４では、Ｔ４０３〜Ｔ４０６の望遠画像が撮影範囲表示に適する広角画像を、Ｗ４１３であると特定している。Ｔ４０７〜Ｔ４１２ではＷ４１４に特定していることを表している。

図５は望遠画像の撮影時の処理を示すフローチャートである。Ｓ５０２において、望遠カメラ部が撮影した望遠画像を作成すると、Ｓ５０３において望遠画像を撮像した時点のタイムスタンプ、望遠カメラのパン角度、チルト角度およびズーム倍率などの撮影範囲情報を取得する。次にＳ５０４に進み、望遠画像の撮影範囲をより正確に表示できる広角画像を決定する手段によって、該望遠画像に対応する広角画像を特定する。

次にＳ５０５において望遠画像を動画フォーマットに圧縮符号化し、Ｓ５０６において、望遠画像データを撮影範囲情報、および広角画像を特定する情報とともに送信する。

なお、広角画像を特定する情報には、例えば、各広角画像データを一意に識別する番号を付与することでその番号を利用してもよいし、各広角画像データの撮影時点のタイムスタンプを利用してもよい。

望遠画像の撮影範囲をより正確に表示できる広角画像を決定するには、前記請求項２に記載の手段を用いるものとする。例えば、図４において、望遠画像Ｔ４０６において時間的に前後の広角画像は、Ｗ４１３とＷ４１４である。Ｔ４０６の撮影時点と、Ｗ４１３とＷ４１４のそれぞれ撮影時点の時間差を計算し、時間差の小さい方の広角画像の方で決定し、図４ではＷ４１３であることを示している。Ｔ４０６より先に撮影されたＷ４１３との撮影時間差は各々の撮影時点のタイムスタンプから計算し、Ｔ４０６とＷ４１４の撮影時間差は、Ｔ４０６の時点ではＷ４１４はまだ撮影されていないので、Ｗ４１３のタイムスタンプと広角映像のフレームレートから次の広角画像であるＷ４１４の予想タイムスタンプを求め、その時間差として計算する。

（第２の実施形態）
本実施形態では、カメラ装置は前記第１の実施形態と同構成であり、カメラ装置の概観および概略構成、カメラ装置を遠隔操作する機器の撮影映像表示の画面は同じである。本実施形態では、各々の望遠画像の撮影範囲をより正確に表示できる広角画像を特定する手段に、前記請求項３に記載の手段を用いる。この手段を用いたカメラ装置の処理について図６と図７を用いて説明する。

図６は、望遠画像の撮影時の処理を示すフローチャートである。Ｓ６０２で望遠画像を作成すると、Ｓ６０３で望遠画像を撮像した時点のタイムスタンプ、望遠カメラのパン角度、チルト角度およびズーム倍率などの撮影範囲情報を取得する。次にＳ５０４に進み、望遠画像の撮影時点より時間的に前に撮影した広角画像において、Ｓ６０３で得た撮影範囲情報を使って、撮影範囲の部分画像を切り出す。次にＳ６０５に進み、望遠画像から切り出した広角画像内の部分画像と、同じ画角の縮小画像を作成する。そしてＳ６０６においてＳ６０４で作成した広角画像の部分画像と、Ｓ６０５で作成した望遠画像の縮小画像について、画像差分を求める。画像差分は、例えば比較する画像の各画素値の絶対値を積算するなどの計算によって求める。次にＳ６０７で元の撮影望遠画像を圧縮符号化する。以上が望遠画像の撮影時の処理となる。撮影した望遠画像は次に述べる広角画像の撮影処理を経て、撮影範囲が明確に表示できる広角画像を特定してから送信される。

図７は、広角画像の撮影時の処理を示すフローチャートである。はじめに、Ｓ７０２において広角カメラ部が広角画像を作成する。次のＳ７０３〜Ｓ７０９で、一つ前の広角画像の撮影時点との間に撮影した各々の望遠画像についての繰り返し処理を行う。Ｓ７０４で望遠画像の撮影範囲情報を利用し、Ｓ７０２で作成した広角画像から撮影範囲の部分画像を切り出す。続いてＳ７０５においてＳ７０４で切り出した広角画像の部分画像と同画角の望遠画像を作成する。そしてＳ７０６において、Ｓ７０４で作成した広角画像の部分画像と、Ｓ７０５で作成した望遠画像の縮小画像について、画像差分を求める。次にＳ７０７で、望遠画像の撮影時にＳ６０６で求めた一つ前の広角画像における撮影範囲の部分画像の画像差分と、Ｓ７０６で求めた画像差分を比べて差分が小さいほうの広角画像を、望遠画像の撮影範囲をより表示するのに適した広角画像と決定する。そして、Ｓ７０８で望遠画像データを撮影範囲情報、および広角画像を特定する情報とともに送信する。Ｓ７０３〜Ｓ７０９の繰り返し処理の後、Ｓ７１０に進み広角画像を動画フォーマットに圧縮符号化し、Ｓ７１１において広角画像データを送信する。

以上のような処理フローにより、望遠画像の時間的に前後に撮影する広角画像から撮影範囲に一致する部分画像に対して該望遠画像との画像差分を計算し、画像差分が小さい広角画像を該望遠画像の撮影範囲を明確に表示するのに好ましい広角画像であると決定する。

（第３の実施形態）
本実施形態において、カメラ装置は前記第１の実施形態と同構成であり、カメラ装置の概観および概略構成、カメラ装置を遠隔操作する機器の撮影映像表示の画面は同じである。本実施形態では、請求項１のカメラ装置が送信する広角映像と望遠映像を再生表示する請求項４の撮影動画再生方法について図８を参照して説明する。

図８の８０１と８０２は、望遠撮影と広角撮影を模式的にタイムチャートに表したものである。８０２から８０９は望遠画像（撮影）を表し、８１０、８１１は広角画像（撮影）を表す。図８で望遠画像から撮影画像への矢印は、望遠画像が撮影範囲を表示に適すると特定した広角画像を指している。すなわち８０３〜８０６の望遠画像は８１１の広角画像を特定しており、８０７〜８０９の望遠画像は８１２の広角画像を特定している。８１０は、図には記してないが、８１２の次の広角画像を特定している。図８の８１３と８１４は、望遠撮影と広角撮影の再生における再生時間を模式的にタイムチャートで表している。本発明のカメラ装置から送信される望遠画像には、撮影範囲情報と撮影範囲をより正確に表示する広角画像を特定する情報が付与される。撮影映像を再生する装置は、この情報を元に、望遠画像が特定する広角画像の再生表示に同期させて、望遠画像の再生表示を行う。図８の８２２は、広角画像８１１の再生表示を表す。広角画像８１１を特定していた望遠画像８０３〜８０６は、それぞれ８１５〜８１８のように望遠画像の再生表示する。すなわち広角画像８１１の再生表示８２１と、望遠画像８０３の再生表示８１５は、開始をそろえる。また広角画像８１０を特定する望遠画像は８０３〜８０６の４つであるので、広角画像８１０の再生表示８２１の所要時間を４等分した時間が、８１５〜８１８に割当てられている。８２３は広角画像８１２の再生表示であり、広角画像８１２を特定している望遠画像８０７〜８０９の再生表示を８１９〜８２１で表す。望遠画像８０７の再生表示８１９の開始は、広角画像８１２の再生表示８２３の再生開始に合わせ、８２３の所用時間を３等分した時間が、８１９〜８２１にそれぞれ割当てられる。

望遠映像の再生では、前記第１の実施形態で述べたように、再生中の望遠撮影範囲を、同時に再生中の広角映像に表示する。各々の望遠画像に付与された撮影範囲情報から表示中の広角画像に、撮影範囲枠を重ねて表示する。望遠画像が切り替わると撮影範囲と同時に表示を更新する。したがって、本実施形態で述べた再生方法によって、表示する望遠画像の撮影範囲の表示に適した広角画像が表示されるため、広角映像中の撮影範囲の内容と、望遠映像がより正確に表示できることになる。

なお、請求項４の方法で、撮影映像を再生する装置は、前記第１の実施形態で述べたカメラ装置を遠隔操作することができる機器であってもよいし、ネットワークに接続される別の撮影動画再生装置であってもよい。

本発明の実施形態の概略構成を示すブロック図 本発明におけるカメラ装置の実施形態の概観図 撮影者が遠隔撮影する機器の画面例を表す図 カメラ装置の広角撮影と望遠撮影の順番の一例を模式的に表すタイムチャート 第１の実施形態における望遠画像の撮影時の処理を示すフローチャート 第２の実施形態における望遠画像の撮影時の処理を示すフローチャート 第２の実施形態における広角画像の撮影時の処理を示すフローチャート 望遠撮影と望遠撮影、および望遠映像と広角映像における、撮影と再生の順番を模式的に表すタイムチャート

符号の説明

１０１ システムバス
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ 広角カメラ部
１０６ レンズ群１
１０７ ＣＣＤ１
１０８ ＣＣＤ制御部１
１０９ 画像処理部１
１１０ 望遠カメラ部
１１１ レンズ群２
１１２ ＣＣＤ２
１１３ ＣＣＤ制御部２
１１４ 画像処理部２
１１５ パン・チルト制御モータ
１１６ 画像符号化処理部
１１７ 通信インターフェース／通信制御部

Claims (4)

1. 撮影する動画像を外部に送信可能であるカメラ装置システムであって、
   広角な視野で全景を撮影する広角カメラ部と、一部視野を高倍率に拡大して撮影可能な望遠カメラ部を具備し、広角撮影と望遠撮影を同時平行に行い、
   望遠カメラ部のパン、チルト、ズームなどの撮影操作によって撮影方向と撮影倍率を制御し、広角カメラ部が撮影する全景内の所望の方向を望遠撮影することが可能であり、
   該カメラ装置システムは、望遠画像の撮影時点において、広角カメラ部の撮影視野内における望遠カメラ部の撮影範囲情報を取得するとともに、望遠画像が撮影範囲を明確に表示できる広角画像を特定する手段を有し、
   望遠画像の撮影範囲情報と、望遠画像の全景中の撮影範囲を明確に表示できる広角画像を特定する情報を、望遠画像データに付加して送信することを特徴とするカメラ装置システム。
2. 請求項１に記載のカメラ装置システムは、望遠画像撮影時の時間的に前後に撮影する広角画像のどちらか時間差が小さい方を、当該望遠画像の撮影範囲を明確に表示できる広角画像と特定することを特徴とするカメラ装置システム。
3. 請求項１に記載のカメラ装置システムは、望遠画像撮影時の撮影範囲情報から、時間的に前後に撮影する広角画像から撮影範囲に一致する部分画像を取り出し、部分画像が当該望遠画像との画像差分の小さい方を、当該望遠画像の撮影範囲を明確に表示できる広角画像と特定することを特徴とするカメラ装置システム。
4. 請求項１に記載のカメラ装置システムから送信される広角映像および望遠映像で、望遠画像の撮影範囲を表示する広角画像に同期して、該撮影範囲の望遠画像を表示することを特徴とする撮影動画像再生方法。

Images