JP2017028633A - 映像配信端末、プログラム、及び、映像配信方法 - Google Patents

Abstract

【課題】切出し画像を適切な設定で表示させることができる映像配信端末を提供する。
【解決手段】映像配信システムは、被写体を撮像して画像を生成する撮像部と、前記画像の一部の領域を切出して切出し画像を生成して、前記切出し画像の特徴に基づいて前記切出し画像に関する第１調整を実行して、前記第１調整された前記画像の特徴に基づいて前記画像の設定に関する第２調整を実行する現像処理部と、を備える。
【選択図】図３

Description

本発明は、映像配信端末、プログラム、及び、映像配信方法に関する。

遠隔地間で画像を転送して、遠隔地の画像を互いに表示するビデオ会議システム等の映像配信システムが知られている。このような映像配信システムでは、映像配信端末の広角カメラ等によって撮像した広角画像の一部を切り出した切出し画像を表示する場合がある。

しかしながら、広角画像から切り出された切出し画像の露出等の設定が、広角画像の他の領域の露出等の設定を基準に設定されているため、適切な設定でないといった課題がある。

本発明は、上記に鑑みてなされたものであって、切出し画像を適切な設定で表示させることができる映像配信端末、プログラム、及び、映像配信方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の映像配信端末は、被写体を撮像して画像を生成する撮像部と、前記画像の一部の領域を切出して切出し画像を生成して、前記切出し画像の特徴に基づいて前記切出し画像に関する第１調整を実行して、前記第１調整された前記画像の特徴に基づいて前記画像の設定に関する第２調整を実行する現像処理部と、を備える。

本発明にかかる映像配信端末は、切出し画像を適切な設定で表示させることができるという効果を奏する。

図１は、実施形態にかかる映像配信システムの全体構成図である。 図２は、端末の制御系を説明するブロック図である。 図３は、端末のカメラ及び画像データの処理を説明するブロック図である。 図４は、話者の切出し画像の測光評価値の算出処理のフローチャートである。 図５は、話者の切出し画像を説明する図である。 図６は、切出し画像のＹ信号に重み付けする重み付けテーブルを説明する図である。 図７は、話者の切出し画像の測光評価値に基づいた、切出し画像の露光制御処理のフローチャートである。 図８は、広角画像の測光評価値の算出処理のフローチャートである。 図９は、広角画像を説明する図である。 図１０は、広角画像の測光評価値に基づいた、広角画像の露光制御処理のフローチャートである。 図１１は、広角画像の露光制御の一例を説明するヒストグラムである。 図１２は、広角画像の露光制御においてヒストグラムをＹ信号（輝度値）の低い領域へ伸長したヒストグラムである。 図１３は、ヒストグラムを伸長させる方法の一例を示す図である。

以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。

＜実施形態＞
図１は、実施形態にかかる映像配信システム１０の全体構成図である。実施形態にかかる映像配信システム１０は、複数の遠隔地のユーザが互いの画像を見ながら会議するためのビデオ会議システムに適用している。図１に示すように、映像配信システム１０は、サーバー１２と、映像配信端末の一例である複数の端末１４とを備える。以下の説明において、端末１４ａ、１４ｂ、１４ｃ、１４ｄをそれぞれ区別する必要がない場合、端末の符号を“１４”と記載する。なお、映像配信端末は、専用の映像配信端末でも良いし、パーソナルコンピュータ、スマートフォン、タブレットなどの情報処理端末であっても良い。

サーバー１２は、各端末１４とインターネット等のネットワークによって各端末１４と接続されている。サーバー１２は、各端末１４がサーバー１２と接続されているか否かの状態をモニタするとともに、会議開始時に端末１４の呼び出し制御、及び、会議時の種々の制御を実行する。

端末１４は、サーバー１２を介して、他の端末１４とデータを送受信する。例えば、端末１４は、自己が撮像した画像データ及び音声データをサーバー１２に送信する。端末１４は、他の端末１４が送信した画像データ及び音声データをサーバー１２から受信する。端末１４は、他の端末１４から取得した画像データに基づいて画像を表示するとともに、音声データに基づいて音声を出力する。

例えば、端末１４ａ、１４ｂ、１４ｃが会議に参加して、端末１４ｄが会議に参加していない場合、端末１４ａが送信したデータは、サーバー１２を介して、端末１４ｂ、１４ｃに送信されるが、端末１４ｄには送信されない。端末１４ｂ、１４ｃが送信したデータは、サーバー１２を介して、端末１４ａ、１４ｂ、１４ｃには送信されるが、端末１４ｄには送信されない。これにより、映像配信システム１０は、複数の端末１４によるビデオ会議を実現している。

図２は、端末１４の制御系を説明するブロック図である。図２に示すように、端末１４は、撮像部の一例であるカメラ２０と、表示部２２と、マイクロホン２４と、スピーカー２６と、ＣＰＵ（Central Processing Unit）２８と、記憶装置３０と、メモリ３２と、ＬＡＮ（Local Area Network）インターフェース部３４と、操作部３６とを備える。

カメラ２０は、会議に参加している参加者等の被写体を撮像した画像の画像データを生成する。カメラ２０は、広角（例えば、３６０°）の領域を撮像可能に構成されている。例えば、３６０°の超広角で撮影する場合、カメラ２０は、複数のイメージセンサーを備えており、各イメージセンサーに対応してレンズが設けられている。カメラ２０は、生成した広角画像の画像データをＣＰＵ２８へ出力する。

表示部２２は、例えば、液晶ディスプレイ、または、有機ＥＬディスプレイ等の表示装置である。表示部２２は、ＣＰＵ２８から取得した画像データに基づいて、画像を表示する。例えば、表示部２２は、他の端末１４からＣＰＵ２８が取得した画像データに基づいて、他の端末１４の近傍で会議に参加している参加者の画像を表示する。

マイクロホン２４は、例えば、マイクアレイである。マイクロホン２４は、取得した音声を電気的な音声データに変換して、ＣＰＵ２８へ出力する。マイクロホン２４は、例えば、会議の参加者の音声を取得する。

スピーカー２６は、ＣＰＵ２８から取得した音声データに基づいて、音声を出力する。スピーカー２６は、例えば、他の端末１４のマイクロホン２４が取得した会議の参加者の音声を出力する。

ＣＰＵ２８は、端末１４の制御全般を司る。ＣＰＵ２８は、例えば、ビデオ会議における画像データの送受信及び音声データの送受信等のビデオ会議に関する制御を実行する。

記憶装置３０は、例えば、ＨＤＤ（Hard Disk Drive）及び不揮発性のフラッシュメモリ等の記憶装置である。記憶装置３０は、ＣＰＵ２８によってプログラム及びデータを読み出し及び書き込み可能に構成されている。記憶装置３０は、ＣＰＵ２８が実行するプログラム、及び、プログラムの実行に必要なデータを記憶する。記憶装置３０は、例えば、ビデオ会議用のプログラム、及び、ビデオ会議のプログラムの実行に必要な画像データ等を記憶する。

メモリ３２は、例えば、ＲＡＭ（Random Access Memory）である。メモリ３２は、ＣＰＵ２８によってプログラム及びデータを読み出し及び書き込み可能に構成されている。メモリ３２は、ＣＰＵ２８が実行するために展開されたプログラム、及び、演算データ等のデータを一時的に記憶する。

ＬＡＮインターフェース部３４は、例えば、１０Ｂａｓｅ−Ｔ、１００Ｂａｓｅ−ＴＸ、及び１０００Ｂａｓｅ−Ｔに対応したＥｔｈｅｒｎｅｔ（登録商標）に接続する有線ＬＡＮ装置、または、８０２．１１ａ／ｂ／ｇ／ｎに対応した無線ＬＡＮ装置である。ＬＡＮインターフェース部３４は、ネットワーク及びサーバー１２等を介して、他の端末１４とデータを送受信可能に接続されている。これにより、ＬＡＮインターフェース部３４は、ビデオ会議に必要な画像データ及び音声データ等を他の端末１４と送受信して、ＣＰＵ２８へ出力する。

操作部３６は、例えば、キーボード、マウス及びボタン等の入力装置である。操作部３６は、会議の参加者等のユーザが機器制御のために入力した指示等を取得して、ＣＰＵ２８へ出力する。

ビデオ会議中の端末１４では、ＣＰＵ２８が、マイクロホン２４から会議の参加者が話した音声データを取得すると、当該音声データに基づいて、話している参加者である話者の方向を検知する。ＣＰＵ２８は、カメラ２０から取得した画像データの広角画像に含まれる複数の参加者から、当該音声データの話者を特定する。ＣＰＵ２８は、当該特定した話者をクローズアップした切出し画像の画像データを生成する。ＣＰＵ２８は、必要に応じて、複数の参加者を含む広角画像、及び、話者の切出し画像を補正する。

ＣＰＵ２８は、複数の参加者を含む広角画像の画像データ、話者をクローズアップした切出し画像の画像データ、及び、話者を含む参加者の音声データ等をＬＡＮインターフェース部３４及びネットワークを介して、サーバー１２へ送信する。

ＣＰＵ２８は、他の端末１４が送信した画像データ及び音声データを、ＬＡＮインターフェース部３４及びネットワークを介して、サーバー１２から受信する。ＣＰＵ２８は、受信した画像データを表示部２２に出力して参加者及び話者の画像を表示させるとともに、音声データをスピーカー２６に出力して話者の音声を再生させる。このようにして、各端末１４は、ビデオ会議を実行する。

図３は、端末１４のカメラ２０及び画像データの処理を説明するブロック図である。図３に示すように、端末１４のカメラ２０は、レンズ４０と、絞り４２と、イメージセンサー４４とを更に備える。また、端末１４は、現像処理部４６を更に備える。例えば、プログラムを読み込んだＣＰＵ２８が、現像処理部４６として機能する。

イメージセンサー４４は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーまたはＣＣＤ（Charge-Coupled Device）イメージセンサーである。イメージセンサー４４は、レンズ４０で集光されて、絞り４２によって光量が調整された光を受光する。イメージセンサー４４は、受光した光を電気信号に光電変換する。イメージセンサー４４は、電気信号を読み出して増幅した後、Ａ／Ｄ変換して生成したＲＡＷ信号からなる画像データを現像処理部４６へ出力する。例えば、イメージセンサー４４は、会議の複数の参加者を含む広角画像の画像データを現像処理部４６へ出力する。

現像処理部４６は、広角画像等の画像の一部の領域を切出して切出し画像を生成する。現像処理部４６は、切出し画像の特徴に基づいて切出し画像に関する第１調整を実行する。例えば、現像処理部４６は、広角画像に含まれる話者の周囲の領域を切出して切出し画像を生成する。切出し画像の特徴の一例は、後述する切出し画像の測光評価値等である。第１調整は、例えば、カメラ２０の露光時間の調整または自動調整、カメラ２０の絞り４２の調整または自動調整、ゲインの調整または自動調整、コントラストの調整または自動調整、ガンマ補正の調整または自動調整、ホワイトバランスの調整または自動調整等である。現像処理部４６は、第１調整された広角画像等の画像の特徴に基づいて画像の設定に関する第２調整を実行する。広角画像等の画像の特徴の一例は、後述する広角画像等の画像の測光評価値等である。第２調整は、例えば、コントラストの調整または自動調整、ガンマ補正の調整または自動調整、ゲインの調整または自動調整、ホワイトバランスの調整または自動調整等である。第２調整は、第１調整とは異なる設定に対して調整を実行する。

現像処理部４６は、前処理部５０と、Ｇａｉｎ調整部５２と、ＷＢ部５４と、デモザイキングＹＲＧＢ分離部５６と、ＡＥプリプロセス部５８と、ＡＷＢプリプロセス部６０と、制御部６２と、ガンマ変換部６４と、色補正部６６と、輪郭強調部６８と、ＮＲ部７０と、歪曲補正部７４と、スケーラー部７６と、記憶領域７８と、ＷＢ部８０と、ガンマ変換コントラスト調整部８２と、画像合成部８４と、Ｉ／Ｆユニット部８６と、切出し制御部８８とを備える。

前処理部５０は、カメラ２０のイメージセンサー４４からＲＡＷ信号の画像データを取得する。前処理部５０は、クランプ処理、欠陥画素補正、及び、レンズシェーディング補正等の前処理を、画像データに対して実行する。前処理部５０は、前処理した画像データをＧａｉｎ調整部５２へ出力する。

Ｇａｉｎ調整部５２は、前処理部５０から取得した画像データのゲインを調整することにより、画像データの明るさを調整する。Ｇａｉｎ調整部５２は、ゲイン調整した画像データをＷＢ部５４へ出力する。

ＷＢ部５４は、Ｇａｉｎ調整部５２から取得した画像データのＲ（Ｒｅｄ）信号及びＢ（Ｂｌｕｅ）信号を増幅させることによって、画像データのホワイトバランスを調整する。ＷＢ部５４は、ホワイトバランスを調整した画像データをデモザイキングＹＲＧＢ分離部５６へ出力する。

デモザイキングＹＲＧＢ分離部５６は、ＷＢ部５４から取得した画像データにデモザイキング（補完処理）を実行して、画素毎にＲＧＢ信号を割り当てる。デモザイキングＹＲＧＢ分離部５６は、割り当てたＲＧＢ信号から輝度値であるＹ信号を算出する。デモザイキングＹＲＧＢ分離部５６は、Ｙ信号をＡＥプリプロセス部５８へ出力する。デモザイキングＹＲＧＢ分離部５６は、ＲＧＢ信号をＡＷＢプリプロセス部６０へ出力する。デモザイキングＹＲＧＢ分離部５６は、ＲＧＢ信号及びＹ信号をガンマ変換部６４へ出力する。

ＡＥプリプロセス部５８は、話者の領域を広角画像から切出した切出し画像に関する情報である切出し制御情報を切出し制御部８８から取得する。ＡＥプリプロセス部５８は、切出し制御情報に基づいて、画像データから話者近傍の領域を測光範囲として選択して測光する。ＡＥプリプロセス部５８は、測光結果から話者近傍の切出し領域のＡＥ測光評価値を算出して、制御部６２へ出力する。

ＡＷＢプリプロセス部６０は、切出し制御部８８から切出し制御情報を取得する。ＡＷＢプリプロセス部６０は、切出し制御情報に基づいて、画像データから話者近傍の領域を測光範囲として選択してＡＷＢ測光する。ＡＷＢプリプロセス部６０は、測光結果から話者近傍の切出し領域のＡＷＢ測光評価値を算出して、制御部６２へ出力する。

制御部６２は、ＡＥプリプロセス部５８から取得したＡＥ測光評価値、及び、ＡＷＢプリプロセス部６０から取得したＡＷＢ測光評価値に基づいて、露光時間制御、絞り制御、ゲイン制御、ＲＢ制御、ガンマ制御、及び、コントラスト制御等の信号を生成する。制御部６２は、生成した露光時間制御の信号をイメージセンサー４４へフィードバックして第１調整を実行する。制御部６２は、生成した絞り制御の信号を絞り４２へフィードバックする。制御部６２は、生成したゲイン制御の信号をＧａｉｎ調整部５２へフィードバックする。制御部６２は、生成したＲＢ制御の信号をＷＢ部５４へフィードバックする。制御部６２は、生成したガンマ制御の信号をガンマ変換部６４へフィードバックする。これにより、イメージセンサー４４、絞り４２、Ｇａｉｎ調整部５２、ＷＢ部５４、ガンマ変換部６４が、指定した話者の切出し範囲の明るさが好ましい状態になるように広角画像の画像データの明るさを調整する。

ガンマ変換部６４は、制御部６２から取得したガンマ制御の信号に基づいて、デモザイキングＹＲＧＢ分離部５６から取得したＲＧＢ信号をガンマ変換して、色補正部６６へ出力する。ガンマ変換部６４は、制御部６２から取得したガンマ制御の信号に基づいて、デモザイキングＹＲＧＢ分離部５６から取得したＹ信号をガンマ変換して、輪郭強調部６８へ出力する。

色補正部６６は、ガンマ変換部６４から取得したＲＧＢ信号に基づいて、画像データの色相及び色彩等を調整するとともに、赤外線カットフィルタの分光分布特性に基づいて画像データを補正する。色補正部６６は、補正した画像データをＮＲ部７０へ出力する。

輪郭強調部６８は、ガンマ変換部６４から取得した輝度値であるＹ信号に基づいて、話者の輪郭部分を強調する処理を実行する。輪郭強調部６８は、処理後の画像データをＮＲ部７０へ出力する。

ＮＲ部７０は、輪郭強調部６８から取得したＹ信号、及び、色補正部６６から取得したＲＧＢ信号それぞれのノイズを抑制する。ＮＲ部７０は、ノイズを抑制した画像データをメモリ７２へ書き込む。

歪曲補正部７４は、切出し制御部８８から切出し制御情報を取得する。歪曲補正部７４は、話者の切出し画像の画像データをメモリ７２から読み出す。歪曲補正部７４は、読み出した切出し画像の画像データの歪曲を、記憶領域７８に記憶された歪曲補正マップに基づいて、補正する。歪曲補正部７４は、補正した切出し画像の画像データをスケーラー部７６へ出力する。

スケーラー部７６は、歪曲補正部７４から取得した切出し画像の画像データに拡大・縮小処理を実行する。スケーラー部７６は、拡大・縮小処理を実行した切出し画像の画像データをメモリ７２に書き込む。

ＡＥプリプロセス部５８は、第１調整された広角画像の画像データのＹ信号をメモリ７２から読み出す。ＡＥプリプロセス部５８は、読み出したＹ信号にＡＥ測光を実行して、ＡＥ測光評価値を算出する。

ＡＷＢプリプロセス部６０は、第１調整された広角画像の画像データのＲＧＢ信号をメモリ７２から読み出す。ＡＷＢプリプロセス部６０は、読み出したＲＧＢ信号にＡＷＢ測光を実行して、ＡＷＢ測光評価値を算出する。

制御部６２は、広角画像の画像データのＡＥ測光評価値及びＡＷＢ測光評価値に基づいて、ＲＢ制御、ゲイン制御、ガンマ制御、及び、コントラスト制御等の信号を生成して第２調整を実行する。制御部６２は、ＲＢ制御の信号をＷＢ部８０に出力する。制御部６２は、ガンマ制御及びコントラスト制御の信号をガンマ変換コントラスト調整部８２へ出力する。

ＷＢ部８０は、広角画像の画像データをメモリ７２から読み出す。ＷＢ部８０は、制御部６２から取得したＲＢ制御の信号に基づいて、広角画像の画像データのホワイトバランスを調整する。ＷＢ部８０は、ホワイトバランスを調整した広角画像の画像データをガンマ変換コントラスト調整部８２へ出力する。

ガンマ変換コントラスト調整部８２は、制御部６２から取得したガンマ制御及びコントラスト制御の信号に基づいて、ＷＢ部８０から取得した広角画像の画像データに対して、ガンマ変換及びコントラスト調整を実行する。ガンマ変換コントラスト調整部８２は、ガンマ変換及びコントラスト調整を実行した広角画像の画像データをメモリ７２に書き込む。

歪曲補正部７４は、ガンマ変換コントラスト調整部８２が書き込んだ広角画像の画像データをメモリ７２から読み出す。歪曲補正部７４は、読み出した広角画像の画像データの歪みを歪曲補正マップに基づいて補正した後、スケーラー部７６へ出力する。

スケーラー部７６は、歪曲補正部７４から取得した広角画像の画像データに対して、拡大・縮小処理を実行した後、メモリ７２に書き込む。

画像合成部８４は、上述した各画像処理が実行された後、メモリ７２に書き込まれた切出し画像の画像データ及び広角画像の画像データを読み出す。画像合成部８４は、切出し画像の画像データ及び広角画像の画像データを１つの画像データに合成した合成画像データを生成して、Ｉ／Ｆユニット部８６へ出力する。

Ｉ／Ｆユニット部８６は、合成画像データをシリアル化（例えば、Ｖ−ｂｙ−Ｏｎｅ（登録商標）ＨＳまたはＨＤＭＩ（登録商標）等）した後、サーバー１２へ送信する。

このように、現像処理部４６は、切出し画像が好ましい明るさとなるように第１調整した後、広角画像を第２調整するので、切出された切出し画像の話者が適切な明るさの画像としつつ、広角画像を適切な明るさとすることができる。

図４は、話者の切出し画像の測光評価値の算出処理のフローチャートである。ここでいう測光評価値は、ＡＥ測光評価値及びＡＷＢ測光評価値の両方を含む。

図４に示すように、切出し画像の測光評価値の算出処理では、現像処理部４６は、話者の切出し画像の画素ブロック毎に輝度値であるＹ信号を積算して、平均値を算出する（Ｓ１１０）。

図５は、話者の切出し画像ＴＰを説明する図である。切出し画像ＴＰは、話者Ｐ０の方向を検出して、当該方向の画像が広角画像から切出されて生成される。切出し画像ＴＰでは、中央の話者Ｐ０がドットハッチングで示す窓ＷＤの前に居る。話者Ｐ０の前には斜線ハッチングで示す机ＤＳが配置されている。切出し画像ＴＰは、窓ＷＤから外光が射し込んだ逆光状態である。このため、窓ＷＤは明るいが、話者Ｐ０は暗く見難い画像となっている。従って、本実施形態では話者Ｐ０に重きをおいた測光方法とする。当該測光方法として、例えば、画像の中央部分を重視した中央重点測光方式、または、画像の特定の一部を重視して測光するスポット方式等を挙げることができる。本実施形態では、中央重点測光方式の例で説明する。

切出し画像ＴＰは、６×６の画素ブロックＢＬに分割されている。図５では、各画素ブロックＢＬを点線で囲っている。画素ブロックＢＬは、例えば、１００×１００の画素を有する。従って、現像処理部４６は、画素ブロックＢＬに含まれる全ての画素のＹ信号を積算して、画素数で割ることによって、切出し画像ＴＰのＹ信号の平均値を算出する。

図４に戻って、現像処理部４６は、算出した画素ブロックＢＬ毎のＹ信号の平均値と、重み付けテーブルＷＴを掛ける（Ｓ１２０）。図６は、切出し画像ＴＰのＹ信号に重み付けする重み付けテーブルＷＴを説明する図である。重み付けテーブルＷＴは、切出し画像ＴＰの画素ブロックＢＬと同様に分割された重み付けブロックＷＢＬを有する。従って、本実施形態では、重み付けブロックＷＢＬは、６×６に分割されている。重み付けブロックＷＢＬには、重み付け係数が割り当てられている。本実施形態では、中央重点測光方式を採用しているので、中央の重み付けブロックＷＢＬの重み付け係数が大きくなっている。現像処理部４６は、各画素ブロックＢＬの平均値に、当該画素ブロックＢＬに対応する重み付けブロックＷＢＬに割り当てられた重み付け係数を掛ける。

図４に戻って、現像処理部４６は、切出し画像ＴＰの測光評価値として、Ｙ信号の平均値の加重平均値を算出する（Ｓ１３０）。具体的には、現像処理部４６は、ステップＳ１２０において重み付け係数が掛けられたＹ信号の平均値を全て積算した積算値を、重み付け係数を全て積算した積算値で割ることによって、加重平均値を切出し画像ＴＰの測光評価値として算出する。切出し画像ＴＰの測光評価値は、切出し画像ＴＰの特徴の一例である。これにより、現像処理部４６は、測光評価値の算出処理を終了する。

図７は、話者の切出し画像ＴＰの測光評価値に基づいた、切出し画像ＴＰの露光制御処理のフローチャートである。

図７に示すように、露光制御処理では、現像処理部４６は、広角画像のＹ信号をメモリ７２から読み出す（Ｓ２１０）。現像処理部４６は、切出し画像ＴＰの座標情報に基づいて、測光領域を決定する（Ｓ２２０）。ここでいう測光領域は、広角画像内における図５に示すような切出し画像ＴＰが切出された領域である。現像処理部４６は、上述した切出し画像ＴＰの測光評価値の算出処理に従って切出し画像ＴＰの測光評価値を算出する（Ｓ２３０）。

現像処理部４６は、切出し画像ＴＰの測光評価値と、予め定められた目標値とを比較して、測光評価値と目標値との差分であるエラー値を算出する。目標値は、例えば、最も適切な露光の場合の測光評価値が適用される。現像処理部４６は、当該エラー値が予め定められた許容範囲内か否かを判定する（Ｓ２４０）。換言すれば、現像処理部４６は、切出し画像ＴＰの露光が適切な範囲か否かを判定する。例えば、現像処理部４６は、エラー値と予め定められた閾値とを比較して、当該エラー値が許容範囲内か否かを判定する。

現像処理部４６は、エラー値が許容範囲内と判定すると（Ｓ２４０：Ｙｅｓ）、切出し画像ＴＰの露光制御処理を終了する。尚、この後、現像処理部４６は、切出し画像ＴＰの露光制御処理を繰り返してもよい。

現像処理部４６は、エラー値が許容範囲内でないと判定すると（Ｓ２４０：Ｎｏ）、エラー値がマイナスか否かを判定する（Ｓ２５０）。換言すれば、現像処理部４６は、露光がアンダーか、オーバーかを判定する。

現像処理部４６は、エラー値がマイナスと判定すると（Ｓ２５０：Ｙｅｓ）、これは露光がオーバーであることを意味するので、露光を下げる（Ｓ２６０）。例えば、現像処理部４６は、ゲインを小さくする制御信号、露光時間を短縮する制御信号、絞り４２を絞る制御信号を順に出力して、露光を下げる。ステップＳ２６０は、第１調整の一例である。この後、現像処理部４６は、切出し画像ＴＰの露光制御処理を繰り返してもよい。

現像処理部４６は、エラー値がマイナスでないと判定すると（Ｓ２５０：Ｎｏ）、これは露光がアンダーであることを意味するので、露光を上げる（Ｓ２７０）。例えば、現像処理部４６は、ゲインを大きくする制御信号、露光時間を延ばす制御信号、絞り４２を開ける制御信号を順に出力して、露光を上げる。ステップＳ２７０は、第１調整の一例である。この後、現像処理部４６は、切出し画像ＴＰの露光制御処理を繰り返してもよい。

このように、現像処理部４６は、画像の周辺部よりも話者Ｐ０のいる切出し画像ＴＰの中央部に重きをおいて露光時間、絞り、ゲインを調整するので、話者Ｐ０の画像を最適な明るさとすることができる。

図８は、広角画像ＷＰの測光評価値の算出処理のフローチャートである。図９は、広角画像ＷＰを説明する図である。

図９に示す広角画像ＷＰの露光は、全体に対する話者Ｐ０の位置、及び、全体の雰囲気を把握する目的がある。広角画像ＷＰの露光は、広角画像ＷＰの全体が好ましい状態となるような測光方式が好ましい。例えば、広角画像ＷＰの測光方式として、広角画像ＷＰの全体のＹ信号（即ち、輝度値）の平均値を測光評価値とする平均測光方式、及び、ヒストグラムを計算して当該ヒストグラムを分割して分割した画素ブロックＢＬ毎に重み付けをして加重平均を測光評価値とするヒストグラム測光方式等を挙げることができる。図８に示すフローチャートにおける広角画像の測光評価値の算出処理では、平均測光方式を例に説明する。

図８に示すように、広角画像ＷＰの測光評価値の算出処理では、現像処理部４６は、広角画像ＷＰの画素ブロックＢＬ毎に輝度値であるＹ信号を積算した積算値を算出する（Ｓ３１０）。

図９に示す広角画像ＷＰは、カメラ２０によって撮像された広角領域（例えば、３６０°の領域）の画像である。広角画像ＷＰは、複数の参加者Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５を含む。参加者Ｐ１〜Ｐ４のうち参加者Ｐ２が話者Ｐ０である。話者Ｐ０はドットハッチングで示す窓ＷＤの前に居る。参加者Ｐ１〜Ｐ４の前には斜線ハッチングで示す机ＤＳが配置されている。尚、上述した切出し画像ＴＰは、太点線で示す枠ＦＲの内側の画像である。

広角画像ＷＰは、８×４の画素ブロックＢＬに分割されている。図９では、各画素ブロックＢＬを点線で囲っている。画素ブロックＢＬは、例えば、１００×１００の画素を有する。現像処理部４６は、各画素ブロックＢＬの１００×１００の画素のＹ信号を積算する。

現像処理部４６は、各画素ブロックＢＬのＹ信号の平均値を、広角画像ＷＰの測光評価値として算出する（Ｓ３２０）。具体的には、現像処理部４６は、積算したＹ信号の積算値を、各画素ブロックＢＬの画素数で割ることによって、Ｙ信号の平均値を算出する。広角画像ＷＰの測光評価値は、広角画像ＷＰの特徴の一例である。これにより、現像処理部４６は、広角画像ＷＰの測光評価値の算出制御処理を終了する。

図１０は、広角画像ＷＰの測光評価値に基づいた、広角画像ＷＰの露光制御処理のフローチャートである。

図１０に示すように、露光制御処理では、現像処理部４６は、広角画像ＷＰのＹ信号をメモリ７２から読み出す（Ｓ４１０）。現像処理部４６は、上述した広角画像ＷＰの測光評価値の算出処理に従って広角画像ＷＰの測光評価値を算出する（Ｓ４２０）。

現像処理部４６は、広角画像ＷＰの測光評価値と、予め定められた目標値とを比較して、測光評価値と目標値との差分であるエラー値を算出する。目標値は、例えば、最も適切な露光の場合の測光評価値が適用される。現像処理部４６は、当該エラー値が予め定められた許容範囲内か否かを判定する（Ｓ４３０）。換言すれば、現像処理部４６は、広角画像ＷＰの露光が適切な範囲か否かを判定する。例えば、現像処理部４６は、エラー値と予め定められた閾値とを比較して、当該エラー値が許容範囲内か否かを判定する。

現像処理部４６は、エラー値が許容範囲内と判定すると（Ｓ４３０：Ｙｅｓ）、広角画像ＷＰの露光制御処理を終了する。尚、この後、現像処理部４６は、広角画像ＷＰの露光制御処理を繰り返してもよい。

現像処理部４６は、エラー値が許容範囲内でないと判定すると（Ｓ４３０：Ｎｏ）、エラー値がマイナスか否かを判定する（Ｓ４４０）。換言すれば、現像処理部４６は、露光がアンダーか、オーバーかを判定する。

現像処理部４６は、エラー値がマイナスと判定すると（Ｓ４４０：Ｙｅｓ）、これは露光がオーバーであることを意味するので、露光を下げる（Ｓ４５０）。例えば、現像処理部４６は、コントラストを暗くする制御信号、ガンマ補正を１より小さい値に設定する制御信号を出力して、露光を下げる。ステップＳ４５０は、第２調整の一例である。この後、現像処理部４６は、広角画像ＷＰの露光制御処理を繰り返してもよい。

現像処理部４６は、エラー値がマイナスでないと判定すると（Ｓ４４０：Ｎｏ）、これは露光がアンダーであることを意味するので、露光を上げる（Ｓ４６０）。例えば、現像処理部４６は、コントラストを明るくする制御信号、ガンマ補正を１より大きい値に設定する制御信号を出力して、露光を上げる。ステップＳ４６０は、第２調整の一例である。この後、現像処理部４６は、広角画像ＷＰの露光制御処理を繰り返してもよい。

図１１は、広角画像ＷＰの露光制御の一例を説明するヒストグラムである。図１２は、広角画像ＷＰの露光制御においてヒストグラムをＹ信号（輝度値）の低い領域へ伸長したヒストグラムである。

図５に示すような話者Ｐ０が逆光状態で撮像された場合、図４及び図７に示した露光制御が実行されると、暗くなっている話者Ｐ０に対して露光が適切に設定されて、話者Ｐ０以外の領域の画像は適切な状態よりも明るい状態となる。この場合、図１１に示すように、Ｙ信号（輝度値）が低い領域（点線で示す領域）の頻度は低くなり、Ｙ信号が高い領域に頻度が集中する。ここで、図１１に示すヒストグラムをＹ信号が低い領域へ伸長させることによって、図１２に示すように、Ｙ信号が低い領域にも頻度が分布するヒストグラムとなる。このヒストグラムに基づいて広角画像ＷＰの露光制御を実行することによって、適切な露光の広角画像ＷＰを生成できる。尚、ヒストグラムを伸長させる方法としては、コントラスト調整、ガンマ補正、ビットシフト等を上げることができる。

図１３は、ヒストグラムを伸長させる方法の一例を示す図である。例えば、図１３に示すように、矢印ＡＲ１に示すように、コントラストを暗い方へ広げるとともに、矢印ＡＲ２に示すようにガンマ補正を１より小さい値に動かすことによって、ヒストグラムをＹ信号が低い領域へも広げることができる。これにより、広角画像ＷＰにおいても、適切な露光とすることができる。

上述の実施形態における各構成の機能、接続関係等は適宜変更してよい。

上述の実施形態にかかる映像配信システム１０は、ビデオ会議用のシステムに適応した例を説明したが、遠隔監視システム等の他の映像配信システムに実施形態を適用してもよい。

上述の実施形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施形態および実施形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…映像配信システム、１４、１４ａ〜１４ｄ…端末、２０…カメラ、２２…表示部、２８…ＣＰＵ、４６…現像処理部、ＴＰ…切出し画像、ＷＰ…広角画像。

特開２００６−２２２８１６号公報

Claims (7)

1. 被写体を撮像して画像を生成する撮像部と、
   前記画像の一部の領域を切出して切出し画像を生成して、前記切出し画像の特徴に基づいて前記切出し画像に関する第１調整を実行して、前記第１調整された前記画像の特徴に基づいて前記画像の設定に関する第２調整を実行する現像処理部と、
   を備える映像配信端末。
2. 前記第１調整は、前記撮像部の露光時間及び絞りの少なくとも一方を調整する
   請求項１に記載の映像配信端末。
3. 前記第１調整及び前記第２調整は、ゲインの調整、ガンマ補正の調整、及び、コントラストの調整の少なくとも１つを含む
   請求項１または２に記載の映像配信端末。
4. 前記第１調整及び前記第２調整は、ホワイトバランスの調整を含む
   請求項１から３のいずれか１項に記載の映像配信端末。
5. 前記第２調整は、前記第１調整と異なる設定に対して調整を実行する
   請求項１から４のいずれか１項に記載の映像配信端末。
6. コンピュータを、
   被写体を撮像して画像を生成する撮像部と、
   前記画像の一部の領域を切出して切出し画像を生成して、前記切出し画像の特徴に基づいて前記切出し画像に関する第１調整を実行して、前記第１調整された前記画像の特徴に基づいて前記画像の設定に関する第２調整を実行する現像処理部と、
   して機能させるプログラム。
7. 被写体を撮像して画像を生成する撮像段階と、
   前記画像の一部の領域を切出して切出し画像を生成して、前記切出し画像の特徴に基づいて前記切出し画像に関する第１調整を実行して、前記第１調整された前記画像の特徴に基づいて前記画像の設定に関する第２調整を実行する現像処理段階と、
   を備える映像配信方法。

Images