JP2013128183A

JP2013128183A - 撮像装置及び撮像方法

Info

Publication number: JP2013128183A
Application number: JP2011276466A
Authority: JP
Inventors: Yuki Endo; 由樹遠藤
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2013-06-27
Also published as: KR20130069513A; US20130155273A1

Abstract

【課題】映像価値度に基づいて撮像制御を行うことが可能な技術を提供する。
【解決手段】映像を撮像する撮像部と、前記撮像部により撮像された映像の価値を示す映像価値度を算出する映像価値度算出部と、前記映像価値度算出部により算出された映像価値度に基づいて前記撮像部による撮像を制御する撮像制御部と、を備えることを特徴とする、撮像装置が提供される。例えば、前記映像価値度算出部は、前記撮像部により撮像された映像を解析することにより前記映像価値度を算出することができる。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

従来、映像の価値を示す値（以下、単に「映像価値度」とも言う。）を算出する技術が存在する。例えば、特許文献１に開示されている技術によれば、映像の撮影時に映像から映像価値度を算出し、この映像価値度を映像とともに記録媒体に記録しておくことができる。かかる技術によれば、映像再生時において映像価値度に応じた表示を行うことによって映像を閲覧するユーザの利便性を向上させることができる。

このように算出された映像価値度は様々に適用され得る。例えば、映像全体のうち映像価値度の高い部分の映像を要約動画として抽出することも想定される。このように抽出された要約動画を再生することにより、例えば、映像全体のうち映像価値度の高い部分のみをユーザに閲覧させることができる。

特開２０１０−２２６２７８号公報

しかしながら、特許文献１には、映像価値度に基づいて撮像制御を行うことに関する記述はない。すなわち、特許文献１に記載された技術によれば、映像価値度に基づいて再生時の映像を編集したりすることは可能であるが、映像の撮像を制御することはできない。したがって、映像価値度に基づいて撮像制御を行う技術が提供されることが要求される。

そこで、本発明は、映像価値度に基づいて撮像制御を行うことが可能な技術を提供しようとするものである。

本発明のある実施形態によれば、映像を撮像する撮像部と、前記撮像部により撮像された映像の価値を示す映像価値度を算出する映像価値度算出部と、前記映像価値度算出部により算出された映像価値度に基づいて前記撮像部による撮像を制御する撮像制御部と、を備えることを特徴とする、撮像装置が提供される。

かかる構成によれば、映像価値度算出部により算出された映像価値度に基づいて撮像部による撮像を制御することができる。撮像装置は、映像価値度に基づいて様々な手法により撮像を制御することができる。例えば、このように撮像制御された結果として映像が撮像された場合、映像を閲覧するユーザの利便性を向上させることができる。

前記映像価値度算出部は、前記撮像部により撮像された映像を解析することにより前記映像価値度を算出してもよい。かかる構成によれば、映像価値度を算出するために映像自体を解析することができるので、映像にマッチした映像価値度を算出することが可能である。

前記映像価値度算出部は、前記映像における被写体の存在位置に基づいて前記映像価値度を算出してもよい。かかる構成によれば、映像を閲覧するユーザは映像に映っている被写体に注目することが想定されるため、ユーザの注目対象とされ得る被写体の存在位置を考慮して映像価値度を算出することができる。例えば、被写体の存在位置が映像の中央に近いほど、その映像の重要度を高く算出することができる。

前記映像価値度算出部は、前記映像における被写体の動きの量に基づいて前記映像価値度を算出してもよい。かかる構成によれば、映像を閲覧するユーザは映像に映っている被写体に注目することが想定されるため、ユーザの注目対象とされ得る被写体の動きの量を考慮して映像価値度を算出することができる。例えば、被写体の動きの量が小さいほど、その映像の重要度を高く算出することができる。

前記撮像装置は、音声の入力を受け付ける音声入力部をさらに備え、前記映像価値度算出部は、前記音声入力部により入力が受け付けられた音声を解析することにより前記映像価値度を算出してもよい。かかる構成によれば、映像価値度を算出するために音声を解析することができるので、音声を考慮した映像価値度を算出することができる。

前記撮像装置は、前記撮像装置の動きを示す情報をセンサ情報として検出する検出部をさらに備え、前記映像価値度算出部は、前記検出部により検出されたセンサ情報を解析することにより前記映像価値度を算出してもよい。かかる構成によれば、映像価値度を算出するためにセンサ情報を解析することができるので、センサ情報を考慮した映像価値度を算出することができる。

前記撮像装置は、前記撮像制御部による制御の結果を表示部に表示するように前記表示部を制御する表示制御部をさらに備えてもよい。かかる構成によれば、撮像制御部による制御の結果が表示部に表示されるように表示部が制御されるため、どのように撮像が制御されたかをユーザに通知することができる。

また、本発明の別の実施形態によれば、映像を撮像するステップと、前記映像の価値を示す映像価値度を算出するステップと、前記映像価値度に基づいて前記映像の撮像を制御するステップと、を備えることを特徴とする、撮像方法が提供される。

かかる方法によれば、算出された映像価値度に基づいて撮像を制御することができる。撮像は映像価値度に基づいて様々な手法により制御され得る。例えば、このように撮像制御された結果として映像が撮像された場合、映像を閲覧するユーザの利便性を向上させることができる。

以上説明したように、本発明によれば、映像価値度に基づいて撮像制御を行うことが可能となる。

本発明の実施形態に係る撮像装置の構成例を示す図である。撮像装置の動作の流れを示すフローチャートである。映像解析による映像価値度の算出例を説明するための図である。映像解析による映像価値度の算出例を説明するための図である。音声解析による映像価値度の算出例を説明するための図である。音声解析による映像価値度の算出例を説明するための図である。音声解析による映像価値度の算出例を説明するための図である。映像価値度に基づいた要約動画の生成例を説明するための図である。映像価値度に基づいた要約動画の生成例を説明するための図である。撮像装置の状態を説明するためのテーブルである。撮像装置の状態遷移を説明するための状態遷移図である。動画記録状態及び映像視聴状態における撮像制御の一例を示す図である。撮影待機状態における撮像制御の一例を示す図である。撮像制御の他の一例を示す図である。一般的な技術による撮像結果を示す図である。一般的な技術による撮像結果を示す図である。一般的な技術による撮像結果を示す図である。一般的な技術による撮像結果を示す図である。本発明の実施形態に係る撮像装置による撮像結果を示す図である。本発明の実施形態に係る撮像装置による撮像結果を示す図である。本発明の実施形態に係る撮像装置による撮像結果を示す図である。本発明の実施形態に係る撮像装置による撮像結果を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

まず、本発明の実施形態に係る撮像装置１０の構成例について説明する。図１は、本発明の実施形態に係る撮像装置１０の構成例を示す図である。図１に示すように、撮像装置１０は、レンズ１１０、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）１２０、画像入力ｃｏｎｔｒｏｌｌｅｒ１２３、マイク１３０、音声入力ｃｏｎｔｒｏｌｌｅｒ１３３、センサ１４０、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）１４５及びＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）＆ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１５０を備える。

また、撮像装置１０は、操作部材１６３、画像信号処理回路１６４、圧縮処理回路１６５、メモリ（ＳＤＲＡＭ：ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１７１、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）１７２、表示部（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）１８１、ＬＣＤドライバ１８２、メディアｃｏｎｔｒｏｌｌｅｒ１８３及び記録部１８４を備える。さらに、撮像装置１０は、Ｍｏｔｏｒ１１１Ｍ，１１２Ｍ，１１３Ｍ、Ｄｒｉｖｅｒ１１１Ｄ，１１２Ｄ，１１３Ｄを備える。

レンズ１１０は、Ｚｏｏｍレンズ１１１、絞り１１２及びＦｏｃｕｓレンズ１１３を備え、被写体からの光を透過させてＣＭＯＳ１２０に結像させる光学系Ｓｙｓｔｅｍである。Ｚｏｏｍレンズ１１１は、焦点距離を変化させて画角を変えるレンズである。絞り１１２は、透過する光の量（光量）を調節する機構である。Ｆｏｃｕｓレンズ１１３は、一側から他側に又は他側から一側に移動することでＣＭＯＳ１２０の撮像面に被写体像を合焦させる。

ＣＭＯＳ１２０は、光電変換素子であり、レンズ１１０を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。なお、ＣＭＯＳ１２０は撮像素子の一例に過ぎないため、例えば、ＣＭＯＳ１２０の代わりに、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などが使用されてもよい。ＣＭＯＳ１２０は、撮像部の一例として機能し得る。

なお、ＣＭＯＳ１２０の露光時間を制御するため、非撮影時に光を遮って撮影時にのみＣＭＯＳ１２０に光が当たるように、メカニカルシャッタ（図示せず）又は電子シャッタ（図示せず）を適用することができる。なお、メカニカルシャッタ及び電子シャッタの動作は、ＤＳＰ＆ＣＰＵ１５０に接続された操作部材１６３のスイッチによって行われる。ＣＭＯＳ１２０は、ＣＤＳＡＭＰ（ＡＭＰｌｉｆｉｅｒ）１２１、ＡＤＣ（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）１２２を有する。

ＣＤＳＡＭＰ（相関二重サンプリング回路（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）／増幅器（Ａｍｐｌｉｆｅｒ））１２１は、ＣＭＯＳ１２０により光情報から変換された後の電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。

ＡＤＣ１２２は、ＣＤＳＡＭＰ１２１から出力された電気信号をデジタル変換してデジタル信号を生成する。ＡＤＣ１２２は、生成したデジタル信号を、画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３に出力する。

画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３は、ＡＤＣ１２２から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成し、生成した画像信号を、例えば、画像信号処理回路１６４に出力する。また、画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３は、メモリ（ＳＤＲＡＭ）１７１への画像データの読み書きを制御する。

マイク１３０は、音波の振動を電気信号に変換する。マイク１３０は、マイクＡＭＰ１３１、ＡＤＣ１３２を有する。マイクＡＭＰ１３１は、マイク１３０により音声情報から変換された後の電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。マイク１３０は、音声の入力を受け付ける音声入力部として機能する。

ＡＤＣ１３２は、マイクＡＭＰ１３１から出力された電気信号をデジタル変換してデジタル信号を生成する。ＡＤＣ１３２は、生成したデジタル信号を、音声入力Ｃｏｎｔｒｏｌｌｅｒ１３３に出力する。音声入力ｃｏｎｔｒｏｌｌｅｒ１３３は、ＡＤＣ１３２から出力されたデジタル信号の、メモリ（ＳＤＲＡＭ）１７１への読み書きを制御する。

センサ１４０は、撮像装置１０の動きを示す情報をセンサ情報として検出する検出部として機能する。センサ１４０により検出されたセンサ情報は、映像価値度算出部１５７による映像価値度の算出に用いられてもよい。センサ１４０は、例えば、加速度センサ１４１、角速度センサ１４２、ジャイロセンサ１４３及び電子コンパス１４４を備える。

ＶＲＡＭ１７２は、画像表示用のメモリであり、複数のチャネル（図１に示した例では、チャネルＡ及びチャネルＢ）を有する。ＶＲＡＭ１７２は、メモリ（ＳＤＲＡＭ）１７１からの画像表示用の画像データの入力と、ＬＣＤドライバ１８２への画像データの出力と、を同時に実行できる。表示部（ＬＣＤ）１８１の解像度や最大発色数はＶＲＡＭ１７２の容量に依存する。

メモリ（ＳＤＲＡＭ）１７１は、記憶部の一例であり、撮影した画像の画像データを一時的に保存する。メモリ（ＳＤＲＡＭ）１７１は、複数の画像データを記憶できる記憶容量を有しており、Ｆｏｃｕｓ制御時の画像信号を順次保持し、画像信号を出力する。また、ＤＳＰ＆ＣＰＵ１５０の動作プログラムを保存する。メモリ（ＳＤＲＡＭ）１７１からの画像データの読み出しと、メモリ（ＳＤＲＡＭ）１７１への画像データの書き込みとは、画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３によって制御される。

ＬＣＤドライバ１８２は、例えば、ＶＲＡＭ１７２から画像データを受けて、表示部（ＬＣＤ）１８１に画像を表示させる表示駆動部である。

表示部（ＬＣＤ）１８１は、撮像装置１０本体に設けられた表示部の一例であり、例えば、ＶＲＡＭ１７２から読み出された撮影前の画像（ライブビュー表示）、各種設定画面、撮像して記録された画像などを表示する。本実施形態では、ＬＣＤが表示部として機能し、ＬＣＤドライバ１８２がその表示部の表示駆動部として機能することとしたが、本発明はかかる例に限定されず、例えば、有機ＥＬＤｉｓｐｌａｙが表示部として機能し、有機ＥＬＤｉｓｐｌａｙ駆動部が表示駆動部として機能してもよい。

メディアｃｏｎｔｒｏｌｌｅｒ１８３は、記録部１８４への画像データの書き込み、又は記録部１８４に記録された画像データや設定情報などの読み出しを制御する。

記録部１８４は、例えば、光Ｄｉｓｃ（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙＤｉｓｃなど）、光磁気Ｄｉｓｃ、磁気Ｄｉｓｃ、半導体記憶媒体などであり、撮影された画像データを記録する。ここで、メディアｃｏｎｔｒｏｌｌｅｒ１８３、記録部１８４は、撮像装置１０から着脱可能に構成されてもよい。

圧縮処理回路１６５は、圧縮処理前の画像信号を受けて、例えば、ＪＰＥＧなどの圧縮形式で画像信号を圧縮処理する。圧縮処理回路１６５は、圧縮処理により生成した画像データを、例えば、メディアｃｏｎｔｒｏｌｌｅｒ１８３に送る。

画像信号処理回路１６４は、画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３から画像信号を受け、ＷｈｉｔｅＢａｌａｎｃｅ制御値、γ値、輪郭強調制御値などに基づいて、画像信号に対して各種の画像処理を行い、画像処理後の画像信号を生成する。また、本実施形態に係る画像信号処理回路１６４は、画像信号に基づいてＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）評価値を算出して、算出したＡＥ評価値をＤＳＰ＆ＣＰＵ１５０に送る。同様に、画像信号処理回路１６４は、画像信号に基づいてＡＦ（ＡｕｔｏＦｏｃｕｓ）評価値を算出して、算出したＡＦ評価値をＤＳＰ＆ＣＰＵ１５０に送る。さらに、画像信号処理回路１６４は、画像信号に基づいてＡＷＢ（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ）評価値を算出して、算出したＡＷＢ評価値をＤＳＰ＆ＣＰＵ１５０に送る。

操作部材１６３は、例えば、撮像装置１０に設けられた上下左右キー、電源スイッチ、モードダイヤル、シャッタボタンなどであり、ユーザによる操作に基づいて操作信号をＤＳＰ＆ＣＰＵ１５０などに送る。例えば、シャッタボタンは、ユーザによる半押し、全押し、解除が可能である。シャッタボタンは、半押しされたときＦｏｃｕｓ制御開始の操作信号を出力し、半押し解除でＦｏｃｕｓ制御終了の操作信号を出力する。また、シャッタボタンは、全押しされたとき、撮影開始の操作信号を出力する。

ＤＳＰ＆ＣＰＵ１５０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１０内に設けられた各構成要素の処理を制御する。ＤＳＰ＆ＣＰＵ１５０は、例えば、Ｆｏｃｕｓ制御や露出制御に基づいて１１１Ｄ〜１１３Ｄに信号を出力してレンズ１１０を駆動させる。また、操作部材１６３からの操作信号に基づいて撮像装置１０の各構成要素を制御する。なお、本実施形態においては、ＤＳＰ＆ＣＰＵ１５０が一つだけから成る構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。本実施形態のＤＳＰ＆ＣＰＵ１５０は、図１に示すように、各機能部を内部に有する。

映像価値度算出部１５７は、ＣＭＯＳ１２０により撮像された映像の価値を示す映像価値度を算出する。映像は、画像入力Ｃｏｎｔｒｏｌｌｅｒ１２３から順次に出力される画像信号であっても良く、画像信号処理回路１６４から順次に出力される画像処理後の画像信号であってもよい。映像価値度の算出についての詳細は、後に説明する。

ＶｉｄｅｏＡＦ制御部１５８は、Ｆｏｃｕｓ制御開始の操作信号を受け取ると、Ｆｏｃｕｓレンズ１１３を一方向に移動するための制御信号を生成して、Ｆｏｃｕｓ制御部１５２に出力する。また、ＶｉｄｅｏＡＦ制御部１５８は、画像信号処理回路１６４で算出されたＡＦ評価値に基づいて、Ｆｏｃｕｓレンズ１１３の合焦位置を算出し、合焦位置を制御信号としてＦｏｃｕｓ制御部１５２に出力する。

ＡＦ評価値は、例えば、画像のＣｏｎｔｒａｓｔ値であり、ＶｉｄｅｏＡＦ制御部１５８は、Ｃｏｎｔｒａｓｔ値がＰｅａｋとなったとき、被写体像がＣＭＯＳ１２０の撮像面で合焦していると判断する（Ｃｏｎｔｒａｓｔ検出方式）。また、ＶｉｄｅｏＡＦ制御部１５８は、被写体像との距離に基づいて少なくとも１つの主被写体像を決定する。

ＡＥ制御部１５９は、絞り制御開始の操作信号を受け取ると、絞り１１２を調整するための制御信号を生成して、絞り制御部１５３に出力する。また、ＡＥ制御部１５９は、画像信号処理回路１６４で算出されたＡＥ評価値に基づいて、絞りの値を算出し、絞りの値を制御信号として絞り制御部１５３に出力する。

画像処理選択部１６０は、画像処理の選択開始の操作信号を受け取ると、その操作信号に従って画像信号処理回路１６４による画像処理を選択することが可能である。画像信号処理回路１６４による画像処理は特に限定されないが、例えば、画像信号処理回路１６４による画像処理としては、ＷｈｉｔｅＢａｌａｎｃｅ補正、γ補正、輪郭強調などが想定される。

適正ＡＷＢ算出部１６１は、映像価値度算出部１５７により算出された映像価値度に基づいて適正なＡＷＢを算出する。適正ＡＷＢ算出部１６１により算出されたＡＷＢは、画像信号処理回路１６４によるＷｈｉｔｅＢａｌａｎｃｅ補正に供される。すなわち、Ｆｏｃｕｓ制御部１５２は、映像価値度算出部１５７により算出された映像価値度に基づいて撮像部による撮像を制御する撮像制御部の一例として機能する。

ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）管理部１６２は、表示部１８１による画面表示を管理する。例えば、ＧＵＩ管理部１６２は、操作部材１６３から出力される操作信号に基づいて選択される画面を表示部１８１に表示させるための制御信号をＬＣＤドライバ１８２に出力する。また、ＧＵＩ管理部１６２は、以下に説明する撮像制御の結果を表示部１８１に表示するように制御するための制御信号をＬＣＤドライバ１８２に出力する表示制御部として機能することもできる。

ＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１５１は、ＣＭＯＳ１２０にＴｉｍｉｎｇ信号を出力し、ＣＭＯＳ１２０を構成している各画素の露光時間の制御や、電荷の読み出し制御を行う。

Ｆｏｃｕｓ制御部１５２は、Ｆｏｃｕｓ制御開始の操作信号を受け取ると、Ｆｏｃｕｓレンズ１１３を調整するための制御信号を生成してＤｒｉｖｅｒ１１３Ｄに出力する。また、Ｆｏｃｕｓ制御部１５２は、映像価値度算出部１５７により算出された映像価値度に基づいてＦｏｃｕｓレンズ１１３を調整するための制御信号を生成してＤｒｉｖｅｒ１１３Ｄに出力する。すなわち、Ｆｏｃｕｓ制御部１５２は、映像価値度算出部１５７により算出された映像価値度に基づいて撮像部による撮像を制御する撮像制御部の一例として機能する。

絞り制御部１５３は、絞り制御開始の操作信号を受け取ると、絞り１１２を調整するための制御信号を生成してＤｒｉｖｅｒ１１２Ｄに出力する。また、絞り制御部１５３は、映像価値度算出部１５７により算出された映像価値度に基づいて絞り１１２を調整するための制御信号を生成してＤｒｉｖｅｒ１１２Ｄに出力する。すなわち、絞り制御部１５３は、例えば、映像価値度算出部１５７により算出された映像価値度に基づいて撮像部による撮像を制御する撮像制御部の一例として機能する。

Ｚｏｏｍ制御部１５４は、Ｚｏｏｍ制御開始の操作信号を受け取ると、Ｚｏｏｍレンズ１１１を調整するための制御信号を生成してＤｒｉｖｅｒ１１１Ｄに出力する。また、Ｚｏｏｍ制御部１５４は、映像価値度算出部１５７により算出された映像価値度に基づいてＺｏｏｍレンズ１１１を調整するための制御信号を生成してＤｒｉｖｅｒ１１１Ｄに出力する。すなわち、Ｚｏｏｍ制御部１５４は、例えば、映像価値度算出部１５７により算出された映像価値度に基づいて撮像部による撮像を制御する撮像制御部の一例として機能する。

レンズ情報管理部１５５は、レンズ１１０から撮像制御の結果（レンズ情報）を取得することができる。例えば、レンズ情報管理部１５５は、撮像制御の結果として、Ｆｏｃｕｓ制御部１５２による撮像制御の結果（Ｆｏｃｕｓレンズ１１３の値）、絞り制御部１５３による撮像制御の結果（絞り１１２の値）、Ｚｏｏｍ制御部１５４による撮像制御の結果（Ｚｏｏｍレンズ１１１）などを取得することができる。

補助光制御部１５６は、補助光発光装置により発光される補助光Ｌを制御する。補助光制御部１５６は、補助光制御開始の操作信号を受け取ると、補助光Ｌを調整するための制御信号を生成して補助光発光装置に出力する。例えば、補助光制御部１５６は、映像価値度算出部１５７により算出された映像価値度に基づいて補助光Ｌを調整するための制御信号を生成して補助光発光装置に出力する。すなわち、補助光制御部１５６は、例えば、映像価値度算出部１５７により算出された映像価値度に基づいて撮像部による撮像を制御する撮像制御部の一例として機能する。

ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）１４５は、ＧＰＳ衛星から受信した衛星信号に基づいて、撮像装置１０の位置を推定する。ＧＰＳ１４５により推定された撮像装置１０の位置は、映像価値度算出部１５７による映像価値度の算出に用いられてもよい。

Ｄｒｉｖｅｒ１１１Ｄは、Ｚｏｏｍ制御部１５４から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１１Ｍに送ってＭｏｔｏｒ１１１Ｍを駆動する。その結果、Ｍｏｔｏｒ１１１Ｍは、Ｚｏｏｍレンズ１１１を制御する。

Ｄｒｉｖｅｒ１１２Ｄは、絞り制御部１５３から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１２Ｍに送ってＭｏｔｏｒ１１２Ｍを駆動する。その結果、Ｍｏｔｏｒ１１２Ｍは、絞り１１２を制御する。

Ｄｒｉｖｅｒ１１３Ｄは、Ｆｏｃｕｓ制御部１５２から受けた制御信号に基づいて駆動信号を生成し、生成した駆動信号をＭｏｔｏｒ１１３Ｍに送ってＭｏｔｏｒ１１３Ｍを駆動する。その結果、Ｍｏｔｏｒ１１３Ｍは、Ｆｏｃｕｓレンズ１１３を制御する。

なお、撮像装置１０における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

以上、本発明の実施形態に係る撮像装置１０の構成例について説明した。次に、本発明の実施形態に係る撮像装置１０の動作の流れについて説明する。図２は、撮像装置１０の動作の流れを示すフローチャートである。

図２に示すように、ＤＳＰ＆ＣＰＵ１５０は、映像情報、レンズ情報、センサ情報を収集する（ステップＳ１１）。ＤＳＰ＆ＣＰＵ１５０は、表示部１８１が有効か否かを判定し（ステップＳ１２）、表示部１８１が無効である場合には（ステップＳ１２で「Ｎｏ」）、ステップＳ１４に進む。一方、表示部１８１が有効である場合には（ステップＳ１２で「Ｙｅｓ」）、ＧＵＩ管理部１６２は、表示部１８１に映像を表示させ（ステップＳ１３）、ステップＳ１４に進む。

続いて、ＤＳＰ＆ＣＰＵ１５０は、記録部１８４が有効か否かを判定し（ステップＳ１４）、記録部１８４が無効である場合には（ステップＳ１４で「Ｎｏ」）、ステップＳ１６に進む。一方、記録部１８４が有効である場合には（ステップＳ１４で「Ｙｅｓ」）、ＤＳＰ＆ＣＰＵ１５０は、記録部１８４に映像を記録させ（ステップＳ１５）、ステップＳ１６に進む。

続いて、映像価値度算出部１５７は、映像信号に基づいて映像価値度を算出する（ステップＳ１６）。撮像制御部は、映像価値度算出部１５７により算出された映像価値度に基づいて撮像を制御する（ステップＳ１７）。撮像制御部の例としては、Ｆｏｃｕｓ制御部１５２、絞り制御部１５３、Ｚｏｏｍ制御部１５４、補助光制御部１５６、適正ＡＷＢ算出部１６１などが挙げられる。

続いて、ＧＵＩ管理部１６２は、表示部１８１に映像を表示させる（ステップＳ１８）。このときに表示される映像は、撮像制御部により撮像制御された後に撮像された映像である。撮像制御の結果は、レンズ情報管理部１５５により取得され、映像価値度算出部１５７にフィードバックされる（ステップＳ１９）。

以上、本発明の実施形態に係る撮像装置１０の動作の流れについて説明した。次に、映像価値度算出部１５７による映像価値度の算出例について説明する。まず、映像解析による映像価値度の算出例について説明する。図３及び図４は、映像解析による映像価値度の算出例を説明するための図である。

例えば、映像価値度算出部１５７は、撮像部により撮像された映像を解析することにより映像価値度を算出することができる。一例として、映像価値度算出部１５７は、映像における被写体の存在位置に基づいて映像価値度を算出することができる。例えば、図３に示すような撮像画像Ｉｍ１が撮像された場合、映像価値度算出部１５７は、被写体が撮像画像Ｉｍ１の中心に近いほど映像価値度を高く算出することができる。

映像における被写体の存在位置に基づいて映像価値度が算出される場合における撮像画像と映像価値度の時間変化が図４に示されている。この例においては、被写体としてのボールが画面の左から転がってきて、真ん中で止まり、右に転がっていき、半分隠れたところで止まり、左に転がり、画面から消えるという映像が撮像されている。また、この映像に関して、図４の上段は、映像価値度を表し、図４の下段は、所定フレーム毎に映像がサンプリングされて並べられた画像群である。図４が示すように、映像価値度はボールが撮像画像の中央に近いほど高くなるように算出されている。

なお、映像解析による映像価値度の算出手法はこのような手法に限定されない。例えば、映像価値度算出部１５７は、映像における被写体の動きの量に基づいて映像価値度を算出することもできる。そのような場合、映像価値度算出部１５７は、例えば、映像における被写体の動きの量が小さいほど映像価値度を高く算出してもよい。あるいは、映像価値度算出部１５７は、映像全体の動きの量が小さいほど映像価値度を高く算出してもよい。

以上、映像解析による映像価値度の算出例について説明した。映像価値度の算出は、映像解析による場合に限定されない。例えば、音声解析によって映像価値度が算出されてもよい。以下では、音声解析による映像価値度の算出例について説明する。図６及び図７は、音声解析による映像価値度の算出例を説明するための図である。

例えば、映像価値度算出部１５７は、マイク１３０により入力が受け付けられた音声を解析することにより映像価値度を算出することができる。一例として、映像価値度算出部１５７は、音声の大きさに基づいて映像価値度を算出することができる。例えば、図５の上段に示すように音声の大きさが変化した場合、映像価値度は、図５の下段に示すように音声の大きさに比例する値として算出されてもよい。例えば、演奏会の会場のように静かな会場で撮影される場合などには、演奏以外の音がほとんどないと考えられるため、音声の大きさに基づいた映像価値度の算出が適する。

また、他の一例として、映像価値度算出部１５７は、音声から特定のキーワードが検出された場合に映像価値度を高く算出することができる。例えば、図６に示すように、音声から特定のキーワードが検出された場合、特定のキーワードが検出されてから所定の時間Ｔ１だけ映像価値度が高く算出されてもよい。あるいは、図７に示すように、音声から特定のキーワードが検出された場合、特定のキーワードが検出されてから所定の時間Ｔ２だけ映像価値度が高く算出され、その他の時間は映像価値度が音声の大きさに比例する値として算出されてもよい。

以上、音声解析による映像価値度の算出例について説明した。映像価値度の算出は、映像解析や音声解析による場合に限定されない。例えば、撮像装置１０の動きを示す情報がセンサ情報として検出された場合、このセンサ情報の解析によって映像価値度が算出されてもよい。センサ情報は、センサ１４０により検出され、例えば、加速度センサ１４１により検出された加速度、角速度センサ１４２により検出された角速度、ジャイロセンサ１４３により検出された角速度、電子コンパス１４４により検出された方向などであってもよい。

撮像装置１０の動きを示す情報がセンサ情報として検出された場合、映像価値度算出部１５７は、例えば、検出された撮像装置１０の動きが小さいほど映像価値度を高く算出してもよい。撮像装置１０の動きが小さいほど撮像された映像が安定していると考えられるからである。例えば、映像価値度算出部１５７は、加速度の変化が小さいほど映像価値度を高く算出してもよいし、角速度の変化が小さいほど映像価値度を高く算出してもよいし、方向の変化が小さいほど映像価値度を高く算出してもよい。

また、例えば、レンズ情報管理部１５５によりレンズ情報が取得された場合、このレンズ情報の解析によって映像価値度が算出されてもよい。例えば、手動により所定の閾値よりも早くＺｏｏｍレンズ１１１が動かされたことをレンズ情報が示す場合に、映像価値度算出部１５７は、その他の場合よりも映像価値度を低く算出してもよい。あるいは、手動により所定の閾値よりも早くＦｏｃｕｓレンズ１１３が動かされたことをレンズ情報が示す場合に、映像価値度算出部１５７は、その他の場合よりも映像価値度を低く算出してもよい。

以上、映像価値度の算出例について説明した。このように算出された映像価値度は様々に用いられる。例えば、映像価値度は要約動画の作成に使用され得る。以下では、映像価値度に基づいた要約動画の生成例について説明する。図８及び図９は、映像価値度に基づいた要約動画の生成例を説明するための図である。

例えば、図８に示すように、第１判定値と第１判定値よりも大きい値である第２判定値とを設け、「Ｃ：カメラ制御非重要シーン」と「Ｄ：カメラ制御重要シーン」との境界を「映像価値度＝第１判定値」とし、「Ａ：自動動画編集不採用シーン」と「Ｂ：自動動画編集採用シーン」との境界を「映像価値度＝第２判定値」とする。このような設定がなされることで、映像上重要なシーンが訪れる前にカメラ制御上重要なシーンに遷移し、カメラ制御上の遅延を吸収することができる。例えば、図９に示したように映像価値度と映像とが変化している場合に、映像価値度が第２判定値より大きい部分が抜き出されることで要約動画が作成される。

以上、映像価値度に基づいた要約動画の生成例について説明した。映像価値度は要約動画の作成以外にも様々な場面において用いられる。例えば、映像価値度は撮像制御に使用され得る。以下では、映像価値度に基づいた撮像制御の例について説明する。なお、以下において、「映像価値度が高い」「映像価値度が低い」とは、例えば、「閾値を基準として映像価値度が高い」「閾値を基準として映像価値度が低い」ということを意味する。また、以下の各表には、「映像価値度が高い」場合と「映像価値度が低い」場合とを比較して相対的にどのように撮像制御されるかが示されている。

まず、例えば、撮像装置１０によりホームビデオを撮影する場合などには、撮像装置１０の状態によって撮像制御を変化させることが考えられる。図１０は、撮像装置１０の状態を説明するためのテーブルであり、図１１は、撮像装置１０の状態遷移を説明するための状態遷移図である。撮像装置１０の状態としては、図１０に示したように「動画記録状態」「映像視聴状態」「撮影待機状態」「停止状態」などが挙げられる。また、撮像装置１０の状態は、例えば、図１１に示したように遷移され得る。

図１２は、動画記録状態及び映像視聴状態における撮像制御の一例を示す図である。動画記録状態及び映像視聴状態においては、図１２に示すように、映像価値度に基づいて撮像制御が行われる。例えば、図１２に示すように、映像価値度が高い場合には、見やすい映像になるような撮像制御がなされる。また、映像価値度が低い場合には、映像価値度が高くなった場合に備えた撮像準備のための撮像制御や節電につながるような撮像制御がなされる。

例えば、映像価値度が低い場合には、「フォーカス制御」は「すばやく制御」される。このような撮像制御により、映像価値度が低い場合には、映像全体がスキャンされて、映像価値度が高くなった場合に備えてピントを探しておくことができる。また、例えば、映像価値度が高い場合には、「撮影補助光」を「適正で光らせる」撮像制御が行われることにより、映像のノイズレベルを低くすることができる。一方、例えば、映像価値度が低い場合には、「撮影補助光」を「ゲインで適正にして極力光らせない」撮像制御が行われることにより、映像のノイズレベルが高くなったとしても節電しながら映像を明るくすることができる。

撮像制御の結果が、映像価値度算出部１５７にフィードバックされた場合には、映像価値度算出部１５７は、このフィードバックされた値にさらに基づいて撮像制御を行ってもよい。例えば、撮像制御が遷移されたことがフィードバックされた場合には、映像価値度算出部１５７は、この遷移によって映像価値度に与えられる影響を差し引いた映像価値度を算出することができる。例えば、「撮影補助光」を「ゲインで適正にして極力光らせない」撮像制御から「適正で光らせる」撮像制御に遷移されたことがフィードバックされた場合には、映像価値度算出部１５７は、「撮影補助光」を光らせることによって映像価値度に与えられる影響を差し引いた映像価値度を算出することができる。

図１３は、撮影待機状態における撮像制御の一例を示す図である。撮影待機状態においては、図１３に示すように、映像価値度に基づいて撮像制御が行われる。例えば、図１３に示すように、映像価値度が高い場合には、撮影が有効になった場合に備えた撮像準備のための撮像制御がなされる。また、例えば、図１３に示すように、映像価値度が低い場合には、節電につながるような撮像制御がなされ、映像価値度が算出できる程度の制御がなされる。なお、「停止状態」では、撮像制御が特になされなくてもよい。

続いて、例えば、撮像装置１０が監視カメラとして使用される場合などには、撮像装置１０の状態に関わらず撮像制御がなされることが考えられる。図１４は、撮像制御の他の一例を示す図である。撮像装置１０が監視カメラとして使用される場合などには、図１４に示すように、映像価値度に基づいて撮像制御が行われる。撮像装置１０が監視カメラとして使用される場合には、フレーム１枚１枚が高精細であることが望まれ、動画としての見やすさはあまり要求されない。したがって、映像価値度が高い場合には、目標の被写体にピントが合うようにされ、早く良好な撮像状態となるように制御される。また、映像価値度が低い場合には、映像全体を綺麗に撮像するように制御される。

以上、映像価値度に基づいた撮像制御の例について説明した。このように映像価値度に基づいて撮像制御された場合には、一般的な技術により撮像された場合と比較して様々な効果を奏する。以下では、映像価値度に基づいて撮像制御された場合の効果の例について説明する。

例えば、上記したように、映像価値度が低い間にピント位置を探しておくことで、映像価値度が高くなった場合に、すばやくピントを合わせることができる。したがって、映像価値度に基づいた撮像制御が行われることにより、重要シーンにおいてより高品位な動画を撮影することができる。かかる効果について図を用いながら説明する。図１５〜図１８は、一般的な技術による撮像結果を示す図であり、図１９〜図２２は、本発明の実施形態に係る撮像装置１０による撮像結果を示す図である。

図１５〜図１８に示したように、一般的な技術を用いた場合において、映像が撮像画像Ｉｍ１０、Ｉｍ１１、Ｉｍ１２、Ｉｍ１３の順に変化したとする。一般的なＭｏｖｉｅＡＦでは、Ｆｏｃｕｓが激しく動くと見るに耐えがたい動画になるため、安定性を重視して極力Ｆｏｃｕｓを動かさないようにする。さらに、ＣｏｎｔｒａｓｔＡＦである場合、現在のピント位置のＦｏｃｕｓ状態しかわからないため、主被写体（例えば、熊）が映像内に入ってきてもピント位置が分からずピントを合わせるのに時間がかかってしまう（例えば、背景にピントが合ったままになってしまう）。そこで、図１８に示すように、主被写体が画面を占めるようになり、ＡＦが行われても、主被写体のピント位置が分からないため、全範囲内でピント位置の探索が開始される。

図１９〜図２２に示したように、本発明の実施形態に係る撮像装置１０を用いた場合において、映像が撮像画像Ｉｍ２０、Ｉｍ２１、Ｉｍ２２、Ｉｍ２３の順に変化したとする。映像価値度は、撮像画像Ｉｍ２０、Ｉｍ２１では主被写体が中央付近にないため、低くなっているが、撮像画像Ｉｍ２２では主被写体が中央付近に近づいているため、中程度となり、撮像画像Ｉｍ２３では主被写体が中央付近に存在するため、高くなっている。本発明の実施形態に係る撮像装置１０を用いた場合、映像価値度が高くない段階で、ピント位置を事前に確認するため、主被写体が画面内に占めるようになったときに、すばやくピントを合わせることができる。

なお、本発明の実施形態に係る撮像装置１０によれば、消費電力を抑えることができる。例えば、レンズ駆動を行わない場合、レンズ駆動を行った場合に比べて、実機による計測で平均７．５〜１５％（レンズの構成に依存）の電力削減になる。

以上に説明したように、本実施形態に係る撮像装置１０は、映像を撮像する撮像部と、前記撮像部により撮像された映像の価値を示す映像価値度を算出する映像価値度算出部と、前記映像価値度算出部により算出された映像価値度に基づいて前記撮像部による撮像を制御する撮像制御部と、を備える。映像価値度に基づいて撮像制御を行うことが可能となる。

なお、本実施形態に係る技術は、既に開示されている先行技術文献に記載された技術とは異なっている。例えば、特開２００３−２７４２５７号公報に記載された技術では、被写体の運動状況を検出し、その運動状況に応じて撮像制御を行うことができるが、被写体の運動状況を検出するために被写体の位置を示す信号を発信する発信器を被写体に取り付けている。一方、本発明の実施形態に係る撮像装置は、発信器を被写体に取り付けることなく被写体の位置を検出することができる点において優れていると言える。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０撮像装置
１１０レンズ
１２０ＣＭＯＳ（撮像部）
１３０マイク
１４０センサ
１５２Ｆｏｃｕｓ制御部（撮像制御部）
１５３絞り制御部（撮像制御部）
１５４Ｚｏｏｍ制御部（撮像制御部）
１５６補助光制御部（撮像制御部）
１５７映像価値度算出部
１５９ＡＥ制御部
１６０画像処理選択部
１６１適正ＡＷＢ算出部
１６２ＧＵＩ管理部（表示制御部）
１８１表示部

Claims

映像を撮像する撮像部と、
前記撮像部により撮像された映像の価値を示す映像価値度を算出する映像価値度算出部と、
前記映像価値度算出部により算出された映像価値度に基づいて前記撮像部による撮像を制御する撮像制御部と、
を備えることを特徴とする、撮像装置。
前記映像価値度算出部は、
前記撮像部により撮像された映像を解析することにより前記映像価値度を算出する、
ことを特徴とする、請求項１に記載の撮像装置。
前記映像価値度算出部は、
前記映像における被写体の存在位置に基づいて前記映像価値度を算出する、
ことを特徴とする、請求項２に記載の撮像装置。
前記映像価値度算出部は、
前記映像における被写体の動きの量に基づいて前記映像価値度を算出する、
ことを特徴とする、請求項２に記載の撮像装置。
前記撮像装置は、
音声の入力を受け付ける音声入力部をさらに備え、
前記映像価値度算出部は、
前記音声入力部により入力が受け付けられた音声を解析することにより前記映像価値度を算出する、
ことを特徴とする、請求項１に記載の撮像装置。
前記撮像装置は、
前記撮像装置の動きを示す情報をセンサ情報として検出する検出部をさらに備え、
前記映像価値度算出部は、
前記検出部により検出されたセンサ情報を解析することにより前記映像価値度を算出する、
ことを特徴とする、請求項１に記載の撮像装置。
前記撮像装置は、
前記撮像制御部による制御の結果を表示部に表示するように前記表示部を制御する表示制御部をさらに備える、
ことを特徴とする、請求項１に記載の撮像装置。
映像を撮像するステップと、
前記映像の価値を示す映像価値度を算出するステップと、
前記映像価値度に基づいて前記映像の撮像を制御するステップと、
を備えることを特徴とする、撮像方法。