JP2014175815A - 表示制御装置、方法及びプログラム並びに記録媒体 - Google Patents

Abstract

【課題】
強外光下での移動被写体に追従した撮影を容易にする。
【解決手段】
表示部（１１２）は、撮像素子（１０５）により撮像された画像を表示する。タッチパネル（１１１）によりユーザが特定の被写体を指定すると、システム制御部（１１０）は、指定された被写体を動体検出部（１１４）に追尾させる。強外光下では、システム制御部（１１０）は、表示部（１１２）を黒背景画面とし、タッチパネル（１１１）で指定される被写体を示す特定図形、例えば白色図形を、被写体に対応する位置に対応する大きさで表示させる。システム制御部（１１０）は、被写体追尾結果に従い特定図形の表示位置と大きさを表示部（１１２）の画面上で更新する。
【選択図】 図１

Description

本発明は、撮像装置の表示制御装置、方法及びプログラム並びに記録媒体に関する。

従来、撮影環境が屋外である場合に、ホワイトバランス制御と、ガンマ補正制御と、ＲＧＢ信号レベル制御のうち、少なくとも一つを行い、屋外での液晶パネルの視認性を向上させる撮像装置が知られている（特許文献１参照）。

また、所定操作ボタンの長押しを判断し、長押しと判断された場合は、液晶パネルの輝度を最大輝度に変更する撮像装置も知られている（特許文献２参照）。屋外での撮影に際して利用することで、液晶パネルの視認性を向上させることができる。

特開２００５−１７５８８８号公報 特開２００６−２２７１８７号公報

特許文献１に記載の技術では、被写体画像はそのままで、各種の画質パラメータ調整による視認性向上を行っているので、屋外、特に強外光下において、液晶パネルの輝度によっては、十分な視認性を得ることができない。その結果、例えば、移動被写体に追従した撮影が困難になる。

また、特許文献２に記載の技術では、所定操作ボタンの長押しにより、被写体画像はそのままで、液晶パネルの輝度を最大輝度に変更しているので、屋外、特に強外光下において、液晶パネルの性能によっては、最大輝度でも十分な視認性を得ることができない。これもまた、移動被写体に追従した撮影を困難にする。

本発明は、このような不都合を解消する表示制御装置、方法及びプログラム並びに記録媒体を提示することを目的とする。

本発明に係る表示制御装置は、光学像を画像信号に変換する撮像手段と、前記撮像手段により撮像された画像を表示する表示手段と、前記表示手段の表示画面上での被写体を指定する指定手段とを有する撮像装置において、前記指定手段で指定される前記被写体を追尾する被写体追尾手段と、前記指定手段で指定される前記被写体を示す特定図形を前記表示手段の画面上で前記被写体に対応する位置に表示させると共に前記特定図形以外の部分を前記特定図形よりも暗く表示させ、前記被写体追尾手段の追尾結果に従い前記特定図形の前記表示手段の画面上での表示位置を更新する制御手段とを具備することを特徴とする。

本発明によれば、指定した被写体を示す特定図形を、前記表示手段の画面上で前記被写体に対応する位置に表示させ追尾させるので、屋外、特に強外光下においても、移動被写体に追従した撮影が容易になる。

本発明の一実施例の概略構成ブロック図である。 本実施例の第１の画面例である。 本実施例の動作フローチャートである。 本実施例の第２の画面例である。 本実施例の第２の動作フローチャートである。 本実施例の第２の動作フローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例を適用したデジタルビデオカメラの概略構成ブロック図を示す。カメラ１００において、操作部１１３は、ユーザがデジタルビデオカメラ１００に対して各種の指示を入力するために操作するスイッチやボタン等により構成されている。

システム制御部１１０は、マイクロプロセッサ、プログラムメモリやワークメモリ等の外部メモリ、外部メモリをコントロールするメモリコントローラ等のロジック、時計部、タイマ機能及びＩ／Ｏポート等により構成される。システム制御部１１０は、操作部１１３またはタッチパネル１１１からの指示に応じて、カメラ１００の各部を制御する。すなわち、システム制御部１１０は、デジタルビデオカメラ１００全体の動作を統括して制御している。

撮像素子１０５は、レンズ１０１及び露出機構１０２を介して入射する光を受け、その光学像を示す画像信号を出力する。撮像素子１０５はＣＣＤセンサ又はＣＭＯＳセンサなどの光電変換素子で構成される。

レンズ１０１は、複数のレンズから構成されたレンズ群からなる。レンズ１０１は、撮像素子１０５に被写体像を合焦させるためのフォーカスレンズ、及び撮像素子１０５に結像する被写体象の倍率を変化させる光学ズームレンズを備えている。露出機構１０２は、撮像素子１０５に到達する被写体像の光量を調節する絞りと、撮像素子１０５への光入射を遮断する機械シャッタを備えている。

ＡＦ処理部１０３は、撮像素子１０５に結像された被写体像の合焦状態を調整するために、レンズ１０１に含まれるフォーカスレンズを駆動する。ＡＥ処理部１０４は、撮像素子１０５に到達する被写体像の光量を制御するため、露出機構１０２の絞りの開口径を調整し、シャッタの開時間を調節する。

Ａ／Ｄ変換部１０６は、撮像素子１０５から出力されるアナログ画像信号に、サンプリング、ゲイン調整及びＡ／Ｄ変換等を行い、デジタル画像信号として出力する。

画像処理部１０７は、Ａ／Ｄ変換部１０６から出力されるデジタル画像信号にホワイトバランス処理、ガンマ変換処理及び色変換処理を含む各種の画像処理を行い、ＹＵＶ画像信号に変換したデジタル画像信号を出力する。

表示部１１２は液晶パネルにより構成されており、画像処理部１０７で処理されたデジタル画像信号に従う画像を表示する。撮像素子１０５で生成された画像をリアルタイムで動画として表示することにより、表示部１１２がビューファインダとして機能し、ユーザに被写体の様子を観察させることができる。

操作部の一つとして、接触を検知可能なタッチパネル１１１が表示部１１２の画面上に配置されている。タッチパネル１１１と表示部１１２とは一体的に構成することができる。例えば、タッチパネル１１１を光の透過率が表示部１１２の表示を妨げないように構成し、表示部１１２の表示面の上層に取り付ける。タッチパネル１１１における入力座標と表示部１１２上の表示座標とを対応付けることにより、恰もユーザが表示部１１２上に表示された画面を直接的に操作するようなＧＵＩ（Graphical User Interface）を構成できる。

システム制御部１１０は、タッチパネル１１１への以下の操作を検出できる。タッチパネル１１１を指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネル１１１を指やペンで触れている状態であること（以下、タッチオンと称する）。タッチパネル１１１を指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネル１１１へ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネル１１１に何も触れていない状態（以下、タッチオフと称する）。これらの操作や、タッチパネル１１１上に指やペンが触れている位置座標はシステム制御部１１０に通知され、システム制御部１１０は通知された情報に基づいてタッチパネル１１１上にどのような操作が行なわれたかを判定する。タップは、タッチダウンとタッチアップが素早く行われる操作で、ダブルタップは、タップが素早く二回行われる操作である。タッチパネル１１１は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものであってもよい。

被写体位置設定部１１５は、ユーザが操作部１１３またはタッチパネル１１１を操作することで任意に特定した領域を、追尾対象である被写体がいる追尾対象領域として設定する。被写体位置設定部１１５は、追尾対象領域設定手段として機能する。

動体検出部１１４は、時系列的に連続して得られたデジタル画像信号を比較することで、いずれかのフレーム画像で被写体位置設定部１１５により追尾対象領域として設定された被写体の動きを被写体動き情報として検出し、追尾する。動体検出部１１４は、追尾対象領域の位置情報及び大きさを継続的にシステム制御部１１０に通知する。

追尾方法としては、公知の方法、例えば、特開２００９−２９６０３０号公報に記載される方法を採用できるが、その他の被写体追尾処理技術も利用可能である。追尾技術の詳細は、省略する。

フォーマット変換部１０８は、画像処理部１０７から出力されたデジタル画像信号（画像データ）のフォーマットをＭＰＥＧ２形式又はＭｏｔｉｏｎ ＪＰＥＧ形式等のフォーマットに変換し、画像記録部１０９に出力する。

画像記録部１０９は、フォーマット変換部１０８から受けたフォーマット変換済みの画像データを、デジタルビデオカメラ１００内の不図示のメモリ、又は、デジタルビデオカメラ１００に挿入されている外部メモリ等に記録する。

本実施例では、追尾したい被写体（特定被写体）をタッチパネル１１１で指定する。そして、表示部１１２の表示画面上での特定被写体の位置に、特定被写体の大きさに応じたサイズの特定図形を表示し、表示部１１２の画面全体を、強外光下で特定図形を視認しやすい単色背景画面、例えば黒背景画面にする。ここでは、特定図形を白色の円図形としている。すなわち、黒背景画面上で特定被写体に重畳するように、黒背景画面上に特定図形を表示する。理解が容易なように、特定被写体が単数である例で説明する。

図２は、本実施例の表示部１１２の表示例を示す。図３は、本実施例の動作フローチャートを示す。図３に示すフローチャートに対応する表示制御プログラムが図示しない記録媒体に記録されており、システム制御部１１０が、その表示制御プログラムを必要時にメモリにロードして実行する。

図２において、２０１は、屋外撮影であっても、強外光下ではない場合の画面例であり、被写体をはっきり認識することができる。２０２は、屋外しかも強外光下での撮影時の画面例であり、液晶パネルの輝度不足と反射等により、表示部１１２の画面全体が暗く見えてしまい、被写体の認識がしにくい状態である。

システム制御部１１０は、スタートすると（Ｓ３０１）、Ｓ３０２で、表示部１１２の特殊表示モードへの移行が許可されているか否かを判定する。システム制御部１１０は、許可されている場合にはＳ３０３に進み、そうでない場合にはＳ３０２に戻り、許可されるのを待つ。ここでの許可設定は、例えば、ユーザのメニュー設定によるものでも、屋外撮影であることを自動認識して許可するものでも良く、その方法は特に限定されない。

Ｓ３０３で、システム制御部１１０は、特定被写体の指定が行われたか否かを、タッチパネル１１１へのタップ操作が行われたか否かで判定する。システム制御部１１０は、タップされた場合（図２の画面例２０４）にはＳ３０４に進み、そうでない場合、Ｓ３０３に戻り、タップされるのを待つ。タッチパネル１１１へのタップ操作による特定被写体指定を例に挙げたが、十字キーやトラックボール等を用いてもかまわない。

Ｓ３０４で、システム制御部１１０は特殊表示モードに移行し、図２の画面例２０５に示すように表示部１１２の画面全体を黒背景画面に切り替え、図２の白色図形２０６で示すように特定被写体の指定部分に重なるように特定図形を表示する。Ｓ３０５で、システム制御部１１０は、特定被写体の指定部分の追尾を開始する。表示部１１２の画面全体を黒背景画面に切り替える例を挙げたが、黒背景画面への切り替えを行わなくても、ある程度の効果を得ることができる。特定図形が円形である例を挙げたが、他の形状、例えば、四角形や、特定被写体の指定部分の輪郭を抜き出したようなものでもかまわない。更に、特定図形の色に関して１００％白の例を挙げたが、比較的輝度の高い色であれば、他の色を用いてもかまわない。

Ｓ３０６で、システム制御部１１０は、動体検出部１１４の検出結果により、特定被写体指定部分が移動したか否かを判定し、移動が検出された場合にはＳ３０７に進み、そうでない場合にはＳ３０８に進む。Ｓ３０７で、システム制御部１１０は、特定被写体指定部分の移動に追従して、特定図形を移動させる。即ち、特定被写体指定部分の移動に応じて、特定図形の表示位置を更新する。

Ｓ３０８で、システム制御部１１０は、動体検出部１１４の検出結果により、特定被写体指定部分の大きさが変化したか否かを判定し、大きさの変化が検出された場合にはＳ３０９に進み、そうでない場合にはＳ３１０に進む。Ｓ３０９では、システム制御部１１０は、図２に示す白色図形２０８のように、特定被写体指定部分の大きさの変化に追従して特定図形の大きさを変更（拡大または縮小）する。すなわち、特定被写体が近づいて大きく表示されるような状況では、特定図形をより大きく表示し、特定被写体が離れた場合には、より小さく表示する。

Ｓ３０６〜Ｓ３０９に示す処理により、特定図形の表示位置と大きさが、被写体追尾結果に従い更新される。

Ｓ３１０で、システム制御部１１０は、デジタルビデオカメラ１００の記録が終了したか否かを判定し、記録が終了した場合にはＳ３１１に進み、そうでない場合にはＳ３０６に戻る。記録終了の動作又は操作を特殊表示モード終了を指示する特定操作と評価しているが、操作部１１３の所定操作又はタッチパネル１１１への所定操作等を特殊表示モード終了を指示する特定操作としてもよい。

Ｓ３１１で、システム制御部１１０は、特定被写体指定部分の追尾を終了し、Ｓ３１２に進む。Ｓ３１２では、システム制御部１１０は、特殊表示モードを終了し、図２に示す画面例２０２のような通常表示に表示部１１２を切り替える。

以上のように、本実施例によれば、屋外、特に強外光下における撮影において、移動被写体に追従した撮影が容易になる。更に、特定被写体の指定をタッチパネルのタップ操作により行うことにより、直感的な操作を実現できる。更に、特殊表示モードへの移行を特定被写体指定により行い、特殊表示モードの終了を記録終了により行うことで、表示モードの切り替えに面倒な操作が必要なくなる。

複数の特定被写体に追尾する動作例を説明する。図４はその画面例を示し、図５Ａ及び図５Ｂは、その動作フローチャートを示す。図５に示すフローチャートに対応する制御プログラムが図示しない記録媒体に記録されており、システム制御部１１０が、その制御プログラムを必要時にメモリにロードして実行する。

図４において、４０１は、屋外撮影であっても、強外光下ではない場合の画面例であり、被写体をはっきり認識することができる。４０２は、屋外しかも強外光下での撮影時の画面例であり、表示部１１２の輝度不足と反射等により、表示部１１２の画面全体が暗く見えてしまい、被写体の認識がしにくい状態にある。

システム制御部１１０は、スタートすると（Ｓ５０１）、Ｓ５０２で、表示部１１２の特殊表示モードへの移行が許可されているか否かを判定する。システム制御部１１０は、許可されている場合にはＳ５０３に進み、そうでない場合にはＳ５０２に戻り、許可されるのを待つ。ここでの許可設定は、例えば、ユーザのメニュー設定によるものでも、屋外撮影であることを自動認識して許可するものでも良く、その方法は特に限定されない。

Ｓ５０３で、システム制御部１１０は、特定被写体指定が行われたか否かを、タッチパネル１１１へのタップ操作が行われたか否かで判定する。システム制御部１１０は、タップされた場合（図４の画面例４０４）にはＳ５０４に進み、そうでない場合、Ｓ５０３に戻り、タップされるのを待つ。タッチパネル１１１へのタップ操作による特定被写体指定を例に挙げたが、十字キーやトラックボール等を用いてもかまわない。

Ｓ５０４で、システム制御部１１０は、Ｓ５０３でのタップ操作がダブルタップであったか否かを判定する。システム制御部１１０は、ダブルタップである場合（図４の画面例４０８）にＳ５０５に進み、そうでない場合にＳ５０６に進む。Ｓ５０５で、システム制御部１１０は、ダブルタップフラグをセットする。

Ｓ５０６で、システム制御部１１０は、特殊表示モードの第一段階への移行済みか否かを判定し、移行済みの場合にはＳ５０９に進み、そうでない場合にはＳ５０７に進む。

Ｓ５０７で、システム制御部１１０は、特殊表示モードの第一段階に移行し、図４の白色図形４０６に示すように特定被写体指定部分に重ねて特定図形を表示する。続くＳ５０８で、システム制御部１１０は、特定被写体の指定部分の追尾を開始し、Ｓ５１１に進む。

Ｓ５０９で、システム制御部１１０は、図４の画面例４１０に示すように、新たな特定被写体指定部分を、表示済みの特定図形とは異なる形状の特定図形で表示する。続くＳ５１０で、システム制御部１１０は、新たな特定被写体の指定部分を追尾対象として追加し、Ｓ５１１に進む。図４では、特定図形の形状として円形や六角形の例を挙げたが、他の形状、例えば、四角形や特定被写体の指定部分の輪郭を抜き出したものでもかまわない。特定図形の色として１００％白の例を挙げたが、比較的輝度の高い色であれば、他の色を用いてもかまわない。

ステップＳ５１１〜Ｓ５１４の処理は図３のステップＳ３０６〜Ｓ３０９の処理と同様なので、説明を省略する。

Ｓ５１５で、システム制御部１１０は、ダブルタップフラグがセットされているか否かを判定し、セットされている場合にはＳ５１６に進み、そうでない場合にはＳ５０３に戻る。

Ｓ５１６で、システム制御部１１０は、特殊表示モードの第二段階に移行して、Ｓ５１７に進む。この第二段階では、システム制御部１１０は、図４の画面例４０９に示すように表示部１１２の画面全体を黒背景画面に切り替え、図４の白色図形４０６，４１０に示すように特定被写体指定部分に対応する位置に特定図形を表示する。表示部１１２の画面全体を黒背景画面に切り替える例を挙げたが、黒背景画面への切り替えを行わなくても、ある程度の効果を得ることができる。

ステップＳ５１７〜Ｓ５２３の処理は図３のステップＳ３０６〜Ｓ３０９の処理と同様なので、説明を省略する。

図４の画面例４１１は、ステップＳ５１６の状態に対して、特定被写体指定部分が移動し且つ大きさも変化したことに伴い、白色図形４１２，４１３の位置と大きさが変化したことを表している。

このように、図５に示す表示制御では、屋外、特に強外光下における撮影において、複数の移動する被写体に追従した撮影が容易になる。更に、特定被写体指定をタッチパネルのタップ、及びダブルタップ操作により行うことにより、直感的な操作を実現できる。更に、特殊表示モードへの移行を段階的に行うことにより、複数の特定被写体指定が容易に行える。

任意の被写体をその場で指定ないし選択する実施例を説明したが、親族、友人などの特定の被写体を予め撮影してその顔画像を取り込んでおき、その顔画像の検出をもって特定被写体の指定としてもよい。その場合、強外光環境下での特定の被写体の検出をトリガーとして、上述の特殊表示モードでの表示制御を起動してもよい。

システム制御部１１０は、１つのハードウエアで実現されても、複数のハードウエアで実現されても良く、その上で動作する制御プログラムもまた、１つのプログラムで実現されても、複数のプログラムモジュールで実現されても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。

デジタルビデオカメラに適用した実施例を説明したが、本発明は、ビューファインダ用途に使用可能な、被写体を表示可能な表示部を有する様々な撮像装置に適用可能である。また、被写体を表示しつつ、当該被写体を指定可能なタッチパネル付きの表示手段を具備する撮像装置を有する、種々の装置にも適用可能である。そのような装置には、例えば、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、音楽プレーヤ、ゲーム機などがある。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

1. 光学像を画像信号に変換する撮像手段と、
   前記撮像手段により撮像された画像を表示する表示手段と、
   前記表示手段の表示画面上での被写体を指定する指定手段
   とを有する撮像装置において、
   前記指定手段で指定される前記被写体を追尾する被写体追尾手段と、
   前記指定手段で指定される前記被写体を示す特定図形を前記表示手段の画面上で前記被写体に対応する位置に表示させると共に前記特定図形以外の部分を前記特定図形よりも暗く表示させ、前記被写体追尾手段の追尾結果に従い前記特定図形の前記表示手段の画面上での表示位置を更新する制御手段
   とを具備することを特徴とする表示制御装置。
2. 前記指定手段が複数の被写体を指定でき、
   前記制御手段が、前記指定手段で指定される前記各被写体について、前記特定図形を対応する前記被写体に対応する位置に表示させ、前記被写体追尾手段の追尾結果に従い、前記特定図形の前記表示手段の画面上での表示位置を更新する
   ことを特徴とする請求項１に記載の表示制御装置。
3. 異なる被写体に対する前記特定図形の形状が互いに異なることを特徴とする請求項２に記載の表示制御装置。
4. 前記制御手段が、特定操作に応じて、前記表示手段の背景画面を黒背景画面に切り替えることを特徴とする請求項２に記載の表示制御装置。
5. 前記制御手段は、前記特定図形の大きさを、対応する前記被写体が大きくなるほど大きくなるように変更することを特徴とする請求項１から４の何れか１項に記載の表示制御装置。
6. 光学像を画像信号に変換する撮像手段と、
   前記撮像手段により撮像された画像を表示する表示手段と、
   前記表示手段の表示画面上での被写体を指定する指定手段
   とを有する撮像装置において、
   前記指定手段で被写体を指定する指定ステップと、
   前記指定ステップで指定される前記被写体を追尾する被写体追尾ステップと、
   前記指定手段で指定される前記被写体を示す特定図形を前記表示手段の画面上で前記被写体に対応する位置に表示させると共に前記特定図形以外の部分を前記特定図形よりも暗く表示させるステップと、
   前記被写体追尾ステップの追尾結果に従い前記特定図形の前記表示手段の画面上での表示位置を更新するステップ
   とを具備することを特徴とする表示制御方法。
7. 光学像を画像信号に変換する撮像手段と、
   前記撮像手段により撮像された画像を表示する表示手段と、
   前記表示手段の表示画面上での被写体を指定する指定手段
   とを有する撮像装置の表示制御手段により実行されるプログラムであって、
   前記指定手段で指定される前記被写体を追尾する被写体追尾手段と、
   前記指定手段で指定される前記被写体を示す特定図形を前記表示手段の画面上で前記被写体に対応する位置に表示させると共に前記特定図形以外の部分を前記特定図形よりも暗く表示させる手段と、
   前記被写体追尾手段の追尾結果に従い前記特定図形の前記表示手段の画面上での表示位置を更新する手段
   として前記表示制御手段を機能させるための表示制御プログラム。
8. 請求項７に記載の表示制御プログラムを記録した記録媒体。

Images