JP2011120131A - 画像撮影装置 - Google Patents

Abstract

【課題】被制御装置を被写体として撮影して制御する場合に、撮影対象に応じて適切なメニューを表示して操作可能にする。
【解決手段】被制御装置を被写体として撮影し通信を介して制御可能な画像撮影装置において、撮像部１０１により撮像された被写体画像から被写体を認識する被写体認識部１０２と、被写体画像における被写体の撮影状態（被制御装置の部位等）を判定する被写体状態判定部１０３と、被写体状態判定部１０３の判定結果に応じて、被写体認識部１０２で認識された被写体に関連付けられた複数の操作項目から特定の操作項目を抽出して操作メニューを生成するメニュー生成部１０５と、メニュー生成部１０５で生成された操作メニューを表示する表示部１０７と、を備える。
【選択図】図１

Description

本発明は、撮影機能及び通信機能を有し、被制御装置を被写体として撮影して制御可能な画像撮影装置に関する。

デジタルカメラ等の画像撮影装置には、被写体画像を表示する表示部の表示画面において、撮影以外の他の操作を可能にしたものが存在する。例えば、画像撮影装置において、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））等の通信機能を持つ通信部を有
し、通信部を介して接続した他装置との間で通信を行い、撮像した画像データの送信等を可能としたものが提案されている（例えば特許文献１参照）。特許文献１記載の装置では、第１表示部に送信先機器を表示し、第２表示部に送信候補の記録画像を表示して、記録画像を第２表示部から第１表示部へ移動させるような送信操作が行われた場合には、その記録画像を第１表示部に表示されている送信先機器へ送信する。これにより、複数の送信先機器の中から対象の送信先機器を簡単かつ確実に設定して記録画像を送信することが可能である。

また、被写体画像を表示する表示部において操作を可能にした他の例として、特許文献２には、フォーカス領域の位置を示すＡＦ枠とメニューアイコンとを液晶モニタに表示し、ＡＦ枠の移動によりメニュー操作を可能にした撮影装置が開示されている。

特開２００７−２３５４４９号公報 特開２００９−１００１３３号公報

ここで、撮影した被写体画像を表示する表示部の表示画面において、他装置の対象機器を被写体画像として表示し、表示画面上の操作によって対象機器を制御する場合を想定する。この場合、被写体画像として撮影して表示及び認識した被制御装置である対象機器との間で通信を確立し、表示画面上の操作に基づいて対象機器へ制御情報を送信することになる。上述した従来技術によっても、撮影した被制御装置の画像と被制御装置の機能メニューとを表示部の表示画面に表示し、機能メニューを操作することは可能である。しかしながら、従来技術を適用して一般的な階層型のメニューを表示した場合、機能メニューの表示が複雑になる、メニュー操作が煩雑になる、ユーザが必要な項目を探して選択するのに手間がかかる、などの問題点が生じる。

本発明は、上記事情に鑑みてなされたもので、その目的は、被制御装置を被写体として撮影して制御する場合に、撮影対象に応じて適切なメニューを表示して操作可能にでき、操作性を向上させることが可能な画像撮影装置を提供することにある。

本発明は、被制御装置を被写体として撮影し、通信を介して制御可能な画像撮影装置であって、前記被写体の画像を被写体画像として撮像する撮像部と、前記撮像部により撮像された被写体画像から被写体を認識する被写体認識部と、前記被写体画像における被写体の撮影状態を判定する被写体状態判定部と、前記被写体状態判定部の判定結果に応じて、前記被写体認識部で認識された被写体に関連付けられた複数の操作項目から特定の操作項
目を抽出して操作メニューを生成するメニュー生成部と、前記メニュー生成部で生成された操作メニューを表示する表示部と、を有する画像撮影装置を提供する。
上記構成により、被制御装置を被写体として撮影して制御する場合に、撮影対象に応じて適切な操作項目を抽出して操作メニューを生成し、この操作メニューを表示して操作可能にでき、操作性を向上させることが可能となる。

また、本発明は、上記の画像撮影装置であって、前記被写体状態判定部は、被写体の部位を判定する部位判定部を有し、前記メニュー生成部は、前記被写体状態判定部における被写体の部位判定結果に応じた操作メニューを生成するものを含む。
上記構成により、被写体として撮影した被制御装置の部位に応じた操作項目を抽出して操作メニューを生成し、被制御装置の部位に応じた操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記被写体状態判定部は、被写体の距離を判定する距離判定部を有し、前記メニュー生成部は、前記距離判定部における被写体の距離判定結果に応じた操作メニューを生成するものを含む。
上記構成により、被写体として撮影した被制御装置の距離に応じた操作項目を抽出して操作メニューを生成し、被制御装置の距離に応じた操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記被写体状態判定部は、被写体画像のズーム状態を判定する拡縮判定部を有し、前記メニュー生成部は、前記拡縮判定部におけるズーム状態の判定結果に応じた操作メニューを生成するものを含む。
上記構成により、被写体として撮影した被制御装置のズーム状態に応じた操作項目を抽出して操作メニューを生成し、被制御装置のズーム状態に応じた操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記撮像部は、複数の被制御装置を同時に撮影するものであり、前記被写体認識部は、前記撮像部により同時撮像された複数の被制御装置を認識し、前記メニュー生成部は、前記認識された複数の被制御装置に関連する操作メニューを生成するものを含む。
上記構成により、同時撮像された複数の被制御装置に関連する操作項目を抽出して操作メニューを生成し、複数の被制御装置の共通機能、連携機能等の関連する操作項目を持つ操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記撮像部は、複数の被制御装置を時系列に撮影するものであり、前記被写体認識部は、前記撮像部により時系列に撮像された複数の被制御装置をそれぞれ認識し、前記メニュー生成部は、前記認識された複数の被制御装置に関連する操作メニューを生成するものを含む。
上記構成により、時系列に撮像された複数の被制御装置に関連する操作項目を抽出して操作メニューを生成し、複数の被制御装置の共通機能、連携機能等の関連する操作項目を持つ操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記メニュー生成部は、前記複数の被制御装置における共通機能と連携機能のうちの少なくとも一方を前記特定の操作項目として抽出して操作メニューを生成するものを含む。
上記構成により、複数の被制御装置における共通機能と連携機能のうちの少なくとも一方を含む操作項目を持つ操作メニューを表示して操作可能にできる。

また、本発明は、上記の画像撮影装置であって、前記メニュー生成部は、第１の被制御
装置に対する選択操作を検出した後に第２の被制御装置の撮影状態での解除操作の検出によって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行うものを含む。
上記構成により、複数の被制御装置を時系列に撮影して関連する操作項目を持つ操作メニューを生成する際に、選択操作、解除操作によって複数の被制御装置を指定して操作メニューを生成可能である。

また、本発明は、上記の画像撮影装置であって、前記メニュー生成部は、第１の被制御装置に対するフォーカス操作を検出した後に第２の被制御装置の撮影状態でのフォーカス解除操作の検出によって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行うものを含む。
上記構成により、複数の被制御装置を時系列に撮影して関連する操作項目を持つ操作メニューを生成する際に、フォーカス操作、フォーカス解除操作によって複数の被制御装置を指定して操作メニューを生成可能である。

また、本発明は、上記の画像撮影装置であって、前記メニュー生成部は、被写体画像において時系列に撮像された第１の被制御装置の画像と第２の被制御装置の画像との重なり状態を検出することによって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行うものを含む。
上記構成により、複数の被制御装置を時系列に撮影して関連する操作項目を持つ操作メニューを生成する際に、複数の被制御装置の画像を重ねる操作によって複数の被制御装置を指定して操作メニューを生成可能である。

本発明は、被制御装置を撮影した被写体画像に基づき、通信を介して制御可能なメニュー表示装置であって、前記被写体画像から被写体を認識する被写体認識部と、前記被写体画像における被写体の撮影状態を判定する被写体状態判定部と、前記被写体状態判定部の判定結果に応じて、前記被写体認識部で認識された被写体に関連付けられた複数の操作項目から特定の操作項目を抽出して操作メニューを生成するメニュー生成部と、前記メニュー生成部で生成された操作メニューを表示する表示部と、を有するメニュー表示装置を提供する。

本発明によれば、被制御装置を被写体として撮影して制御する場合に、撮影対象に応じて適切なメニューを表示して操作可能にでき、操作性を向上させることが可能な画像撮影装置を提供できる。

本発明の第１の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図 第１の実施形態に係る表示部の表示画面の表示例を示す図 第１の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャート 本発明の第２の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図 第２の実施形態に係る表示部の表示画面の表示例を示す図 第２の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャート 本発明の第３の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図 第３の実施形態に係る表示部の表示画面の表示例を示す図 第３の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャート 本発明の第４の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図 第４の実施形態に係る表示部の表示画面の表示例を示す図 第４の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャート 本発明の第５の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図 第５の実施形態に係る表示部の表示画面の表示例を示す図 第５の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャート

以下の実施形態では、画像撮影装置の一例として、デジタルカメラ、携帯電話装置などの携帯機器に撮影機能を設けた構成例について説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図である。第１の実施形態の画像撮影装置は、撮像部１０１、被写体認識部１０２、被写体状態判定部１０３、記憶部１０４、メニュー生成部１０５、合成部１０６、表示部１０７、操作部１０８、制御部１０９、通信部１１０を有して構成される。

撮像部１０１は、撮影レンズ、撮像素子、撮像素子ドライバ、撮像信号処理部、ＡＦドライバ、ＡＦ駆動部等を有して構成され、被写体の画像を撮像して被写体画像を表す撮影画像信号を生成出力する。ここで、ＡＦドライバ及びＡＦ駆動部は、制御部１０９等から出力されるＡＦ制御信号に基づき、撮影レンズを駆動制御して被写体を合焦状態にするオートフォーカス処理を行う。そして、撮影レンズにより結像した被写体像を撮像素子で光電変換して被写体の撮像信号を出力し、撮像信号処理部により撮影画像信号を生成する。

被写体認識部１０２は、撮像部１０１より出力される撮影画像信号に基づき、撮影された被写体画像から被写体の認識処理を行う。ここで、被制御装置を被写体として撮影する場合、被制御装置である対象機器の種別等を認識し、被写体認識情報を出力する。被写体状態判定部１０３は、被写体認識部１０２で認識した被写体の撮影状態を判定する。本実施形態では、被写体状態判定部１０３における被写体状態の判定機能の一例として、被制御装置である対象機器の部位を判定する部位判定部の機能を持つものを例示する。

被写体認識部１０２による対象機器の認識、被写体状態判定部１０３による対象機器の部位の判定については、サンプル画像を用いた画像認識処理等によって実現可能である。例えば、対象機器、部位等の画像を登録しておき、被写体画像中の特徴点を抽出して画像認識処理を行い、対象機器、部位を判別する。あるいは、対象機器の各部にそれぞれ区別可能なマーカーを付しておき、撮影した被写体画像においてマーカーを識別することによって対象機器、部位を判定することも可能である。また、ブルートゥース（Bluetooth（登録商標））のＩＤ情報を識別し、更にそれに対応する電界強度の強さを分析した上で、判定することもできる。

記憶部１０４は、不揮発性メモリ等により構成され、被制御装置である対象機器の機能等に関するメニュー情報を記憶する。メニュー情報としては、例えば、対象機器の動作を操作指示するための項目、機能を設定するための項目などの各種操作項目に関する情報を持つものとする。なお、メニュー情報、対象機器及び部位の識別用情報などは、画像撮影
装置本体においてローカルに保持してもよいし、サーバ等の他の装置に保持しておいて適宜取得するようにしてもよい。

メニュー生成部１０５は、被写体状態判定部１０３による被写体状態の判定結果に基づき、記憶部１０４より対応するメニュー情報を読み出して被写体状態に応じた操作メニューを生成する。この際、メニュー情報において、認識された被写体に関連付けられた複数の操作項目から特定の操作項目を抽出して操作メニューを生成する。合成部１０６は、撮像部１０１で撮影した被写体画像とメニュー生成部１０５で生成した操作メニューのメニュー画像とを合成し、表示画像として出力する。

表示部１０７は、液晶表示装置により構成され、画像、文字等の各種表示を行うものである。この表示部１０７の表示画面には、撮影時の被写体のプレビューを行うための被写体画像が表示される。本実施形態では、被制御装置である対象機器の被写体画像と、この被写体の対象機器に対応した操作メニューのメニュー画像とが合成表示される。

操作部１０８は、押しボタン、スイッチ、タッチパネル等の操作デバイスにより構成され、ユーザの操作指示に応じた操作信号を出力する。制御部１０９は、画像撮影装置全体の制御を司るものであり、表示部１０７の表示処理、通信部１１０の通信処理を始めとした各種制御を行う。通信部１１０は、無線ＬＡＮ、ブルートゥース（登録商標）等の通信を行うもので、被制御装置である対象機器との間で通信経路を確立し、接続した対象機器に対してデータ、コマンド等の各種情報の送受信を行う。本実施形態では、対象機器との間で無線通信を行う場合を例示する。

画像撮影装置と対象機器との間で通信を行う際には、認識した対象機器のＩＤ情報に基づいて通信経路を確立する。例えば、対象機器の筐体表面にＱＲコード等の識別コードを設け、画像撮影装置で識別コードを撮影してＩＤ情報を認識する、あるいは、ブルートゥース（登録商標）のＩＤを認識するなどの手段によって対象機器のＩＤ情報を取得し、更にそれに対応する電界強度の強さを分析した上で、該当ＩＤ情報を持つ通信対象の機器に接続する。対象機器とは、直接接続して通信してもよいし、サーバ等の中継機器を介して通信を行ってもよい。

上記の被写体認識部１０２、被写体状態判定部１０３、メニュー生成部１０５、合成部１０６、制御部１０９は、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等により構成され、所定のソフトウェアプログラムを実行して対応する処理
を行うことによって、それぞれの機能を実現するものである。

次に、第１の実施形態における画像撮影装置の動作を説明する。図２は第１の実施形態に係る表示部の表示画面の表示例を示す図である。第１の実施形態では、被写体画像において被制御装置である対象機器の部位を判定し、部位判定結果に応じたメニュー表示を行う例を示す。

撮像部１０１により被制御装置の対象機器を撮影し、被写体画像として対象機器を表示部１０７の表示画面に表示する。図２の左側に示す対象機器選択時の表示画面１５１Ａでは、プレビュー表示の表示画面のほぼ中央部分に被写体の対象機器１５２（図示例ではＴＶモニタ）が位置し、表示画面の中央部にフォーカス枠１５３を表示している状態を示している。この場合、対象機器１５２の上にフォーカス枠１５３が表示される。また、フォーカス枠１５３の右側には、メニュー画面を拡張表示するためのメニューバー１５４を配置している。このフォーカス枠１５３の表示制御は、制御部１０９におけるフォーカス枠表示制御部によって実行する。この状態で、ユーザがシャッタボタンの半押し操作（フォーカス操作）などによって操作部１０８にて選択操作を行うと、フォーカス枠１５３にか
かる対象機器１５２が被制御装置の対象機器として選択される。なお、ここで説明したフォーカス枠は一例であり、一般的には選択枠を表示する。また、ここで説明したシャッタボタンは一例であり、一般的には操作部であれば良い。

そして、被写体認識部１０２により、選択された対象機器の種別等を認識し、被写体状態判定部１０３により、識別された対象機器の部位をフォーカス枠１５３の位置によって判定する。図２の例では、対象機器１５２であるＴＶモニタの右側部分にフォーカス枠１５３が位置しており、この場合、被写体として撮影された対象部位がＴＶモニタの右側部分であると判定する。次に、メニュー生成部１０５により、上記の部位判定結果に基づいて記憶部１０４より対応するメニュー情報を取得し、被写体状態に応じた操作メニューとして、対象機器の部位に適合した操作項目を持つ操作メニューを生成する。例えば、ＴＶモニタの部位として、操作スイッチの部分が撮影されている場合は、その操作スイッチに対応する操作メニューを生成する。他の例として、対象機器がノートＰＣの場合は、キーボードの部位が撮影された場合はキーボードに関連する例えばソフトキーボードなどの操作メニューを生成し、ディスプレイの部位が撮影された場合はディスプレイに関連する例えば表示されているコンテンツの操作メニューを生成する。あるいは冷蔵庫であれば、冷凍室部分が撮影されている場合は冷凍室の温度調整などのメニューを生成し、冷蔵室であれば冷蔵室に対応するメニューを生成する。

なお、メニュー生成部１０５にて操作メニューを生成する際に、制御部１０９における機器状態判定部によって画像撮影装置の機器状態を判定し、例えば縦長表示、横長表示などの表示部の表示画面の表示態様、筐体の開閉状態などの機器の態様または形状などを判定して、機器状態に対応する操作メニューを生成することも可能である。また、ＴＶモニタに表示したコンテンツなど、対象機器において再生中のコンテンツが選択された場合は、対象のコンテンツに対応した操作メニューを生成する。コンテンツ再生としては、画像、テキスト等の表示、楽曲等の音の再生、画像及び音を含む動画像の再生など、各種コンテンツの再生が挙げられる。被写体状態判定部１０３によりコンテンツが生成中であることを判別するため、被制御装置である対象機器との通信が確立した際に、対象機器から再生中のコンテンツの情報を取得することができる。そのため、撮影することができない音声のみのコンテンツであっても対応したメニューを生成することが可能となる。また、ストリーミング再生などのコンテンツ全体が対象機器に存在しないケースでは、コンテンツの情報に加えてＵＲＬなどの取得先情報も合わせて取得することで、コンテンツの操作が可能となる。

メニュー情報は、記憶部１０４に予め複数の機器に関するメニュー情報を記憶しておいてもよいし、識別された対象機器と通信部１１０により通信し、対象機器の全体あるいは選択された対象部位のメニュー情報を要求して対象機器からダウンロードし取得してもよい。メニュー情報を取得する際には、メニュー情報のバージョン情報を照合し、既に記憶部１０４にて保持しているメニュー情報である場合はダウンロードしないようにする。メニュー情報には、対象機器の部位に対応する付加情報が含まれるものとし、部位判定結果に応じて該当する部位のメニュー情報を適宜抽出可能にする。また、メニュー情報と同時に被制御装置である対象機器の状態情報（例えばＴＶのチャンネル番号や音量など）を取得し、該当するメニューを表示する際に一緒に表示してもよい。また、ゲーム実行中の携帯電話などの被制御装置同士が撮像し合う場合、対戦モードに関連メニューを表示してもよい。この場合、使用状態において、自装置が相手装置と連携する機能等に関するメニュー作成、表示、操作及び制御等を行う画像撮影装置（制御装置）であり、相手装置が被制御装置となる。

そして、合成部１０６により、生成した操作メニューのメニュー画像と被写体画像を合成し、オーバーレイ表示等によって表示部１０７の表示画面にメニュー画像及び被写体画
像を表示する。図２の例では、撮影した部位にメニューバーを表示し、図２の右側に示すメニュー表示時の表示画面１５１Ｂのように、ユーザが画像撮影装置を右に移動させることにより、この移動操作に応じてメニュー表示１５５を表示する場合を示している。この場合、画像撮影装置の右への移動に対して表示画面中の対象機器１５２及びフォーカス枠１５３が左に移動し、フォーカス枠１５３右側のメニューバー１５４が右側に伸びて対象機器１５２の右横にメニュー表示１５５が表示される。このメニュー表示１５５には、選択用のカーソル枠１５６を表示する。この状態で、ユーザが画像撮影装置をさらに右または左に移動させると、制御部１０９は画像認識等によって被写体画像の移動を検出し、移動操作に応じてカーソル枠１５６を移動させる。そして、ユーザがシャッタボタンの解除操作または押込操作などによって操作部１０８にて選択操作を行うと、その時点でカーソル枠１５６に位置する操作項目が選択される。なお、表示部１０７にタッチパネルを設け、ユーザが表示画面中のメニュー画像における特定の操作項目をタッチ操作することで、制御部１０９がタッチパネルの操作を検出して操作項目の選択を行うことも可能である。

対象機器の部位の識別が困難な場合は、例えば、フォーカス枠の複数箇所（四方の端辺など）にメニューが存在することを示すメニューバーを表示し、複数の部位にそれぞれ対応する操作メニューを各メニューバーに対応付けておき、ユーザの操作に応じて対応する操作メニューを表示することも可能である。この際、ユーザがあるメニューバーの方向に画像撮影装置を移動させると、対応する操作メニューを伸ばして表示する。または記憶部１０４に最後に操作したメニュー情報を記録しておき、部位識別が困難な場合は最後に操作したメニューを前回記憶した位置に表示してもよい。

表示部１０７に表示したメニュー画像において操作項目が選択されると、制御部１０９により、対応する操作項目の指示情報が通信部１１０を介して対象機器に送信され、対象機器において指示情報に応じた動作がなされる。これにより、画像撮影装置におけるメニュー表示及び操作によって対象機器の制御が実行される。

図３は第１の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャートである。まず、撮像部１０１により被制御装置の対象機器を撮影する（ステップＳ１１）。この際、表示部１０７の表示画面に被写体画像として対象機器がフォーカス枠と共に表示される。次に、被写体認識部１０２により、表示画面の被写体画像において撮影された対象機器を認識し（ステップＳ１２）、被写体状態判定部１０３により、識別された対象機器において、被写体画像のフォーカス枠にかかる部位を判定する（ステップＳ１３）。そして、メニュー生成部１０５により、対象機器の部位判定結果に基づいて対応する操作メニューを生成する（ステップＳ１４）。続いて、合成部１０６により、生成したメニュー画像と被写体画像を合成し、表示部１０７の表示画面に操作メニューのメニュー画像及び被写体画像を表示する（ステップＳ１５）。

ここで、ユーザからの操作入力待ちとし（ステップＳ１６）、前述した画像撮影装置の移動操作、操作部１０８におけるシャッタボタン操作等の操作があり、表示した操作項目の選択がなされた場合、選択された操作項目の機能に関する指示情報を通信部１１０より対象機器に送信する（ステップＳ１７）。これにより、対象機器において操作項目に対応する動作が実行される。

上述したように、本実施形態によれば、被制御装置を被写体として撮影して制御する場合に、被写体の撮影状態に応じて、上記例では被写体となる対象機器の部位に応じて、適切な操作メニューを生成して表示部に表示することができる。例えば、対象機器の部位に対応した操作メニューを表示することで、ユーザが階層メニューを概要メニューから複数回選択するなどの手間を省くことが可能である。このように、本実施形態では撮影対象に応じて適切なメニューを表示して操作可能にでき、操作性を向上させることが可能である
。

（第２の実施形態）
図４は本発明の第２の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図である。第２の実施形態の画像撮影装置は、撮像部１０１、被写体認識部１０２、距離判定部２０３、記憶部１０４、メニュー生成部２０５、合成部１０６、表示部１０７、操作部１０８、制御部２０９、通信部１１０を有して構成される。なお、第１の実施形態と同様の構成要素については同一符号を付して説明を省略し、ここでは第１の実施形態と異なる部分を中心に説明する。

第２の実施形態は、被写体状態の判定に関する他の例として、画像撮影装置から被写体までの距離（被制御装置である対象機器までの距離）を判定し、距離に応じて対応する操作メニューを生成する例である。第２の実施形態では、第１の実施形態の被写体状態判定部１０３の代わりに、距離判定部２０３を備えている。距離判定部２０３は、被写体認識部１０２で認識した被写体と画像撮影装置との距離を判定する。被写体までの距離の判定については、予め対象機器の大きさ情報を保持しておいて撮影画像中の被写体の大きさから距離を判定する、測距手段を設けて被写体までの距離を測定する、などの方法によって実現可能である。

メニュー生成部２０５は、距離判定部２０３による被写体までの距離の判定結果に基づき、記憶部１０４より対応するメニュー情報を読み出して距離に応じた操作メニューを生成する。制御部２０９は、画像撮影装置全体の制御を司るものであり、距離判定部２０３、メニュー生成部２０５を含む各部の制御を行う。

これらの距離判定部２０３、メニュー生成部２０５、制御部２０９は、第１の実施形態と同様、ＭＰＵ、ＤＳＰ等により構成され、所定のソフトウェアプログラムを実行して対応する処理を行うことによって、それぞれの機能を実現するものである。

次に、第２の実施形態における画像撮影装置の動作を説明する。図５は第２の実施形態に係る表示部の表示画面の表示例を示す図である。第２の実施形態では、被写体画像において被制御装置である対象機器の距離を判定し、距離判定結果に応じたメニュー表示を行う例を示す。

撮像部１０１により被制御装置の対象機器を撮影し、被写体画像として対象機器を表示部１０７の表示画面に表示する。そして、被写体認識部１０２により、選択された対象機器の種別等を認識し、距離判定部２０３により、識別された対象機器の距離を被写体画像中の対象機器の大きさによって判定する。次に、メニュー生成部２０５により、被写体の距離判定結果に基づいて記憶部１０４より対応するメニュー情報を取得し、被写体状態に応じた操作メニューとして、対象機器の距離に適合した操作項目を持つ操作メニューを生成する。

例えば、対象機器の距離が所定値より遠い場合は概要メニュー（階層メニューのトップメニュー）を表示し、所定値より近い場合は詳細メニュー（階層メニューの個別メニュー）を表示し、距離が近いほどより詳細なメニューを生成する。詳細メニューを生成する場合、第１の実施形態による部位判定に基づくメニュー生成と組み合わせて、被写体画像の中央部等の主として撮影された部位（フォーカス枠の中心部など）に対応する操作メニューを生成する。この際、例えばＴＶモニタに表示したコンテンツなど、対象機器において再生中のコンテンツが撮影された場合は、対象のコンテンツに対応した操作メニューを生成する。なお、所定時間毎など定期的に被写体の距離を判定し、画像撮影装置が移動した場合はメニューを生成し直して更新するようにしてもよい。対象機器の距離の識別が困難
な場合は、例えば、最上位階層メニューのトップメニューを生成して表示すればよい。

そして、合成部１０６により、生成した操作メニューのメニュー画像と被写体画像を合成し、オーバーレイ表示等によって表示部１０７の表示画面にメニュー画像及び被写体画像を表示する。図５の表示例において、左側に示す第１の距離（遠距離）でのメニュー表示時の表示画面２５１Ａでは、図２と同様にして、表示画面中の被写体の対象機器２５２にかかるフォーカス枠２５３の右側に、遠距離に対応する上位階層の概要のメニュー表示２５５Ａが表示される。そして、このメニュー表示２５５Ａにおいて、選択用のカーソル枠２５６によってコンテンツ再生（ＰＬＡＹ）の操作項目が選択されている。この状態から、ユーザが画像撮影装置を保持して１歩前進して被写体に近づくと、図５の右側に示す第２の距離（近距離）でのメニュー表示時の表示画面２５１Ｂのように、近距離に対応するコンテンツ再生に関する下位階層の詳細なメニュー表示２５５Ｂが表示される。図５のメニュー表示の状態で、ユーザが画像撮影装置を右または左に移動させることで、この移動操作に応じてカーソル枠２５６を移動させ、ユーザがシャッタボタンの解除操作または押込操作などによって操作部１０８にて選択操作を行うと、その時点でカーソル枠２５６に位置する操作項目が選択される。

表示部１０７に表示したメニュー画像において操作項目が選択されると、制御部２０９により、対応する操作項目の指示情報が通信部１１０を介して対象機器に送信され、対象機器において指示情報に応じた動作がなされる。これにより、画像撮影装置におけるメニュー表示及び操作によって対象機器の制御が実行される。

図６は第２の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャートである。まず、撮像部１０１により被制御装置の対象機器を撮影する（ステップＳ２１）。この際、表示部１０７の表示画面に被写体画像として対象機器がフォーカス枠と共に表示される。次に、被写体認識部１０２により、表示画面の被写体画像において撮影された対象機器を認識し（ステップＳ２２）、距離判定部２０３により、識別された対象機器の距離を判定する（ステップＳ２３）。そして、メニュー生成部２０５により、対象機器の距離判定結果に基づいて対応する操作メニューを生成する。この際、対象機器の距離が所定の閾値以上かどうかを判定し（ステップＳ２４）、閾値以上である（距離が遠い）場合、概要メニューを生成する（ステップＳ２５）。一方、対象機器の距離が閾値未満である（距離が近い）場合、詳細メニューを生成する（ステップＳ２６）。続いて、合成部１０６により、生成したメニュー画像と被写体画像を合成し、表示部１０７の表示画面に操作メニューのメニュー画像及び被写体画像を表示する（ステップＳ２７）。

ここで、ユーザからの操作入力待ちとし（ステップＳ２８）、前述した画像撮影装置の移動操作、操作部１０８におけるシャッタボタン操作等の操作があり、表示した操作項目の選択がなされた場合、選択された操作項目の機能に関する指示情報を通信部１１０より対象機器に送信する（ステップＳ２９）。これにより、対象機器において操作項目に対応する動作が実行される。

上述したように、本実施形態によれば、被制御装置を被写体として撮影して制御する場合に、被写体の撮影状態に応じて、上記例では被写体となる対象機器までの距離に応じて、適切な操作メニューを生成して表示部に表示することができる。

（第３の実施形態）
図７は本発明の第３の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図である。第３の実施形態の画像撮影装置は、撮像部１０１、被写体認識部１０２、拡縮判定部３０３、記憶部１０４、メニュー生成部３０５、合成部１０６、表示部１０７、操
作部１０８、制御部３０９、通信部１１０を有して構成される。なお、第１の実施形態と同様の構成要素については同一符号を付して説明を省略し、ここでは第１の実施形態と異なる部分を中心に説明する。

第３の実施形態は、第２の実施形態の変形例であり、被写体状態の判定に関する他の例として、被写体画像のズーム状態（被制御装置である対象機器の拡大／縮小の大きさ）を判定し、ズーム状態に応じて対応する操作メニューを生成する例である。第３の実施形態では、第２の実施形態の距離判定部２０３の代わりに、拡縮判定部３０３を備えている。拡縮判定部３０３は、操作部１０８からの撮影レンズのズーム操作入力に基づいて被写体画像のズーム状態を判定し、被写体画像中の対象機器の大きさを判定する。ここで、ズームは光学的なもののみではなく、ディジタルでの単純な拡大縮小処理であっても構わない。

メニュー生成部３０５は、拡縮判定部３０３による被写体画像のズーム状態の判定結果に基づき、記憶部１０４より対応するメニュー情報を読み出してズーム状態に応じた操作メニューを生成する。制御部３０９は、画像撮影装置全体の制御を司るものであり、拡縮判定部３０３、メニュー生成部３０５を含む各部の制御を行う。

これらの拡縮判定部３０３、メニュー生成部３０５、制御部３０９は、第１の実施形態と同様、ＭＰＵ、ＤＳＰ等により構成され、所定のソフトウェアプログラムを実行して対応する処理を行うことによって、それぞれの機能を実現するものである。

次に、第３の実施形態における画像撮影装置の動作を説明する。図８は第３の実施形態に係る表示部の表示画面の表示例を示す図である。第３の実施形態では、被写体画像におけるズーム状態（撮影された被制御装置である対象機器の大きさ、ズームイン／アウトの操作など）を判定し、ズーム状態判定結果に応じたメニュー表示を行う例を示す。

撮像部１０１により被制御装置の対象機器を撮影し、被写体画像として対象機器を表示部１０７の表示画面に表示する。そして、被写体認識部１０２により、選択された対象機器の種別等を認識し、拡縮判定部３０３により、撮影した被写体画像のズーム状態を判定する。次に、メニュー生成部３０５により、被写体画像のズーム状態判定結果に基づいて記憶部１０４より対応するメニュー情報を取得し、被写体状態に応じた操作メニューとして、対象機器のズーム状態に適合した操作項目を持つ操作メニューを生成する。

例えば、被写体画像のズームイン操作が行われているときは、現時点よりも詳細メニュー（階層メニューの下階層）を表示し、ズームアウト操作が行われているときは、現時点よりも抽象メニュー（階層メニューの上階層）を表示する。あるいは、被写体画像がズームアウトしている（撮影された対象機器が所定値より小さい）場合は概要メニュー（階層メニューのトップメニュー）を表示し、ズームインしている（撮影された対象機器が所定値より大きい）場合は詳細メニュー（階層メニューの個別メニュー）を表示し、対象機器が拡大されているほどより詳細なメニューを生成するようにしてもよい。詳細メニューを生成する場合、第１の実施形態による部位判定に基づくメニュー生成と組み合わせて、被写体画像の中央部等の主として撮影された部位（フォーカス枠の中心部など）に対応する操作メニューを生成する。この際、例えばＴＶモニタに表示したコンテンツなど、対象機器において再生中のコンテンツが撮影された場合は、対象のコンテンツに対応した操作メニューを生成する。

そして、合成部１０６により、生成した操作メニューのメニュー画像と被写体画像を合成し、オーバーレイ表示等によって表示部１０７の表示画面にメニュー画像及び被写体画像を表示する。図８の表示例において、左側に示す第１の状態（ズームアウト状態）での
メニュー表示時の表示画面３５１Ａでは、図２と同様にして、表示画面中の被写体の対象機器３５２にかかるフォーカス枠３５３の右側に、ズームアウト状態に対応する上位階層の概要のメニュー表示３５５Ａが表示される。そして、このメニュー表示３５５Ａにおいて、選択用のカーソル枠３５６によってコンテンツ再生（ＰＬＡＹ）の操作項目が選択されている。この状態から、ユーザが操作部１０８を操作して被写体のズームイン操作を行うと、図８の右側に示す第２の状態（ズームイン状態）でのメニュー表示時の表示画面３５１Ｂのように、ズームイン状態に対応するコンテンツ再生に関する下位階層の詳細なメニュー表示３５５Ｂが表示される。図８のメニュー表示の状態で、ユーザが画像撮影装置を右または左に移動させることで、この移動操作に応じてカーソル枠３５６を移動させ、ユーザがシャッタボタンの解除操作または押込操作などによって操作部１０８にて選択操作を行うと、その時点でカーソル枠３５６に位置する操作項目が選択される。

表示部１０７に表示したメニュー画像において操作項目が選択されると、制御部３０９により、対応する操作項目の指示情報が通信部１１０を介して対象機器に送信され、対象機器において指示情報に応じた動作がなされる。これにより、画像撮影装置におけるメニュー表示及び操作によって対象機器の制御が実行される。

図９は第３の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャートである。まず、撮像部１０１により被制御装置の対象機器を撮影する（ステップＳ３１）。この際、表示部１０７の表示画面に被写体画像として対象機器がフォーカス枠と共に表示される。次に、被写体認識部１０２により、表示画面の被写体画像において撮影された対象機器を認識し（ステップＳ３２）、メニュー生成部３０５により対象機器に対応する操作メニューを生成する（ステップＳ３３）。ここで、拡縮判定部３０３によって被写体画像のズーム状態を判定し、判定結果に基づいてメニュー生成部３０５によってズーム状態に対応する操作メニューを生成する。この際、被写体画像がズームアウト状態かどうかを判定し（ステップＳ３４）、ズームアウト状態である場合、概要メニューを生成する（ステップＳ３５）。一方、ズームイン状態である（ズームアウト状態でない）場合、詳細メニューを生成する（ステップＳ３６）。続いて、合成部１０６により、生成したメニュー画像と被写体画像を合成し、表示部１０７の表示画面に操作メニューのメニュー画像及び被写体画像を表示する（ステップＳ３７）。

ここで、ユーザからの操作入力待ちとし（ステップＳ３８）、前述した画像撮影装置の移動操作、操作部１０８におけるシャッタボタン操作等の操作があり、表示した操作項目の選択がなされた場合、選択された操作項目の機能に関する指示情報を通信部１１０より対象機器に送信する（ステップＳ３９）。これにより、対象機器において操作項目に対応する動作が実行される。

上述したように、本実施形態によれば、被制御装置を被写体として撮影して制御する場合に、被写体の撮影状態に応じて、上記例では被写体画像のズームイン／アウトの状態に応じて、適切な操作メニューを生成して表示部に表示することができる。

（第４の実施形態）
図１０は本発明の第４の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図である。第４の実施形態の画像撮影装置は、撮像部１０１、被写体認識部４０２、第１記憶部４１１、第２記憶部４１２、メニュー生成部４０５、合成部１０６、表示部１０７、操作部１０８、制御部４０９、通信部１１０を有して構成される。なお、第１の実施形態と同様の構成要素については同一符号を付して説明を省略し、ここでは第１の実施形態と異なる部分を中心に説明する。

第４の実施形態は、複数の対象機器を撮影して関連する操作メニューを生成する場合を
示すもので、その第１例として、複数の対象機器を同時に撮影して共通機能または連携機能のメニューを生成する例である。第４の実施形態では、複数の対象機器に対応して、それぞれのメニュー情報を記憶する第１記憶部４１１、第２記憶部４１２を備えている。被写体認識部４０２は、撮像部１０１より出力される撮影画像信号に基づいて被制御装置である対象機器の種別等を認識し、被写体画像において複数の対象機器を認識する。メニュー生成部４０５は、被写体認識部４０２で認識された複数の対象機器について、それぞれの機器に対応するメニュー情報を第１記憶部４１１、第２記憶部４１２より読み出して複数の対象機器に関連する機能の操作メニューを生成する。制御部４０９は、画像撮影装置全体の制御を司るものであり、被写体認識部４０２、メニュー生成部４０５を含む各部の制御を行う。なお、以下の実施形態では複数の対象機器として２つの対象機器に関する共通機能または連携機能のメニューを生成する例を示すが、３つ以上の対象機器に関しても同様に実施可能である。

これらの被写体認識部４０２、メニュー生成部４０５、制御部４０９は、第１の実施形態と同様、ＭＰＵ、ＤＳＰ等により構成され、所定のソフトウェアプログラムを実行して対応する処理を行うことによって、それぞれの機能を実現するものである。

次に、第４の実施形態における画像撮影装置の動作を説明する。図１１は第４の実施形態に係る表示部の表示画面の表示例を示す図である。第４の実施形態では、被写体画像において同時に複数の対象機器を認識し、これらの対象機器に関連する機能のメニュー表示を行う例を示す。

撮像部１０１により被制御装置となる複数の対象機器を同時に撮影し、これらの複数の対象機器を含む被写体画像を表示部１０７の表示画面に表示する。図１１の左側に示す対象機器選択時の表示画面４５１Ａでは、プレビュー表示の表示画面に被写体として２つの対象機器４５２（図示例ではＴＶモニタ）と対象機器４５３（図示例ではレコーダ）とが位置し、それぞれの対象機器の上にフォーカス枠４５４、４５５を表示している状態を示している。このフォーカス枠４５４、４５５の表示制御は、制御部４０９におけるフォーカス枠表示制御部によって実行する。この状態で、ユーザがシャッタボタンの半押し操作（フォーカス操作）などによって操作部１０８にて選択操作を行うと、フォーカス枠４５４、４５５にかかる対象機器４５２、４５３が被制御装置の対象機器として選択される。なお、複数の対象機器を選択する際には、被写体画像中に存在し認識した対象機器全てに対してフォーカス枠を表示し、ユーザが選択操作によって必要なものを選択する等の方法を採用する。

そして、被写体認識部４０２により、選択された複数の対象機器の種別等を認識する。次に、メニュー生成部４０５により、複数の対象機器に対応するメニュー情報をそれぞれ第１記憶部４１１、第２記憶部４１２より取得し、選択された複数の対象機器に関連する機能の操作項目を持つ操作メニューを生成する。この際、メニュー生成部４０５にて操作メニューを生成する際に、第１の対象機器に対応する第１のメニューと第２の対象機器に対応する第２のメニューとから、連携機能に関するメニュー、あるいは２つの対象機器を同時制御可能な共通機能を抽出したメニューなどを生成する。連携機能としては、２つの対象機器間の接続などが挙げられる。図示例では、ＴＶモニタとレコーダとを通信手段を介して接続し、映像コンテンツの表示、録画、再生、転送、コピーなどを行う機能が想定される。また、同時制御可能な共通機能としては、電源のＯＮ／ＯＦＦなどが挙げられる。例えば、部屋全体の機器あるいは撮影された機器の電源を一度にＯＮする機能などが想定される。また、対象機器においてコンテンツ再生時には、対象のコンテンツに対応した操作項目を含む操作メニューを生成する。対象機器間において接続を行う場合、第１の対象機器からＩＤ情報（ＩＰアドレス、ＵＲＩ等）を取得して第２の対象機器に送信し、第１の対象機器または第２の対象機器に接続要求することで実現可能である。あるいは、第
１の対象機器、第２の対象機器の両者と画像撮影装置との間はそれぞれ通信確立済みであるので、画像撮影装置をハブとして機能させ、第１の対象機器から第２の対象機器へ（逆も同様）情報を転送するようにしてもよい。

そして、合成部１０６により、生成した操作メニューのメニュー画像と被写体画像を合成し、オーバーレイ表示等によって表示部１０７の表示画面にメニュー画像及び被写体画像を表示する。図１１の例では、図１１の右側に示すメニュー表示時の表示画面４５１Ｂのように、対象機器４５２、４５３の下側に複数機器共通のメニュー表示４５６を表示する場合を示している。このメニュー表示４５６には、選択用のカーソル枠４５７を表示する。この状態で、ユーザが画像撮影装置を右または左に移動させることで、この移動操作に応じてカーソル枠４５７を移動させ、ユーザがシャッタボタンの解除操作または押込操作などによって操作部１０８にて選択操作を行うと、その時点でカーソル枠４５７に位置する操作項目が選択される。図１１の例の場合、電源ＯＦＦが選択される。なお、表示部１０７にタッチパネルを設け、ユーザが表示画面中のメニュー画像における特定の操作項目をタッチ操作することで、操作項目の選択を行うことも可能である。

表示部１０７に表示したメニュー画像において操作項目が選択されると、制御部４０９により、対応する操作項目の指示情報が通信部１１０を介して複数の対象機器に送信され、それぞれの対象機器において指示情報に応じた動作がなされる。これにより、画像撮影装置におけるメニュー表示及び操作によって複数の対象機器の制御が実行される。

図１２は第４の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャートである。まず、撮像部１０１により被制御装置の対象機器を撮影する（ステップＳ４１）。この際、表示部１０７の表示画面に被写体画像として対象機器がフォーカス枠と共に表示される。次に、被写体認識部４０２により、表示画面の被写体画像において撮影された対象機器を認識する（ステップＳ４２）。そして、メニュー生成部４０５により、選択された対象機器が複数であるかどうかを判定し（ステップＳ４３）、対象機器が複数の場合は、それぞれの対象機器のメニュー情報より共通機能を抽出し（ステップＳ４４）、共通機能の操作項目を持つ操作メニューを生成する（ステップＳ４５）。なお、共通機能の代わりに連携機能を抽出して操作メニューを作成してもよい。一方、対象機器が複数でない場合は、該当する対象機器に対応する操作メニューを生成する。続いて、合成部１０６により、生成したメニュー画像と被写体画像を合成し、表示部１０７の表示画面に操作メニューのメニュー画像及び被写体画像を表示する（ステップＳ４６）。

ここで、ユーザからの操作入力待ちとし（ステップＳ４７）、前述した画像撮影装置の移動操作、操作部１０８におけるシャッタボタン操作等の操作があり、表示した操作項目の選択がなされた場合、選択された操作項目の機能に関する指示情報を通信部１１０より対象機器に送信する（ステップＳ４８）。これにより、対象機器において操作項目に対応する動作が実行される。

上述したように、本実施形態によれば、被制御装置を被写体として撮影して制御する場合に、被写体の撮影状態に応じて、上記例では被写体として同時に撮影した複数の対象機器に対応して、適切な操作メニューを生成して表示部に表示することができる。

（第５の実施形態）
図１３は本発明の第５の実施形態に係る画像撮影装置の主要部の機能構成を示すブロック図である。第５の実施形態の画像撮影装置は、撮像部１０１、被写体認識部５０２、機器情報記憶部５０３、第１記憶部４１１、第２記憶部４１２、メニュー生成部５０５、合成部１０６、表示部１０７、操作部１０８、制御部５０９、通信部１１０を有して構成さ
れる。なお、第１及び第４の実施形態と同様の構成要素については同一符号を付して説明を省略し、ここでは第１及び第４の実施形態と異なる部分を中心に説明する。

第５の実施形態は、第４の実施形態の変形例であり、複数の対象機器を撮影して関連する操作メニューを生成する場合の第２例として、複数の対象機器を時系列に撮影して共通機能または連携機能のメニューを生成する例である。第５の実施形態では、時間差を持って複数の対象機器を撮影するために、機器情報記憶部５０３を備えている。被写体認識部５０２は、撮像部１０１より出力される撮影画像信号に基づいて被制御装置である対象機器の種別等を認識し、認識した対象機器の情報を機器情報として機器情報記憶部５０３へ出力して記憶させる。この際、ユーザの操作指示に基づいて、時系列に複数の対象機器を認識する。メニュー生成部５０５は、被写体認識部５０２での認識結果及び機器情報記憶部５０３に記憶した機器情報に基づき、認識された複数の対象機器について、それぞれの機器に対応するメニュー情報を第１記憶部４１１、第２記憶部４１２より読み出して複数の対象機器に関連する機能の操作メニューを生成する。制御部５０９は、画像撮影装置全体の制御を司るものであり、被写体認識部５０２、機器情報記憶部５０３、メニュー生成部５０５を含む各部の制御を行う。

これらの被写体認識部５０２、機器情報記憶部５０３、メニュー生成部５０５、制御部５０９は、第１の実施形態と同様、ＭＰＵ、ＤＳＰ等により構成され、所定のソフトウェアプログラムを実行して対応する処理を行うことによって、それぞれの機能を実現するものである。

次に、第５の実施形態における画像撮影装置の動作を説明する。図１４は第５の実施形態に係る表示部の表示画面の表示例を示す図である。第５の実施形態では、被写体画像において時間差で複数の対象機器を認識し、これらの対象機器に関連する機能のメニュー表示を行う例を示す。

撮像部１０１により被制御装置の対象機器を撮影し、被写体画像として対象機器を表示部１０７の表示画面に表示する。図１４の左側に示す対象機器選択時の表示画面５５１Ａでは、プレビュー表示の表示画面のほぼ中央部分に被写体として第１の対象機器５５２（図示例ではＴＶモニタ）が位置し、この対象機器５５２の上にフォーカス枠５５４が表示される。このフォーカス枠５５４の表示制御は、制御部５０９におけるフォーカス枠表示制御部によって実行する。この状態で、ユーザがシャッタボタンの半押し操作（フォーカス操作）などによって操作部１０８にて選択操作を行うと、フォーカス枠５５４にかかる対象機器５５２が被制御装置である第１の対象機器として選択される。そして、被写体認識部５０２により、選択された対象機器の種別等を認識し、機器情報記憶部５０３に認識した機器情報を記憶する。続いて、メニュー生成部５０５により、選択された第１の対象機器５５２に対応するメニュー情報を第１記憶部４１１より取得する。なお、フォーカスに関する操作は一例であり、選択枠を選択したり解除したりする操作であっても良い。

次に、フォーカス状態のままユーザが画像撮影装置を左右等に移動させることによって撮影位置を変更し、別の対象機器を撮影し、被写体画像において第２の対象機器を表示部１０７の表示画面に表示する。図１４の右側に示すメニュー表示時の表示画面５５１Ｂでは、表示画面のほぼ中央部分に被写体として第２の対象機器５５３（図示例ではレコーダ）が位置し、この対象機器５５３上のフォーカス枠に相当する部分に第１の対象機器５５２の画像が半透明表示５５５によって表示される。この状態で、ユーザがシャッタボタンの半押し操作解除（フォーカス解除操作）などによって操作部１０８にて解除操作を行うと、半透明表示５５５のフォーカス枠にかかる対象機器５５３が第２の対象機器として選択される。そして、被写体認識部５０２により、選択された対象機器の種別等を認識し、メニュー生成部５０５により、選択された第２の対象機器５５３に対応するメニュー情報
を第２記憶部４１２より取得する。

次に、メニュー生成部５０５により、選択された複数の対象機器に対応するメニュー情報に基づき、これらの対象機器に関連する機能の操作項目を持つ操作メニューを生成する。例えば、２つの対象機器の連携機能に関するメニュー、あるいは２つの対象機器を同時制御可能な共通機能を抽出したメニューなどを生成する。また、対象機器においてコンテンツ再生時には、対象のコンテンツに対応した操作項目を含む操作メニューを生成する。複数の対象機器を時間差で撮影して関連する操作メニューを生成する場合の適用例として、別々の部屋にあるレコーダとＴＶモニタとを撮影して選択し、居間にあるレコーダに保持されている映像コンテンツを寝室のＴＶモニタで表示する操作などに対応できる。コンテンツ自体はレコーダから家庭内ＬＡＮなどによりＴＶモニタに転送してもよいし、一旦レコーダから画像撮影装置側に蓄積しておき、画像撮影装置からＴＶモニタに転送してもよい。前者の場合、画像撮影装置は一度通信が確立した対象機器とは通信を維持しているものとする。

そして、合成部１０６により、生成した操作メニューのメニュー画像と被写体画像を合成し、オーバーレイ表示等によって表示部１０７の表示画面にメニュー画像及び被写体画像を表示する。図１４の右側に示すメニュー表示時の表示画面５５１Ｂでは、対象機器５５２、５５３の下側に複数機器共通のメニュー表示５５６を表示する場合を示している。このメニュー表示５５６には、選択用のカーソル枠５５７を表示する。この状態で、ユーザが画像撮影装置を右または左に移動させることで、この移動操作に応じてカーソル枠５５７を移動させ、ユーザがシャッタボタンの解除操作または押込操作などによって操作部１０８にて選択操作を行うと、その時点でカーソル枠５５７に位置する操作項目が選択される。図１４の例の場合、ムーブ（コンテンツの移動）が選択される。なお、表示部１０７にタッチパネルを設け、ユーザが表示画面中のメニュー画像における特定の操作項目をタッチ操作することで、操作項目の選択を行うことも可能である。

表示部１０７に表示したメニュー画像において操作項目が選択されると、制御部５０９により、対応する操作項目の指示情報が通信部１１０を介して複数の対象機器に送信され、それぞれの対象機器において指示情報に応じた動作がなされる。これにより、画像撮影装置におけるメニュー表示及び操作によって複数の対象機器の制御が実行される。

図１５は第５の実施形態の画像撮影装置における対象機器のメニュー表示に関する動作手順を示すフローチャートである。まず、撮像部１０１により被制御装置の対象機器を撮影する（ステップＳ５１）。この際、表示部１０７の表示画面に被写体画像として対象機器がフォーカス枠と共に表示される。次に、被写体認識部５０２により、表示画面の被写体画像において撮影された対象機器を認識する（ステップＳ５２）。そして、制御部５０９により、ユーザによるシャッタボタンの半押し操作があるかを判断し（ステップＳ５３）、半押し操作によるフォーカス操作があった場合、認識した対象機器の機器情報を機器情報記憶部５０３に保存する（ステップＳ５４）。その後、制御部５０９により、ユーザによるシャッタボタンのリリース操作があるかを判断し（ステップＳ５５）、リリース操作によるフォーカス解除操作があった場合、さらに被写体として他の対象機器が存在するかどうかを判断する（ステップＳ５６）。ここで、対象機器が存在する場合、撮像部１０１により第２の対象機器を撮影し（ステップＳ５７）、被写体認識部５０２により、表示画面の被写体画像において対象機器を認識する（ステップＳ５８）。

そして、メニュー生成部５０５により、機器情報記憶部５０３に記憶してある対象機器（第１の対象機器）の機器情報を読み出し（ステップＳ５９）、第１の対象機器と第２の対象機器の各メニュー情報より共通機能を抽出し（ステップＳ６０）、共通機能の操作項目を持つ操作メニューを生成する（ステップＳ６１）。なお、共通機能の代わりに連携機
能を抽出して操作メニューを作成してもよい。一方、ステップＳ５３においてシャッタボタンの半押し操作がない場合、ステップＳ５５においてシャッタボタンのリリース操作がない場合、ステップＳ５６において他の対象機器が存在しない場合は、そのまま初めに認識した対象機器に対応する操作メニューを生成する。続いて、合成部１０６により、生成したメニュー画像と被写体画像を合成し、表示部１０７の表示画面に操作メニューのメニュー画像及び被写体画像を表示する（ステップＳ６２）。なお、上記のように第１の対象機器に対するフォーカス操作を検出した後に第２の対象機器の撮影状態でのフォーカス解除操作の検出によってメニュー生成を行うのに代えて、被写体画像において第１の対象機器の画像と第２の対象機器の画像との重なり状態を検出すること（あるいは２つの対象機器の画像を重ねる操作の検出）によって、メニュー生成を行うようにしてもよい。

ここで、ユーザからの操作入力待ちとし（ステップＳ６３）、前述した画像撮影装置の移動操作、操作部１０８におけるシャッタボタン操作等の操作があり、表示した操作項目の選択がなされた場合、選択された操作項目の機能に関する指示情報を通信部１１０より対象機器に送信する（ステップＳ６４）。これにより、対象機器において操作項目に対応する動作が実行される。

上述したように、本実施形態によれば、被制御装置を被写体として撮影して制御する場合に、被写体の撮影状態に応じて、上記例では被写体として時間差を持って撮影した複数の対象機器に対応して、適切な操作メニューを生成して表示部に表示することができる。

以上説明したように、上記各実施形態によれば、被写体として撮影した被制御装置の撮影状態に応じて、例えば、被制御装置の部位、距離、ズーム状態などに応じて、適切な操作項目を抽出して操作メニューを生成し、この撮影状態に応じた操作メニューを表示して操作可能にすることができる。また、複数の被制御装置を撮影する場合、これらの被制御装置の共通機能、連携機能等の複数の被制御装置に関連する操作項目を抽出して操作メニューを生成できる。したがって、撮影対象の被制御装置の状態に応じて適切なメニューを表示して操作可能にでき、操作性を向上させることができる。

なお、上記各実施形態では、画像撮影装置に制御部（制御装置）が含まれる形で説明したが、撮影装置と制御装置とは別々の装置で構成し、これらを有線或いは無線通信手段を経由して接続し、被制御装置を制御することも可能である。この場合、撮像部を有する撮影装置と、メニュー生成部、制御部等を有する制御装置とが分離した別体の装置で構成される。この制御装置は、被制御装置に関するメニュー生成及び表示等が可能なメニュー表示装置として機能する。ここで、操作メニューを表示する表示部、メニュー操作を行う操作部は、制御装置側に設ける構成に限らず、撮影装置側に設けてもよいし、あるいはさらに別の装置で構成してもよい。具体例として、ネットワークカメラで撮影した被制御装置を携帯電話などから操作する構成が挙げられる。この構成例の場合、ネットワークカメラが撮影装置、携帯電話が制御装置（メニュー表示装置）として機能する。この構成例では、ネットワークカメラ側に被制御装置との通信機能が必要となるが、一般的なネットワークカメラはＬＡＮなどのネットワークで被制御装置とも通信可能である。図１の構成に当てはめると、撮影部１０１と被写体認識部１０２との間をネットワークを介して接続する形態となる。

なお、本発明は、本発明の趣旨ならびに範囲を逸脱することなく、明細書の記載、並びに周知の技術に基づいて、当業者が様々な変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。また、発明の趣旨を逸脱しない範囲で、上記実施形態における各構成要素を任意に組み合わせてもよい。

本発明は、被制御装置を被写体として撮影して制御する場合に、撮影対象に応じて適切なメニューを表示して操作可能にでき、操作性を向上させることが可能となる効果を有し、撮影機能及び通信機能を有し、被制御装置を被写体として撮影して制御可能なデジタルカメラ、携帯電話装置等による画像撮影装置等として有用である。

１０１ 撮像部
１０２、４０２、５０２ 被写体認識部
１０３ 被写体状態判定部
１０４ 記憶部
１０５、２０５、３０５、４０５、５０５ メニュー生成部
１０６ 合成部
１０７ 表示部
１０８ 操作部
１０９、２０９、３０９、４０９、５０９ 制御部
１１０ 通信部
１５１Ａ、１５１Ｂ、２５１Ａ、２５１Ｂ、３５１Ａ、３５１Ｂ、４５１Ａ、４５１Ｂ、５５１Ａ、５５１Ｂ 表示画面
１５２、２５２、３５２、４５２、４５３、５５２、５５３ 対象機器
１５３、２５３、３５３、４５４、４５５、５５４ フォーカス枠
１５４ メニューバー
１５５、２５５、３５５、４５６、５５６ メニュー表示
１５６、２５６、３５６、４５７、５５７ カーソル枠
２０３ 距離判定部
３０３ 拡縮判定部
４１１ 第１記憶部
４１２ 第２記憶部
５０３ 機器情報記憶部
５５５ 半透明表示

Claims (11)

1. 被制御装置を被写体として撮影し、通信を介して制御可能な画像撮影装置であって、
   前記被写体の画像を被写体画像として撮像する撮像部と、
   前記撮像部により撮像された被写体画像から被写体を認識する被写体認識部と、
   前記被写体画像における被写体の撮影状態を判定する被写体状態判定部と、
   前記被写体状態判定部の判定結果に応じて、前記被写体認識部で認識された被写体に関連付けられた複数の操作項目から特定の操作項目を抽出して操作メニューを生成するメニュー生成部と、
   前記メニュー生成部で生成された操作メニューを表示する表示部と、
   を有する画像撮影装置。
2. 請求項１に記載の画像撮影装置であって、
   前記被写体状態判定部は、被写体の部位を判定する部位判定部を有し、
   前記メニュー生成部は、前記被写体状態判定部における被写体の部位判定結果に応じた操作メニューを生成する画像撮影装置。
3. 請求項１に記載の画像撮影装置であって、
   前記被写体状態判定部は、被写体の距離を判定する距離判定部を有し、
   前記メニュー生成部は、前記距離判定部における被写体の距離判定結果に応じた操作メニューを生成する画像撮影装置。
4. 請求項１に記載の画像撮影装置であって、
   前記被写体状態判定部は、被写体画像のズーム状態を判定する拡縮判定部を有し、
   前記メニュー生成部は、前記拡縮判定部におけるズーム状態の判定結果に応じた操作メニューを生成する画像撮影装置。
5. 請求項１に記載の画像撮影装置であって、
   前記撮像部は、複数の被制御装置を同時に撮影するものであり、
   前記被写体認識部は、前記撮像部により同時撮像された複数の被制御装置を認識し、
   前記メニュー生成部は、前記認識された複数の被制御装置に関連する操作メニューを生成する画像撮影装置。
6. 請求項１に記載の画像撮影装置であって、
   前記撮像部は、複数の被制御装置を時系列に撮影するものであり、
   前記被写体認識部は、前記撮像部により時系列に撮像された複数の被制御装置をそれぞれ認識し、
   前記メニュー生成部は、前記認識された複数の被制御装置に関連する操作メニューを生成する画像撮影装置。
7. 請求項５または６に記載の画像撮影装置であって、
   前記メニュー生成部は、前記複数の被制御装置における共通機能と連携機能のうちの少なくとも一方を前記特定の操作項目として抽出して操作メニューを生成する画像撮影装置。
8. 請求項６に記載の画像撮影装置であって、
   前記メニュー生成部は、第１の被制御装置に対する選択操作を検出した後に第２の被制御装置の撮影状態での解除操作の検出によって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行う画像撮影装置。
9. 請求項６に記載の画像撮影装置であって、
   前記メニュー生成部は、第１の被制御装置に対するフォーカス操作を検出した後に第２の被制御装置の撮影状態でのフォーカス解除操作の検出によって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行う画像撮影装置。
10. 請求項６に記載の画像撮影装置であって、
    前記メニュー生成部は、被写体画像において時系列に撮像された第１の被制御装置の画像と第２の被制御装置の画像との重なり状態を検出することによって、前記第１の被制御装置及び前記第２の被制御装置に関連するメニュー生成を行う画像撮影装置。
11. 被制御装置を撮影した被写体画像に基づき、通信を介して制御可能なメニュー表示装置であって、
    前記被写体画像から被写体を認識する被写体認識部と、
    前記被写体画像における被写体の撮影状態を判定する被写体状態判定部と、
    前記被写体状態判定部の判定結果に応じて、前記被写体認識部で認識された被写体に関連付けられた複数の操作項目から特定の操作項目を抽出して操作メニューを生成するメニュー生成部と、
    前記メニュー生成部で生成された操作メニューを表示する表示部と、
    を有するメニュー表示装置。

Images