JP2009302886A - 撮像装置、撮像制御プログラム、画像再生装置及び画像再生制御プログラム - Google Patents

Abstract

【課題】テレビ放送の画像や情報等を有効に利用して機能の向上を図った撮像装置等を提供する。
【解決手段】ステップＳ１０３で判断された表示方式の選択が、上下に分割表示であるか否かを判断する（ステップＳ１０６）。上下に分割表示である場合には、デジタル放送受信映像をファインダ画面の上（又は下）に、撮像信号の被写体像を下（又は上）に、並列表示する（ステップＳ１０７）。そして、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されている場合には、合成設定条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する（ステップＳ１２２）。撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成し（ステップＳ１２３）、ステップＳ１２４で圧縮、符号化された合成画像を記録する（ステップＳ１２６）。
【選択図】図３

Description

本発明は、テレビ放送受信機能を備えた撮像装置及びこの撮像装置に用いられる撮像制御プログラム、並びに画像再生装置、画像再生制御プログラムに関する。

従来、例えば特許文献１や特許文献２に開示されているように、テレビ放送受信機能を備えたデジタルカメラが提案されるに至っている。特許文献１に開示のものにあっては、デジタルカメラに設けられた液晶パネルを利用して、受信したテレビ放送の画像を表示する。また、特許文献２記載のものにあっては、当該デジタルカメラで撮影した画像の再生表示と、受信したテレビ放送の画像とを異なるアスペクト比に切り換えて表示部に表示する。
特２００４−２０７８９９号公報 特２００５−１４２６８８号公報

しかしながら、従来のデジタルカメラにあっては、受信したテレビ放送の画像を単に表示するものにすぎず、テレビ放送の画像や情報等が当該カメラによる撮影や再生等の各種機能の向上に未だ有効に利用されていないのが実情でであった。

本発明は、かかる従来の課題に鑑みてなされたものであり、テレビ放送の画像や情報等を有効に利用して機能の向上を図った撮像装置及び撮像制御プログラム、並びに画像再生装置、画像再生制御プログラムを提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る撮像装置にあっては、表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段と、前記撮像手段により撮像される被写体像と、前記受信手段により受信されるテレビ放送の映像とを前記表示手段に同時表示する表示制御手段と、操作に応じて、前記撮像手段により撮像された画像を記憶手段に記憶する記憶制御手段とを備えることを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、前記記憶制御手段は、前記撮像手段により撮像された画像と前記受信手段により受信されるテレビ放送の映像とを合成する合成手段を備え、この合成手段により合成された合成画像を記憶手段に記憶することを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記表示制御手段は、前記被写体像と前記テレビ放送の映像との表示形態を選択する選択手段を備え、この選択手段により選択された表示形態で前記被写体像と前記テレビ放送の映像とを前記表示手段に同時表示することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記被写体像を操作に応じて拡大又は縮小処理するとともに、この被写体像の拡大又は縮小処理に連動させて前記テレビ放送の映像を拡大又は縮小処理する画像処理手段を更に備えることを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、前記受信手段は、テレビ放送の映像とともにこれに付加されている情報を受信し、この受信手段により受信した前記情報に基づき、当該撮像装置における撮影条件を制御する制御手段を備えることを特徴とする。

また、請求項６記載の発明に係る撮像装置にあっては、前記記憶手段は、前記撮像手段により撮像された画像と、前記受信手段により受信されたテレビ放送の映像とを記憶し、前記表示制御手段は、前記撮像手段により撮像された画像と、前記受信手段により受信されるテレビ放送の映像、前記記憶手段に記憶された前記画像又は映像のいずれかを前記表示手段に同時表示し、前記合成手段は、前記撮像手段により撮像された画像と、前記表示手段に同時表示されたいずれかの画像とを合成することを特徴とする。

また、請求項７記載の発明に係る撮像装置にあっては、前記受信手段は、テレビ放送の映像とともにこれに付加されている著作権情報を受信し、前記合成手段は、前記著作権情報に基づき前記テレビ放送の映像の合成が適法か否かを判断する判断手段を備えることを特徴とする。

また、請求項８記載の発明に係る撮像装置にあっては、前記合成手段は、前記判断手段が前記テレビ放送の映像合成が適法とした場合において、前記テレビ放送の映像とともに前記著作権情報をも合成することを特徴とする。

また、請求項９記載の発明に係る撮像装置にあっては、表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段と、前記撮像手段により撮像される被写体像の特徴を検出する特徴検出手段と、この特徴検出手段により検出された前記被写体像の特徴に基づき、前記受信手段により受信されるテレビ放送において、類似する特徴の映像を含むテレビ放送のチャンネルを検索する検索手段と、前記受信手段を制御して、前記検索手段により検索されたテレビ放送のチャンネルを受信させるとともに、この受信させた放送チャンネルの映像を前記表示手段に表示させる表示制御手段とを備えることを特徴とする。

また、請求項１０記載の発明に係る撮像装置にあっては、前記受信手段により受信されたテレビ放送の映像を記憶した記憶手段を更に備え、前記検索手段は、前記特徴検出手段により検出された前記被写体像の特徴に基づき、前記記憶手段において類似する特徴を含む映像を検索し、前記表示制御手段は、前記記憶手段において前記検索手段により検索され映像を前記表示手段に表示させることを特徴とする。

また、請求項１１記載の発明に係る画像再生装置にあっては、撮像された撮像画像と、受信されたテレビ放送の映像とを記憶した記憶手段と、前記記憶手段に記憶された撮像画像のいずれかを選択する第１の選択手段と、前記記憶手段に記憶されたテレビ放送の映像のいずれかを選択する第２の選択手段と、前記第１の選択手段により選択された撮影画像と前記第２の選択手段により選択されたテレビ放送の映像とを、同一画面上において同時再生する再生制御手段とを備えることを特徴とする。

また、請求項１２記載の発明に係る画像再生装置にあっては、前記被写体像を操作に応じて拡大又は縮小処理するとともに、この被写体像の拡大又は縮小処理に連動させて前記テレビ放送の映像を拡大又は縮小処理する画像処理手段を更に備えることを特徴とする。

また、請求項１３記載の発明に係る撮像制御プログラムにあっては、表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段とを備える撮像装置が有するコンピュータを、前記撮像手段により撮像される被写体像と、前記受信手段により受信されるテレビ放送の映像とを前記表示手段に同時表示する表示制御手段と、操作に応じて、前記撮像手段により撮像された画像を記憶手段に記憶する記憶制御手段として機能させることを特徴とする。

また、請求項１４記載の発明に係る撮像制御プログラムにあっては、表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段とを備える撮像装置が有するコンピュータを、前記撮像手段により撮像される被写体像の特徴を検出する特徴検出手段と、この特徴検出手段により検出された前記被写体像の特徴に基づき、前記受信手段により受信されるテレビ放送において、類似する特徴の映像を含むテレビ放送のチャンネルを検索する検索手段と、前記受信手段を制御して、前記検索手段により検索されたテレビ放送のチャンネルを受信させるとともに、この受信させた放送チャンネルの映像を前記表示手段に表示させる表示制御手段として機能させることを特徴とする。

また、請求項１５記載の発明に係る画像再生制御プログラムにあっては、撮像された撮像画像と、受信されたテレビ放送の映像とを記憶した記憶手段とを備える画像再生装置が有するコンピュータを、前記記憶手段に記憶された撮像画像のいずれかを選択する第１の選択手段と、前記記憶手段に記憶されたテレビ放送の映像のいずれかを選択する第２の選択手段と、前記第１の選択手段により選択された撮影画像と前記第２の選択手段により選択されたテレビ放送の映像とを、同一画面上において同時再生する再生制御手段として機能させることを特徴とする。

本発明によれば、テレビ放送の画像や情報等を有効に利用して撮像装置及び画像再生装置の機能を向上させたり、多機能化することができる。

以下、本発明の一実施の形態を図に従って説明する。

（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６及び撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３及び電子ファインダとしても機能するＬＣＤからなる表示部１４、ムービー（動画）の撮影開始／終了キー３０１が配置されているとともに、メモリ媒体と電池とを収納するメモリ媒体／電池収納部１５が設けられている。また、ミラー（又はプリズム）１８、レンズ群１９及びＣＣＤ等で構成される撮像センサ２０等が配置されている。

なお、表示部１４は、後述するフローチャートに示す処理により、被写体する画像表示部１４ａと、電子ファインダ−／モニタ表示部１４ｂとして機能する。また、前記レリーズ釦３は、半押しを検知する機能と全押しを検知する機能とを備えている。

図２は、デジタルカメラ１の回路構成を示すブロック図である。このデジタルカメラ１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群１９を有している。このレンズ群１９の光軸上には撮像センサ２０が配置されており、前記レンズ群１９は、モーター等を有する駆動部２１によって駆動される。

このデジタルカメラ１全体を制御する主制御回路２２は、ＣＰＵ及びその周辺回路で構成されており、プログラムメモリ２３に格納されているプログラム等に基づき、データメモリ２４をワークエリアとして使用しつつ各部を制御する。この主制御回路２２には、撮影制御部２５が接続されている。撮影制御部２５は、主制御回路２２が発生するタイミング信号に基づき、撮像センサ２０を駆動するとともに、測光／測距センサ３３より測光／測距部３４を介して入力される測光データ及び測距データに基づき、前記駆動部２１及び映像信号処理部２６を制御する。

前記撮像センサ２０の受光面には、レンズ群１９によって被写体が結像される。撮像センサ２０は、撮影制御部２５によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部２６へ出力する。映像信号処理部２６は、撮像センサ２０の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。

映像信号処理部２６で変換されたＹＵＶデータは順次画像メモリ２７に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部２８を介して前記表示部１４へ送られてスルー画像として画面表示される。したがって、このとき表示部１４は電子ファインダ２９として機能する。なお、表示部１４を電子ファインダ２９として機能させる際には、その中央部にフォーカス枠を表示させ、このフォーカス枠内のをＡＦエリアとして、ＡＦがなされる。

そして、静止画撮影モードにおいては、前記レリーズ釦３に対する操作をトリガとして、主制御回路２２は、撮像センサ２０、撮影制御部２５、及び映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリ２７に一時記憶された画像データは、圧縮符号化・伸張復号部３０で圧縮及び符号化され、所定のフォーマットの静止画ファイルとして、画像＆音声メモリ媒体３１（又は後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。

また、動画撮影モードにおいては、ムービー（動画）の撮影開始／終了キー３０１の１回目のキー操作と２回目のキー操作との間に、画像メモリ２７に順次記憶される複数の画像データが圧縮符号化・伸張復号部３０で順次圧縮され、順次記憶された後、動画ファイルとして画像＆音声メモリ媒体３１（又は後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。この画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録された静止画ファイル及び動画ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されて伸張及び復号化され、ＹＵＶデータとしてに展開された後、表示部１４に表示される。したがって、このとき表示部１４は画像モニタ３２として機能する。

前記プログラムメモリ２３には、主制御回路２２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。また、主制御回路２２には、操作入力部３５が入力回路３６を介して接続されているとともに、時計回路８０が接続されている。操作入力部３５には、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等が設けられている。

また、このデジタルカメラ１は、前記動画撮影モード等において、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイク３９が設けられている。このマイク３９からの音声信号は、アンプ４０で増幅され、Ａ／Ｄ変換器４１でデジタル変換され、音声メモリ４２に格納される。この音声メモリ４２に格納された音声データは、前記圧縮符号化・伸張復号部３０で圧縮される。主制御回路２２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して画像＆音声メモリ媒体３１（又は後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録する。この画像＆音声メモリ媒体３１（磁気ディスク４８）に記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されるとともに伸張及び復号化される。この伸張及び復号化された音声データは、Ｄ／Ａ変換器４３でアナログ信号に変換され、アンプ４４を介してスピーカ４５に供給されて音声として再生される。

また、このデジタルカメラ１は、外部入出力インタフェース３８を介して主制御回路２２に接続された外部入出力端子３７を備えている。この外部入出力端子３７には、ＰＣ等の外部機器７０を接続することが可能である。外部機器は７０は、ゲートウェイＧＷ及びインターネット７１を介して、サーバー装置７７や他のＰＣ等の外部機器７４に接続可能である。サーバー装置７７は、画像データを格納する画像データベース７３接続されており、外部機器７４は無線ＡＰ７５に接続可能である。

一方、ＨＤＤ記憶装置４６は、ＨＤＤ・ＩＦ４７を介して主制御回路２２に接続されている。ＨＤＤ記憶装置４６は、前記磁気ディスク４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣＭ５２、ヘッドアンプ５３、リード／ライトチャンネル５４、ＨＤＤ制御部５５等を有している。

また、主制御回路２２には、画像・音声の特徴抽出／認識用データメモリ５６が画像・音声の特徴抽出／認識処理部５７を介して接続されている。後述するように、主制御回路２２は、画像・音声の特徴抽出／認識処理部５７を制御して、前記撮像センサ２０により取り込まれた画像、及び前記マイク３９により取り込まれた音声の特徴を抽出するとともに認識し、画像・音声の特徴抽出／認識用データメモリ５６は、これら抽出及び認識された画像の特徴や音声の特徴等を記憶する。また、主制御回路２２の制御下で画像・音声の特徴抽出／認識処理部５７が抽出あるいは抽出した特徴の記述データは、圧縮符号化・伸張復号部３０で圧縮符号化されて画像＆音声メモリ媒体３１に記憶される。したがって、画像＆音声メモリ媒体３１には、画像メモリ２７及び音声メモリ４２側から入力された画像／音声データ３１ａと、画像・音声の特徴抽出／認識処理部５７側から入力された特徴記述データ３１ｂとが記憶される。

なお、主制御回路２２には、前記無線ＡＰ７５と無線ＬＡＮ通信を行う無線ＬＡＮ通信部７８が通信インタフェース７９を介して接続されている。

さらに、このデジタルカメラ１は、地上波テレビデジタル放送を受信する機能を備えている。この機能を達成するために、アンテナ８１、デジタル放送チューナ８２、及び主制御回路２２に接続されたデジタルＴＶ制御部８４を有している。デジタルＴＶ制御部８４は、アプリケーション・プログラムメモリ８６に格納されているプログラム等に基づき、データメモリ８５をワークエリアとして使用しつつデジタルテレビ放送受信に関連する制御を実行する。そして、制御により得られたデジタル映像データと音声データのうち映像データを前記映像信号処理部２６に供給し、デジタル映像データと音声データを主制御回路２２に供給する。

図３は、本実施の形態の処理手順を示すフローチャートであり、主制御回路２２はプログラムメモリ２３に格納されているプログラム等に基づき、図３に示すフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する（ステップＳ１０２）。撮影モードが設定されたならば、操作入力部３５での操作に応じて、露出条件やホワイトバランス等の撮影条件を設定するとともに、ファインダ（表示部１４）の表示方式を選択する（ステップＳ１０３）。さらに、操作入力部３５での操作によりデジタル放送の受信映像表示が選択されたか否かを判断し（ステップＳ１０４）、選択された場合にはデジタル放送を受信して、復調するとともに復号処理する（ステップＳ１０５）。

次に、前記ステップＳ１０３で判断された表示方式の選択が、上下に分割表示であるか否かを判断する（ステップＳ１０６）。上下に分割表示である場合には、デジタル放送受信映像をファインダ画面（表示部１４）の上（又は下）に、撮像信号の被写体像を下（又は上）に、並列表示する（ステップＳ１０７）。したがって、このステップＳ１０７での処理により、図４（Ａ）に示すように、例えば表示部１４の下半部に撮像センサ２０により撮像した画像である被写体像１４１が表示され、上半部にデジタル放送チューナ８２により受信したデジタル放送受信映像である放送映像１４２が表示される。

また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する（ステップＳ１０８）。左右に分割表示である場合には、デジタル放送受信映像をファインダ画面（表示部１４）の左（又は右）に、撮像信号の被写体像を右（又は左）に、並列表示する（ステップＳ１０９）。したがって、このステップＳ１０９での処理により、図４（Ｂ）に示すように、例えば表示部１４の左半部に放送映像１４２が表示され、右半部に被写体像１４１が表示される。

また、左右に分割表示でない場合には、ＰｉｎＰ（ピクチャーインピクチャー）表示であるか否かを判断する（ステップＳ１１０）。ＰｉｎＰである場合には、デジタル放送受信映像をファインダ画面（表示部１４）の端の小窓（又は他領域）に、撮像信号の被写体像をその他の領域（又は小窓）に表示する（ステップＳ１１１）。したがって、このステップＳ１１１での処理により、図４（Ｃ）に示すように、例えば表示部１４の小窓に放送映像１４２が表示され、その他の領域に被写体像１４１が表示される。

さらに、前記ステップＳ１０４での判断がＮＯであって、デジタル放送の受信映像表示が選択されなかった場合には、撮像信号による被写体像をファインダ画面（表示部１４）に表示する（ステップＳ１１２）。したがって、このステップＳ１１２での処理により、図４（Ｄ）に示すように、表示部１４には被写体像１４１が全画面表示される。

よって、ユーザは、表示方式を選択することより、図４（Ａ）〜（Ｃ）のいずれかの表示態様で表示部１４に被写体像１４１と放送映像１４２とを表示させたり、被写体像１４１のみを表示させたりすることができる。

なお、表示方式の選択により、放送映像１４２のみを表示部１４に表示させるようにしてもよい。

次に、ズーム操作キー９によるズーム操作があったか否かを判断し（ステップＳ１１３）、ズーム操作があった場合には、ズーム操作に従って、駆動部２１を制御してズームレンズを駆動する光学ズーム処理及び／又は映像信号処理部２６で撮像センサ２２からの画像データをズーム処理する電子ズーム処理を実行する（ステップＳ１１４）。

引き続き、前記被写体像１４１のスルー表示処理を実行し、前記ステップＳ１１５で行った電子ズーム処理における当該カメラ１の電子ズーム倍率に応じて、被写体像１４１の拡大又は縮小、補間処理を実行する（ステップＳ１１５）。したがって、このステップＳ１１５での処理により図４（Ａ）〜（Ｄ）において、被写体像１４１はユーザの操作に応じて設定された電子ズーム倍率に応じた大きさで、表示部１４に表示さることとなる。

また、再度デジタル放送の受信映像表示が選択されたか否かを判断する（ステップＳ１１６）。デジタル放送の受信映像表示が選択されている場合には、前記ステップＳ１１４及びＳ１１５におけるカメラのズーム倍率と電子ズーム倍率の積、つまり「カメラのズーム倍率×電子ズーム倍率」に応じて、デジタル放送の受信映像部分つまり放送映像１４２の拡大又は縮小、補間処理を実行する（ステップＳ１１７）。したがって、このステップＳ１１５での処理により図４（Ａ）〜（Ｄ）において、放送映像１４２はユーザの操作に応じて設定された被写体像１４１の倍率に連動した大きさで、表示部１４に表示さることとなる。

したがって、被写体像１４１のズーム倍率を調整することにより、これと同期して放送映像１４２のズーム倍率を変化させることができる。

そして、レリーズ釦３の操作又は撮影開始／終了キー３０１による撮影操作があったか否かを判断し（ステップＳ１１８）、ない場合にはその他のキー処理、表示処理を実行する（ステップＳ１１９）。

また、レリーズ又は撮影操作があった場合には、前記ステップＳ１０３で設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ２０、撮影制御部２５、及び映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ２７に一時記憶する（ステップＳ１２０）。

引き続き、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されているか否を判断する（ステップＳ１２１）。ＯＮ設定されていない場合には、前記ステップＳ１２０の処理で撮像センサ２０から取り込まれて画像メモリ２７に一時記されている憶画像データを圧縮、符号化する（ステップＳ１２５）。

また、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されている場合には、合成設定条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する（ステップＳ１２２）。ここで、合成設定条件とは、例えば前記図４（Ａ）（Ｂ）（Ｃ）に示したように、被写体像１４１に対する放送映像１４２の合成形態である。したがって、仮に合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像１４２に相当するフレーム部分を抽出する。

次に、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成する（ステップＳ１２３）。つまり、前述した例のように、合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件が設定されている場合には、下半部に被写体像１４１を合成し上半部に放送映像１４２を合成して１フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する（ステップＳ１２４）。

そして、前記ステップＳ１２５で圧縮、符号化された撮影画像、又は前記ステップＳ１２４で圧縮、符号化された合成画像を、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録する（ステップＳ１２６）。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ（表示部１４）にレビュー表示する（ステップＳ１２７）。

したがって、この第１の実施の形態によれば、プロが撮影を行っているテレビ放送の映像を参照映像として用い、これを参照しながら、被写体の撮影を行うことができる。よって、構図や画角の決定、被写体のポーズや動き方、その速さやテンポなどを、参照映像と比較しながら、撮影を行うことができ、その結果、アマチュアであってもプロに近い撮影を行うことができる。

なお、本実施の形態においては、表示部１４に被写体像１４１と放送映像１４２とを表示させて、これらを合成して記録するようにしたが、下記のようにしてもよい。
（１）被写体像１４１と画像＆音声メモリ媒体３１に予め記憶された画像の再生画像とを同時表示させ、これら被写体像１４１と再生画像とを合成して記録する。
（２）被写体像１４１と磁気ディスク４８に予め記憶されたテレビ放送の録画画像とを表示させ、これら被写体像１４１と録画画像とを合成して記録する。

これにより、現在放送中のテレビ放送の映像のみならず、既に記録されている任意の画像と被写体像１４１とを合成して記録することができる。

（第２の実施の形態）
図５は、本発明の第２の実施形態における処理手順を示すフローチャートである。先ず、ユーザによる操作入力部３５での操作により、再生モードが設定されているか否かを判断する（ステップＳ２０１）。再生モードが設定されていない場合には、撮影モード、設定モードなど、その他のモード処理へ移行する（ステップＳ２０２）。再生モードが設定されたならば、操作入力部３５での操作に応じて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）から再生したい記録済みの撮影画像を選択する（ステップＳ２０３）。この選択に際しては、表示部１４に記録済み撮影画像のリストを表示して、このリストから操作入力部３５での操作により選択された撮影画像を再生対象として決定する。

さらに、操作入力に応じて、録画済みデジタル放送受信映像の中から、再生したい録画画像又は映像を選択する（ステップＳ２０５）。つまり、ＨＤＤ記憶装置の磁気ディスク４８には、ユーザが予めデジタル放送を受信して録画した録画画像（静止画像）や録画映像（動画像）が記憶されている。また、前述と同様に、表示部１４に録画済みの録画画像（静止画像）や録画映像（動画像）のリストを表示して、このリストから操作入力部３５での操作により選択された画像、映像を再生対象として決定する。そして、前記ステップＳ２０３で選択された記録済みの撮影画像又は動画像と、前記ステップＳ２０５で選択された録画済みのデジタル放送受信の画像又は像画像とを、同期して復号処理する（ステップＳ２０６）。

次に、前記ステップＳ２０４で判断された同時再生の選択が、上下に分割表示であるか否かを判断する（ステップＳ２０７）。上下に分割表示である場合には、前記選択されたデジタル放送の録画画像又は映像を画像モニタ（表示部１４）の上（又は下）に、記録済みの撮影画像又は像画像を下（又は上）に並列して、再生表示する（ステップＳ２０８）。したがって、このステップＳ２０８での処理により、図６（Ａ）に示すように、例えば表示部１４の下半部に記録済みの撮影画像／動画像１４３が表示され、上半部に放送録画の画像／動画像１４４が表示される。

また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する（ステップＳ２０９）。左右に分割表示である場合には、選択されたデジタル放送の録画画像又は映像をファインダ画面（表示部１４）の左（又は右）に、記録済みの撮影画像又は像画像を右（又は左）に、並列表示する（ステップＳ２１０）。したがって、このステップＳ２１０での処理により、図６（Ｂ）に示すように、例えば表示部１４の左半部に放送録画の画像／動画像１４４が表示され、右半部に記録済みの撮影画像／動画像１４３が表示される。

また、左右に分割表示でない場合には、ＰｉｎＰ（ピクチャーインピクチャー）表示であるか否かを判断する（ステップＳ２１１）。ＰｉｎＰである場合には、デジタル放送の録画画像又は映像をファインダ画面（表示部１４）の端の小窓（又はその他領域）に、記録済みの撮影画像又は像画像をその他の領域（又は小窓）に表示する（ステップＳ２１２）。したがって、このステップＳ２１２での処理により、図６（Ｃ）に示すように、例えば表示部１４の小窓に放送録画の画像／動画像１４４が表示され、その他の領域に記録済みの撮影画像／動画像１４３が表示される。

さらに、前記ステップＳ２０４での判断がＮＯであって、デジタル放送の録画映像との同時再生が選択されなかった場合には、前記ステップＳ２０３で選択された記録済みの撮影画像又は動画像の復号処理を実行し（ステップＳ２１３）、この選択された画像又は動画像を画像モニタ（表示部１４）に表示する（ステップＳ２１４）。したがって、このステップＳ２１４での処理により、表示部１４には選択された記録済みの撮影画像又は動画像が全画面表示される。

よって、ユーザは、表示方式を選択することより、図６（Ａ）〜（Ｃ）のいずれかの表示態様で表示部１４に放送録画の画像／動画像１４４と、記録済みの撮影画像／動画像１４３とを同時再生表示させたり、記録済みの撮影画像／動画像１４３のみを表示させたりすることができる。

また、図６（Ａ）〜（Ｃ）のいずれかの表示態様で表示部１４に放送録画の画像／動画像１４４と、記録済みの撮影画像／動画像１４３とを同時再生表示させることにより、以前に放送された番組の記録映像の情景と、ユーザ自身が撮影した最近の映像の情景とを比較しながら同時に観賞することができる。これにより、季節や時間の変化による情景の移り変わりを視覚上で楽しんだり、把握したりすることができる。

なお、表示方式の選択により、放送録画の画像／動画像１４４のみを表示部１４に表示させるようにしてもよい。

次に、ズーム操作キー９によるズーム操作があったか否かを判断する（ステップＳ２１５）。ズーム操作があった場合には、ズーム操作に従って、選択された記録済みの撮影画像の再生ズーム処理を行って、当該選択された記録済みの撮影画像を拡大、縮小処理するとともに必要に応じて補間処理する（ステップＳ２１６）。また、デジタル放送の録画映像との同時再生が選択されているか否かを判断する（ステップＳ２１７）。同時再生が選択されている場合には、前記ステップＳ２１６でズーム処理したズーム倍率に連動して、録画されたデジタル放送の画像又は動画像部分の再生表示を拡大、縮小、補間処理する（ステップＳ２１８）。

したがって、図６（Ａ）〜（Ｃ）の再生表示状態において、ズーム操作キー９を操作すると、記録済みの撮影画像／動画像１４３が拡大、縮小表示されるとともに、これに連動して放送録画の画像／動画像１４４も拡大、縮小表示されることとなる。これにより、図時のように放送録画したサッカーにおけるプロの選手のフォームやタイミングと、録画した自己のフォームやタイミングとを明瞭に比較することでき、これにより、効果的なスポールの技術習得や練習を行うことができる。

なお、本実施の形態においては、操作に応じて、撮影画像／動画像１４３と放送録画の画像／動画像１４４とを連動して拡大、縮小表示させるようにしたが、操作に応じて、撮影動画像と放送録画の動画像との再生速度を連動させるようにしてもよい。これにより、両者を同期させたスロー再生も可能となり、効果的なスポーツの技術習得や練習を行うことができる。

（第３の実施の形態）
図７は、本発明の第３の実施形態における処理手順を示すフローチャートである。主制御回路２２はプログラムメモリ２３に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ３０１）。撮影モードが設定されていない場合には、設定モードが設定されているか否かを判断する（ステップＳ３０２）。設定モードが設定されている場合には、撮影設定、録画検索設定、特徴抽出方法の設定などの設定処理に移行し（ステップＳ３０３）、設定モードが設定されていない場合には、再生モードなどの、その他のモード処理へ移行する（ステップＳ３０４）。

撮影モードが設定されたならば、操作入力部３５でのユーザ操作に応じて、撮影条件を設定するとともに（ステップＳ３０５）、ズーム処理、ＡＦ処理を実行し（ステップＳ３０６）、表示部１４に被写体像のスルー映像を表示する（ステップＳ３０７）。引き続き、レリーズ釦３が半押し操作されたか否かを判断し（ステップＳ３０８）、半押し操作されない場合には、その他のキー処理を実行して（ステップＳ３０９）、ステップＳ３０６に戻る。したがって、レリーズ釦３が半押し操作されるまでステップＳ３０６〜Ｓ３０９のループが繰り返される。

そして、ユーザが表示部１４に表示される被写体像のスルー映像を視認して、レリーズ釦３を半押し操作すると、ステップＳ３０８からステップＳ３１０に進み、測光処理、ＷＢ処理、ＡＥ／ＡＦ処理を実行する。また、類似映像の放送検索機能がＯＮとなっているか否かを判断し（ステップＳ３１１）、類似映像の放送検索機能がＯＦＦとなっている場合には、通常の撮影処理、つまり撮影された被写体像の画像データを圧縮、符号化して、画像＆音声メモリ媒体３１に記録する（ステップＳ３１２）。

しかし、類似映像の放送検索機能がＯＮとなっている場合には、先ず被写体像の撮像信号から主被写体の画像を画像メモリ２７に記憶する（ステップＳ３１３）。次に、この記憶した被写体像の画像データから所定の特徴量を抽出してデータメモリ２４に記憶する（ステップＳ３１３）。なお、このステップＳ３１３や後述するステップＳ３１６等における特徴量の抽出に関しては、図８に示すフローチャートにより詳述する。

次に、デジタル放送の各チャンネルの受信データを順次読み出す（ステップＳ３１５）。そして、おの受信データの映像から所定の特徴量を抽出、又は特徴データ（メタ情報）を抽出してデータメモリ２４に記憶する（ステップＳ３１６）。さらに、このステップＳ３１６でデータメモリ２４に記憶した当該画像データの特徴量と、前記ステップＳ３１４でデータメモリ２４に記憶した被写体像の特徴量とを比較し、類似度を評価する（ステップＳ３１７）。

さらに、この評価に基づき、両者の類似度が所定値より大きいか否かを判断し（ステップＳ３１８）、大きくない場合にはステップＳ３１９及びＳ３２０の処理を行うことなくステップＳ３２１に進む。また、前記画像データの特徴量と、被写体像どの類似度が所定値より大きい場合には、その類似度は前回までの最大値より大きいか否かを判断する（ステップＳ３１９）。大きい場合には、当該チャンネルと類似度とをデータメモリ２４に記憶する（ステップＳ３２０）。

次に、最後の放送チャンネルか否かを判断し（ステップＳ３２１）、最後の放送着ネルとなるまで、次のチャンネルを選択して（ステップＳ３２２）、ステップＳ３１５からの処理を繰り返す。

したがって、ステップＳ３１５〜Ｓ３２１の処理は、このデジタルカメラ１において受信可能なチャンネル数に相当する回数繰り返される。そして、被写体像と特徴量が所定以上大きい画像データの受信チャンネルがある場合には、最終的に最も類似度の大きいチャンネルとその類似度とがデータメモリ２４に記憶された状態となる。しかし、被写体像と特徴量が所定以上大きい画像データの受信チャンネルがなかった場合には、データメモリ２４には、チャンネルや類似度は記憶されないことになる。

したがって、ステップＳ３２１がＹＥＳとなって最後の放送チャンネルまでの検索を愁傷した際には、ステップＳ３２３に進み、データメモリ２４の記憶状態に基づき、映像が類似するチャンネルが検索されたか否かを判断する。検索されなかった場合、つまりデータメモリ２４にチャンネルや類似度が記憶されていなかった場合には、類似映像のチャンネルが見つからない旨を表示部１４に表示し、又はスピーカ４５からエラー音を発生させる等のエラー処理を実行する（ステップＳ３２４）。

また、映像が類似するチャンネルが検索された場合、つまりデータメモリ２４にチャンネルと類似度とが記憶されている場合には、デジタル放送のチャンネルを類似度の最も高かったチャンネル、つまり最終的にデータメモリ２４に記憶されているチャンネルに切り替える（ステップＳ３２５）。そして、当該チャンネルの放送映像を受信して（ステップＳ３２６）、当該チャンネルの受信映像をファインダの一部に表示する（ステップＳ３２７）。

したがって、本実施の形態によれば、デジタルカメラ１での撮影時における被写体の種別やシーンなどを画像特徴量から識別、分類するとともに、現在放送中のテレビ番組の内容をメタデータで検索するとともに、被写体像の特徴と類似する種類や内容があるか検索して、検索に成功した場合には、最も類似するテレビ放送のチャンネルに切り替え、表示部１４の一部に被写体像とともに表示することができる。

よって、デジタルカメラ１の表示部１４に被写体像を表示するだけで、サッカー試合などの撮影中に、それと同じ試合や関連する放送番組、あるいはそのデジタル情報をすぐに検索して見ることができる。

なお。このフローチャートにおいては、当該チャンネルの放送映像を受信して（ステップＳ３２６）、当該チャンネルの受信映像をファインダの一部に表示する処理（ステップＳ３２７）までを示したが、レリーズ釦３の全押し操作に応答して、撮影記録を開始し、被写体像を受信映像とともに合成記録したり、被写体像のみを記録する処理を行うようにしてもよい。また、ステップＳ３２７の処理に続いて自動的に、つまり当該チャンネルの受信映像の受信や表示をトリガとして、自動的に撮影、合成、記録を開始するようにしてもよい。これより、類似度の高い被写体像と受信映像とを自動撮影することもできる。

図８は、前記図７に示したフロー中の、特徴量を抽出する処理（ステップＳ３１４、ステップＳ３１６等）の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量又は特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して出力すものである。

すなわち、対象画像データファイルを読み込み（ステップＳ４０１）、特徴抽出処理の設定データを読み込む（ステップＳ４０２）。次に、抽出する特徴はオートに設定されているか否かを判断し（ステップＳ４０３）、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する（ステップＳ４０４）。また、オードに設定されている場合には、当該画像の撮影情報を読み込み（ステップＳ４０５）、撮影モード又は撮影条件に基づいて、抽出する特徴の種類を選択する（ステップＳ４０６）。

そして、このステップＳ４０６又は前記ステップＳ４０４に続き、抽出する特徴の種別に応じて、前処理、及び、特徴抽出手段を選択した後（ステップＳ４０７）、前処理１（ステップＳ４０８）及び前処理２（ステップＳ４０９）を実行する。前処理１においては、画像強調、又は、鮮鋭化などを行い、前処理２においては、２値化、又は、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。

しかる後に、特徴抽出処理（色領域の抽出）（ステップＳ４１０）、特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ４１２）、特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ４１４）、特徴抽出処理（位置・配置の特徴抽出）（ステップＳ４１６）、・・・特徴抽出処理（動きの抽出）（ステップＳ４１８）等を実行する。そして、特徴抽出処理（色領域の抽出）（ステップＳ４１０）を実行した場合には、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数などの特徴記述データを作成する（ステップＳ４１１）。特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ４１２）を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する（ステップＳ４１３）。特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ４１４）を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する（ステップＳ４１５）。特徴抽出処理（位置・配置の特徴抽出）（ステップＳ４１６）を実行した場合には、位置座標、ＤＣＴ係数など特徴記述データを作成する（ステップＳ４１７）。特徴抽出処理（動きの抽出）（ステップＳ４１８）を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する（ステップＳ４１９）。

前記色の特徴抽出では、当該他像の色データに基づいて、ＲＧＢやＨＳＶ値などの色差ヒストグラムや色分布、あるいは、色差成分のＤＣＴ変換後のＤＣＴ係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、Ｐ型フーリエ記述子（後述）等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やＤＣＴ変換により周波数空間に変換した場合のＤＣＴ係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、ＤＣＴ変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。

次に、認識処理をするか否かを判断し（ステップＳ４２０）、認識処理をする場合には、認識対象のテンプレートデータ（図１２参照）を読み込む（ステップＳ４２１）。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、又は、相関度、類似度、類似距離、差分我の算出などを行い（ステップＳ４２２）。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、又は、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップＳ４１０〜Ｓ４１９の処理により、抽出されたデータ、又は、前記ステップＳ４２２の処理による認識結果を出力する（ステップＳ４２３）。

（第４の実施の形態）
図９は、本発明の第４の実施形態における処理手順を示すフローチャートである。主制御回路２２はプログラムメモリ２３に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、ユーザによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ５０１）。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する（ステップＳ５０２）。撮影モードが設定されたならば、操作入力部３５での操作に応じて、露出条件やホワイトバランス等の撮影条件を設定するとともに、ファインダ（表示部１４）の表示方式を選択する（ステップＳ５０３）。さらに、操作入力部３５での操作によりデジタル放送の受信映像表示が選択されたか否かを判断し（ステップＳ５０４）、選択された場合にはデジタル放送を受信して、復調するとともに復号処理する（ステップＳ５０５）。

次に、前記ステップＳ５０３で判断された表示方式の選択が、上下に分割表示であるか否かを判断する（ステップＳ５０６）。上下に分割表示である場合には、デジタル放送受信映像をファインダ画面（表示部１４）の上（又は下）に、撮像信号の被写体像を下（又は上）に、並列表示する（ステップＳ５０７）。したがって、このステップＳ５０７での処理により、図４（Ａ）に示すように、例えば表示部１４の下半部に撮像センサ２０により撮像した画像である被写体像１４１が表示され、上半部にデジタル放送チューナ８２により受信したデジタル放送受信映像である放送映像１４２が表示される。

また、上下に分割表示でない場合には、左右に分割表示であるか否かを判断する（ステップＳ５０８）。左右に分割表示である場合には、デジタル放送受信映像をファインダ画面（表示部１４）の左（又は右）に、撮像信号の被写体像を右（又は左）に、並列表示する（ステップＳ５０９）。したがって、このステップＳ５０９での処理により、図４（Ｂ）に示すように、例えば表示部１４の左半部に放送映像１４２が表示され、右半部に被写体像１４１が表示される。

また、左右に分割表示でない場合には、ＰｉｎＰ（ピクチャーインピクチャー）表示であるか否かを判断する（ステップＳ５１０）。ＰｉｎＰである場合には、デジタル放送受信映像をファインダ画面（表示部１４）の端の小窓（又は他領域）に、撮像信号の被写体像をその他の領域（又は小窓）に表示する（ステップＳ５１１）。したがって、このステップＳ５１１での処理により、図４（Ｃ）に示すように、例えば表示部１４の小窓に放送映像１４２が表示され、その他の領域に被写体像１４１が表示される。

さらに、前記ステップＳ５０４での判断がＮＯであって、デジタル放送の受信映像表示が選択されなかった場合には、撮像信号による被写体像をファインダ画面（表示部１４）に表示する（ステップＳ５１２）。したがって、このステップＳ５１２での処理により、図４（Ｄ）に示すように、表示部１４には被写体像１４１が全画面表示される。

よって、ユーザは、表示方式を選択することより、図４（Ａ）〜（Ｃ）のいずれかの表示態様で表示部１４に被写体像１４１と放送映像１４２とを表示させたり、被写体像１４１のみを表示させたりすることができる。

なお、表示方式の選択により、放送映像１４２のみを表示部１４に表示させるようにしてもよい。

次に、操作入力部３５での操作によりデジタル放送の受信映像表示が選択されたか否かを再度判断する（ステップＳ５１３）。デジタル放送の受信映像表示が選択された場合には、当該受信放送チャンネルから、映像やシーンの特徴、撮影条件等に関連するメタ情報（付属デジタル情報）を抽出する（ステップＳ５１４）。なお、このステップＳ５１４における映像やシーンの特徴の抽出は、前述した図８に示すフローに従って行えばよい。

引き続き、当該抽出されたメタ情報（付属デジタル情報）に応じて、撮影条件又はその一部を変更して設定する（ステップＳ５１５）。より具体的には、下記の処理等を行う。
１）受信放送のシーンがスポーツの場合、スポーツシーンに適した露出条件に変更する。
２）受信放送の被写体が人物である場合、人物の顔検出機能をＯＮに設定する。
３）受信映像の季節や時間が夏の白昼の戸外の場合、昼光の屋外に合わせてホワイトバランスや撮影感度を調整する。
４）受信映像の構図、画角が広角の遠景の場合、それに応じて焦点距離（望遠ズーム倍率）や画角、マクロ等を設定する。

そして、レリーズ釦３の操作又は撮影開始／終了キー３０１による撮影操作があったか否かを判断し（ステップＳ５１６）、ない場合にはその他のキー処理、表示処理を実行する（ステップＳ５１７）。

また、レリーズ又は撮影操作があった場合には、前記ステップＳ５０３及びステップＳ５１５で設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ２０、撮影制御部２５、及び映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ２７に一時記憶する（ステップＳ５１８）。

引き続き、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されているか否を判断する（ステップＳ５１９）。ＯＮ設定されていない場合には、前記ステップＳ５１８の処理で撮像センサ２０から取り込まれて画像メモリ２７に一時記されている憶画像データを圧縮、符号化する（ステップＳ５２３）。

また、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されている場合には、合成設定条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する（ステップＳ５２０）。ここで、合成設定条件とは、例えば前記図４（Ａ）（Ｂ）（Ｃ）に示したように、被写体像１４１に対する放送映像１４２の合成形態である。したがって、仮に合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像１４２に相当するフレーム部分を抽出する。

次に、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成する（ステップＳ５２１）。つまり、前述した例のように、合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件が設定されている場合には、下半部に被写体像１４１を合成し上半部に放送映像１４２を合成して１フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する（ステップＳ５２２）。

そして、前記ステップＳ５２２で圧縮、符号化された撮影画像、又は前記ステップＳ５２４で圧縮、符号化された合成画像を、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録する（ステップＳ５２４）。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ（表示部１４）にレビュー表示する（ステップＳ５２５）。

したがって、この第４の実施の形態によれば、受信した映像を見本映像として、見本映像の被写体の種類に応じて撮影モードを自動選択したり、見本映像の季節や日時合わせて、ホワイトバランスや撮影感度を調整したり、構図や画角に応じてデジタルカメラ１の焦点距離やズーム倍率を自動設定して、被写体に応じた適切な撮影条件で撮影を行うことができる。

なお、本実施の形態においては、受信した放送中の映像を見本映像として用いるようにしたが、予めＨＤＤ記憶装置４６の磁気ディスク４８に記録した記録画像を見本映像として用いるようにしてもよい。この場合、ステップＳ５１４で記録画像の再生画像から関連するメタ情報を抽出して、以降の処理を実行することになる。これにより、記録画像の被写体の種類に応じて撮影モードを自動選択したり、季節や日時合わせて、ホワイトバランスや撮影感度を調整したり、構図や画角に応じてデジタルカメラ１の焦点距離やズーム倍率を自動設定して、被写体に応じた適切な撮影条件で撮影を行うことができる。

（第５の実施の形態）
図１０は、本発明の第５の実施形態における処理手順を示すフローチャートである。主制御回路２２はプログラムメモリ２３に格納されているプログラム等に基づき、このフローチャートに従って処理を実行する。先ず、レリーズ釦３の操作又は撮影開始／終了キー３０１による撮影操作があったか否かを判断し（ステップＳ６０１）、ない場合にはその他のキー処理、表示処理を実行する（ステップＳ６０２）。レリーズ又は撮影開始操作があったならば、予め設定された撮影条件に基づいて、露出及び撮影処理を実行し、撮像センサ２０、撮影制御部２５、及び映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードにより得られ画像データを画像メモリ２７に一時記憶する（ステップＳ６０３）。

引き続き、撮影画像とデジタル放送受信映像との合成記録がＯＮ設定されているか否を判断する（ステップＳ１２１）。ＯＮ設定されていない場合には、前記ステップＳ１２０の処理で撮像センサ２０から取り込まれて画像メモリ２７に一時記されている憶画像データを圧縮、符号化する（ステップＳ６２０）。

ＯＮ設定されている場合には、現在受信している当該受信放送映像のメタ情報（付属デジタル情報）から著作権表記、著作物の利用条件情報を読み込む（ステップＳ６０５）。そして、この読み込んだ利用条件に基づき、受信した画像の私的利用が許可されているか否かを判断し（ステップＳ６０６）、許可されてない場合には、合成処理できない旨を表示部１４に表示して（ステップＳ６１４）、前記ステップＳ６２０の処理を実行する。

また、許可されている場合には、画像の複製、加工が許可されているか否かを判断し、許可されてない場合には、合成処理できない旨を表示部１４にして（ステップＳ６１４）、前記ステップＳ６２０の処理を実行する。画像の複製、加工が許可されている場合には、設定された合成、加工条件に基づいて、デジタル放送の受信画像からフレーム画像を抽出する（ステップＳ６０８）。ここで、合成設定条件とは、例えば前記図４（Ａ）（Ｂ）（Ｃ）に示したように、被写体像１４１に対する放送映像１４２の合成形態である。したがって、仮に合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件であるならば、デジタル放送の受信映像から、上半部に放送映像１４２に相当するフレーム部分を抽出する。

次に、前記利用条件情報に基づき、著作権表記が必須であるか否かを判断し（ステップＳ６０７）、必須である場合には、合成処理できない旨を表示部１４に表示して（ステップＳ６１４）、前記ステップＳ６２０の処理を実行する。また、著作権表記が必須でない場合には、前記ステップＳ６０８で抽出された画像に著作権情報をテキスト化して合成する（ステップＳ６１０）。

さらに、前記利用条件情報に基づき、利用料は有料であるか無料であるかを判断し（ステップＳ６１１）、無料である場合には、ステップＳ６１２〜Ｓ６１６の処理を実行することなく、ステップＳ６１８に進む。また、有料である場合には、前記利用条件情報に基づき、「有料コンテンツ（￥ＸＸＸ）です。お支払いしますか（Ｙ／Ｎ）」を表示部１４にプロンプト表示する（ステップＳ６１２）。そして、ＹＥＳ（ＯＫ）が入力されたか否かを判断して（ステップＳ６１３）、入力されない場合には合成処理できない旨を表示部１４に表示して（ステップＳ６１４）、前記ステップＳ６２０の処理を実行する。

一方、ＹＥＳ（ＯＫ）が入力された場合には、課金処理、認証処理を実行する（ステップＳ６１５）。すなわち、図２に示した通信インタフェース、無線ＬＡＮ通信部７８を介し、無線ＡＰ７５、外部機器７４、インターネット７１を経由してサーバー装置７７に接続し、公知の課金処理、認証処理を行う。しかる後に、サーバー装置７７と当該デジタルカメラ１との送受信により、課金処理が成功（ＯＫ）したか否かを判断し（ステップＳ６１６ ）、成功しなかった場合には合成処理できない旨を表示部１４に表示して（ステップＳ６１４）、前記ステップＳ６２０の処理を実行する。

課金処理が成功した場合、及び利用が無料であった場合には、撮影された被写体画像と受信映像から抽出されたフレーム画像とを合成、加工する（ステップＳ６１８）。つまり、前述した例のように、合成設定条件として、図４（Ａ）に示した下半部に被写体像１４１を合成し上半部に放送映像１４２を合成する合成設定条件が設定されている場合には、下半部に被写体像１４１を合成し上半部に放送映像１４２を合成して１フレーム分の合成画像を生成する。さらに、この合成された画像データを圧縮、符号化する（ステップＳ６１９）。

そして、前記ステップＳ６２０で圧縮、符号化された撮影画像、又は前記ステップＳ６１９で圧縮、符号化された合成画像を、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録する（ステップＳ６２１）。したがって、ユーザが静止画撮影を行った場合には、単一のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。また、ユーザが動画画撮影を行った場合には、複数のフレームからなる撮影画像又は合成画像がファイル名を付されて、画像＆音声メモリ媒体３１（又は磁気ディスク４８）に記録されることとなる。しかる後に、これら記録した撮影画像をモニタ（表示部１４）にレビュー表示する（ステップＳ６２２）。

したがって、この第５の実施の形態によれば、著作権を尊重しながら、個々の著作物の利用条件の範囲内で、個人利用でのテレビ映像との合成やツーショット撮影などを楽しむことができる。

（Ａ）は本発明の各実施の形態に共通するデジタルカメラの正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。 同デジタルカメラの回路構成を示すブロック図である。 本発明の第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態における表示画面例を示す図である。 本発明の第２の実施の形態における処理手順を示すフローチャートである。 同実施の形態における表示画面例を示す図である。 本発明の第３の実施の形態における処理手順を示すフローチャートである。 図７に示したフロー中等の、特徴量を抽出する処理の処理手順を示すサブルーチンである。 本発明の第４の実施の形態における処理手順を示すフローチャートである。 本発明の第５の実施の形態における処理手順を示すフローチャートである。

符号の説明

１ デジタルカメラ
３ レリーズ釦
１４ 表示部
１４ａ 画像表示部
１４ｂ 電子ファインダ−／モニタ表示部
２０ 撮像センサ
２３ プログラムメモリ
２４ データメモリ
２５ 撮影制御部
２６ 映像信号処理部
２７ 画像メモリ
２８ 表示制御部
２９ 電子ファインダ
３０ 伸張復号部
３１ 画像＆音声メモリ媒体
３１ａ 画像／音声データ
３１ｂ 特徴記述データ
４６ ＨＤＤ記憶装置
４８ 磁気ディスク
５６ 特徴抽出／認識用データメモリ
５７ 特徴抽出／認識処理部
７０ 外部機器
７１ インターネット
７４ 外部機器
７５ 無線ＡＰ
７７ サーバー装置
７８ 無線ＬＡＮ通信部
７９ 通信インタフェース
８１ アンテナ
８２ デジタル放送チューナ
８４ デジタルＴＶ制御部
８５ データメモリ
８６ プログラムメモリ
１４１ 被写体像
１４２ 放送映像
１４３ 撮影画像／動画像
１４４ 画像／動画像
３０１ 撮影開始／終了キー

Claims (15)

1. 表示手段と、
   被写体像を撮像する撮像手段と、
   テレビ放送を受信する受信手段と、
   前記撮像手段により撮像される被写体像と、前記受信手段により受信されるテレビ放送の映像とを前記表示手段に同時表示する表示制御手段と、
   操作に応じて、前記撮像手段により撮像された画像を記憶手段に記憶する記憶制御手段と
   を備えることを特徴とする撮像装置。
2. 前記記憶制御手段は、前記撮像手段により撮像された画像と前記受信手段により受信されるテレビ放送の映像とを合成する合成手段を備え、この合成手段により合成された合成画像を記憶手段に記憶することを特徴とする請求項１記載の撮像装置。
3. 前記表示制御手段は、前記被写体像と前記テレビ放送の映像との表示形態を選択する選択手段を備え、この選択手段により選択された表示形態で前記被写体像と前記テレビ放送の映像とを前記表示手段に同時表示することを特徴とする請求項１又は２記載の撮像装置。
4. 前記被写体像を操作に応じて拡大又は縮小処理するとともに、この被写体像の拡大又は縮小処理に連動させて前記テレビ放送の映像を拡大又は縮小処理する画像処理手段を更に備えることを特徴とする請求項１、２又は３記載の撮像装置。
5. 前記受信手段は、テレビ放送の映像とともにこれに付加されている情報を受信し、
   この受信手段により受信した前記情報に基づき、当該撮像装置における撮影条件を制御する制御手段を備えることを特徴とする請求項１から４にいずれか記載の撮像装置。
6. 前記記憶手段は、前記撮像手段により撮像された画像と、前記受信手段により受信されたテレビ放送の映像とを記憶し、
   前記表示制御手段は、前記撮像手段により撮像された画像と、前記受信手段により受信されるテレビ放送の映像、前記記憶手段に記憶された前記画像又は映像のいずれかを前記表示手段に同時表示し、
   前記合成手段は、前記撮像手段により撮像された画像と、前記表示手段に同時表示されたいずれかの画像とを合成することを特徴とする請求項２記載の撮像装置。
7. 前記受信手段は、テレビ放送の映像とともにこれに付加されている著作権情報を受信し、
   前記合成手段は、前記著作権情報に基づき前記テレビ放送の映像の合成が適法か否かを判断する判断手段を備えることを特徴とする請求項２記載の撮像装置。
8. 前記合成手段は、前記判断手段が前記テレビ放送の映像合成が適法とした場合において、前記テレビ放送の映像とともに前記著作権情報をも合成することを特徴とする請求項７記載の撮像装置。
9. 表示手段と、
   被写体像を撮像する撮像手段と、
   テレビ放送を受信する受信手段と、
   前記撮像手段により撮像される被写体像の特徴を検出する特徴検出手段と、
   この特徴検出手段により検出された前記被写体像の特徴に基づき、前記受信手段により受信されるテレビ放送において、類似する特徴の映像を含むテレビ放送のチャンネルを検索する検索手段と、
   前記受信手段を制御して、前記検索手段により検索されたテレビ放送のチャンネルを受信させるとともに、この受信させた放送チャンネルの映像を前記表示手段に表示させる表示制御手段と
   を備えることを特徴とする撮像装置。
10. 前記受信手段により受信されたテレビ放送の映像を記憶した記憶手段を更に備え、
    前記検索手段は、前記特徴検出手段により検出された前記被写体像の特徴に基づき、前記記憶手段において類似する特徴を含む映像を検索し、
    前記表示制御手段は、前記記憶手段において前記検索手段により検索され映像を前記表示手段に表示させることを特徴とする請求項９記載の撮像装置。
11. 撮像された撮像画像と、受信されたテレビ放送の映像とを記憶した記憶手段と、
    前記記憶手段に記憶された撮像画像のいずれかを選択する第１の選択手段と、
    前記記憶手段に記憶されたテレビ放送の映像のいずれかを選択する第２の選択手段と、
    前記第１の選択手段により選択された撮影画像と前記第２の選択手段により選択されたテレビ放送の映像とを、同一画面上において同時再生する再生制御手段と
    を備えることを特徴とする画像再生装置。
12. 前記被写体像を操作に応じて拡大又は縮小処理するとともに、この被写体像の拡大又は縮小処理に連動させて前記テレビ放送の映像を拡大又は縮小処理する画像処理手段を更に備えることを特徴とする請求項１３記載の画像再生装置。
13. 表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段とを備える撮像装置が有するコンピュータを、
    前記撮像手段により撮像される被写体像と、前記受信手段により受信されるテレビ放送の映像とを前記表示手段に同時表示する表示制御手段と、
    操作に応じて、前記撮像手段により撮像された画像を記憶手段に記憶する記憶制御手段と
    して機能させることを特徴とする撮像制御プログラム。
14. 表示手段と、被写体像を撮像する撮像手段と、テレビ放送を受信する受信手段とを備える撮像装置が有するコンピュータを、
    前記撮像手段により撮像される被写体像の特徴を検出する特徴検出手段と、
    この特徴検出手段により検出された前記被写体像の特徴に基づき、前記受信手段により受信されるテレビ放送において、類似する特徴の映像を含むテレビ放送のチャンネルを検索する検索手段と、
    前記受信手段を制御して、前記検索手段により検索されたテレビ放送のチャンネルを受信させるとともに、この受信させた放送チャンネルの映像を前記表示手段に表示させる表示制御手段と
    して機能させることを特徴とする撮像制御プログラム。
15. 撮像された撮像画像と、受信されたテレビ放送の映像とを記憶した記憶手段とを備える画像再生装置が有するコンピュータを、
    前記記憶手段に記憶された撮像画像のいずれかを選択する第１の選択手段と、
    前記記憶手段に記憶されたテレビ放送の映像のいずれかを選択する第２の選択手段と、
    前記第１の選択手段により選択された撮影画像と前記第２の選択手段により選択されたテレビ放送の映像とを、同一画面上において同時再生する再生制御手段と
    して機能させることを特徴とする画像再生制御プログラム。

Images