JP2009071460A - 撮像装置、及び撮像制御プログラム - Google Patents

Abstract

【課題】ユーザが直ちに所望する合成画像を縦覧することのできるようにする。
【解決手段】表示部４にスルー画像を表示する（ステップＳ１０１）。また、ステップＳ１０５でファンクションキーＡの操作が検出されると、撮影モードに沿ってマスクパターンを読み出し、スルー画像に重畳表示する（ステップＳ１０６）。再度ファンクションキーＡの操作が検出されたか否かを判断し（ステップＳ１０７）、検出された時点でステップＳ１０８に進む。このステップＳ１０８においては、マスクパターンに差し替えて対応する部分画像を重畳表示する。
【選択図】図９

Description

本発明は、撮像装置、及び撮像制御プログラムに関する。

従来より撮像装置において、撮像された画像を単に表示させるだけでなく、記録した画像を再生表示する際に多様な表現を加味して、再生表示に興趣性を持たせる技術が考案されている。

例えば、特許文献１においては、撮影した画像から被写体画像を抽出し、この抽出された被写体画像の形状（ポーズ）に類似するキャラクタ画像を合成する技術が開示されている（例えば、特許文献１、第１０〜１４頁、図９〜１７参照。）。
特許第３９０１０１５号公報

しかしながら、上記技術の場合、ユーザが合成画像を縦覧して楽しむには、まず画像を記録しなくてはならず、また、どのような画像を合成するかも事前に指定しておかなくてはならないという、事前の処理が必要となる。
したがって、ユーザが撮影時に画像を縦覧して、直ちに所望する合成画像を縦覧することは不可能であった。

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザが直ちに所望する合成画像を縦覧することのできる撮像装置、及びこの撮像装置に用いる撮像制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明にあっては、撮像手段と、パターンとこのパターンの形状に対応する部分画像とを対応付けて記憶する記憶手段と、この記憶手段に記憶されているパターンを読み出し、前記撮像手段によって順次撮り込まれる画像に重畳させて表示する表示手段と、この表示手段による表示の際に、第１の制御信号の入力を検出する第１の検出手段と、この第１の検出手段によって前記第１の制御信号の入力を検出すると、前記表示手段に表示されているパターンに対応する部分画像を前記記憶手段から読み出す読出手段と、この読出手段によって読み出された部分画像を前記パターンが重畳表示されていた領域に表示させるよう前記表示手段を制御する第１の表示制御手段とを備えることを特徴とする。

また、請求項２記載の発明にあっては、前記記憶手段は、前記パターンと対応付けて検出すべき特定の画像に関連する情報を更に記憶し、前記撮像手段によって順次撮り込まれる画像に前記特定の画像が含まれているか否かを判断する判断手段と、この判断手段により前記特定の画像が含まれていると判断すると、前記記憶手段からこの特定の画像に関連する情報と対応付けて記憶されているパターンを読み出し、前記順次撮り込まれる画像に重畳させて表示するよう前記表示手段を制御する第２の表示制御手段と、を更に備えることを特徴とする。

また、請求項３記載の発明にあっては、前記検出すべき特定の画像に関連する情報とは、前記判断手段が前記撮像手段によって順次撮り込まれる画像に前記特定の画像が含まれているか否かを判断するための処理プログラムであることを特徴とする。

また、請求項４記載の発明にあっては、前記記憶手段は、前記パターンと対応付けて撮影モードを更に記憶し、予め用意された複数種の撮影モードから特定の撮影モードの選択を検出する選択検出手段と、この選択検出手段によって特定の撮影モードの選択を検出すると、この特定の撮影モードに対応するパターンを前記記憶手段から読み出して、前記撮像手段によって順次取り込まれる画像に重畳させて表示するよう制御する第３の表示制御手段とを更に備えることを特徴とする。

また、請求項５記載の発明にあっては、前記第１の表示制御手段による表示の際に、第２の制御信号の入力を検出する第２の検出手段と、この第２の検出手段によって第２の制御信号が検出されると、前記順次撮り込まれる画像を前記部分画像が重畳表示された状態で記録する第１の記録手段とを更に備えることを特徴とする。

また、請求項６記載の発明にあっては、前記第１の表示制御手段による表示の際に、第３の制御信号の入力を検出する第３の検出手段とこの第３の検出手段によって第３の制御信号の入力を検出すると、前記順次撮り込まれる画像について、前記部分画像が重畳表示された状態とそうでない状態とを記録する第２の記録手段とを更に備えることを特徴とする。

また、請求項７記載の発明にあっては、部分画像と、この部分画像が読み出されるべき条件とを対応付けさせる対応付手段と、この対応付手段によって対応付けられた条件を、前記部分画像に対応するパターンと対応付けて前記記憶手段に記憶するよう制御する記憶制御手段とを更に備えることを特徴とする。

また、請求項８記載の発明にあっては、前記撮像手段によって撮像された画像から部分画像を抽出する抽出手段を更に備えることを特徴とする。

また、請求項９記載の発明にあっては、前記第１の表示制御手段によって表示された内容を外部に送信する送信手段を更に備えることを特徴とする。

また、請求項１０記載の発明にあっては、撮像手段と、パターンとこのパターンの形状に対応する部分画像とを対応付けて記憶する記憶手段、及び表示手段を備える装置が有するコンピュータを、前記記憶手段に記憶されているパターンを読み出し、前記撮像手段によって順次撮り込まれる画像に重畳させて前記表示手段に表示させる第１の表示制御手段と、この第１の表示制御手段による前記表示の際に、第１の制御信号の入力を検出する第１の検出手段と、この第１の検出手段によって前記第１の制御信号の入力を検出すると、前記表示手段に表示されているパターンに対応する部分画像を前記記憶手段から読み出す読出手段と、この読出手段によって読み出された部分画像を前記パターンが重畳表示されていた領域に表示させるよう前記表示手段を制御する第２の表示制御手段として機能させることを特徴とする。

本発明によれば、ユーザが直ちに所望する合成画像を縦覧することが可能となる。

以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１（ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、（ｂ）は裏面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッターキー３が設けられている。このシャッターキー３は、半押し操作と全押し操作とが可能な所謂ハーフシャッター機能を備えるものである。また、背面にはＬＣＤからなる表示部４、ファンクションキーＡ５、及びファンクションキーＢ７が設けられている。ファンクションキーＢ７の周部には、左右及び上下で押下操作可能なカーソルキー６が設けられており、前記表示部４には透明のタッチパネル４１が積層されている。

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスラインを介して各部に接続された制御部１６を備えている。制御部１６は、撮像装置１の各部を制御するワンチップマイコンである。

撮像部８は、ＣＭＯＳ等のイメージセンサからなりフォーカスレンズ、ズームレンズ等で構成される前記撮像レンズ２の光軸上に配置されている。ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、前記表示部４に供給されることにより、スルー画像として表示される。

また、画像記録時において、画像処理部１０で処理された信号は、符号化／復号化処理部１１で符号化されて画像記録部１３に記録され、画像再生時において、画像記録部１３から読み出された画像データは符号化／復号化処理部１１で復号化されて表示部４に表示される。プレビューエンジン１２は、上記スルー画像の生成の他、画像記録時において画像記録部１３に記録される直前の画像を表示部４に表示させる際に必要な制御を行う。なお、キー入力部は、図１に示したシャッターキー３及び他のキー５〜７等で構成されている。

さらに、バスライン１７には、プログラムメモリ１４及びマスクパターンテーブル１５が接続されている。プログラムメモリ１４には、後述するフローチャートに示す処理を実行するプログラムとともに、図３に示す顔画像領域検出プログラム１４１、人物画像領域検出プログラム１４２、動物画像領域検出プログラム１４３、植物画像領域検出プログラム１４４、特定形状画像領域検出プログラム１４５が格納されている。顔画像領域検出プログラム１４１はスルー画像表示状態において順次撮り込まれる撮像画像の輝度信号から人間や動物の顔画像と判断できる輝度画像パターン領域を検出するプログラムである。また、人物画像領域検出プログラム１４２は、スルー画像表示状態において順次撮り込まれる撮像画像における背景との差分（動きベクトル）と差分を持つ画素領域の形状から人物画像であると判断できる画像領域を検出するプログラムである。さらに、動物画像領域検出プログラム１４３はスルー画像表示状態において順次撮り込まれる撮像画像における背景との差分（動きベクトル）と、差分を持つ画素領域の形状から動物画像であると判断できる画像領域を検出するプログラムである。更にまた、植物画像領域検出プログラム１４４はスルー画像表示状態において順次撮り込まれる撮像画像の輝度信号及び色差信号から植物全体や花部分等の画像領域を検出するプログラムである。特定形状画像領域検出プログラム１４５はスルー画像表示状態において順次撮り込まれる撮像画像の輝度信号及び色差信号から特定の形状である特定形状画像領域を検出するプログラムである。

マスクパターンテーブル１５には、図４に示すように、「順番」１〜５に対応して、「マスクパターン」、「部分画像」、「対象検出プログラム」が記憶されている。「対象検出プログラム」としては、図４に示した各画像領域検出プログラム１４１〜１４５の名称を示す「顔画像領域検出」、「人物画像領域検出」、「動物画像領域検出」、「植物画像領域検出」、「特定形状画像領域検出」が記憶されている。

つまり、このマスクパターンテーブル１５は、スルー画像上において「対象検出プログラム」により対象が検出された場合に、当該スルー画像上に表示させる「マスクパターン」と「部分画像」とが対応して記憶されている。したがって、例えば顔画像領域検出プログラムにより顔画像が検出された場合には、「顔画像領域検出」に対応する顔の形状の「マスクパターン」と、顔の「部分画像」とを読み出すことが可能である。

なお、「マスクパターン」と「部分画像」とは、必ずしも形状が一致しなくてもよく、「マスクパターン」は、他の「マスクパターン」と識別可能なものであれば、特定のアイコン、記号、数字のみからなるパターン画像であってもよい。つまり、本実施の形態では、スルー画像上における合成すべき画像領域を覆う目的で「マスクパターン」を記憶させているが、事前に合成すべき画像領域を覆うことは必須ではなく、「どのような部分画像が合成されるのか？」がユーザにとって事前に識別可能なものであればよい。また、実際にマスクパターンテーブル１５に記憶されているのは、「マスクパターン」と「部分画像」が記憶されている画像記録部１３の格納アドレスであり、「マスクパターン」と「部分画像」の各画像は、画像記録部１３の所定エリアに記憶されている。また、前記特定形状画像領域検出プログラム１４５により検出される特定形状画像領域は、本実施の形態においては図４の順番「５」に示すようにボールの形状画像領域である。

次に、第１の実施の形態に係る撮像装置１の動作について説明する。撮影モードを設定すると、制御部１６は、プログラムに従って図５のフローチャートに示すように処理を開始する。すなわち、表示部４にスルー画像を表示する（ステップＳ１）。次に、マスクパターンテーブル１５における「順番」１〜５が示す順序に従って、順次検出プログラム１４１〜１４５をロードする（ステップＳ２）。また、このとき撮像部８によって順次撮像されている撮像画像より、前記検出プログラム１４１〜１４５により検出すべき領域をサーチする（ステップＳ３）。

つまり、各検出プログラム１４１〜１４５を用い、撮像部８から画像処理部１０を介して順次出力される撮影画像において、検出すべき顔画像領域、人物画像領域、動物画像領域、植物画像領域、特定形状画像領域をサーチする。そして、このサーチした結果、顔画像領域、人物画像領域、動物画像領域、植物画像領域、特定形状画像領域のいずれかが検出されたか否かを判断する（ステップＳ４）。検出されない場合には、シャッターキー３が全押し操作が検出されたか否かを判断し（ステップＳ５）、検出されない場合には、ステップＳ３に戻る。

したがって、いずれかの領域が検出されるか、又はシャッターキー３が全押し操作されるまで、ステップＳ３→Ｓ４→Ｓ５→Ｓ３のループが繰り返される。このループが繰り返されている状態において、顔画像領域・・・特定形状画像領域のいずれかが検出されると、ステップＳ４の判断がＹＥＳとなる。したがって、ステップＳ４からステップＳ６に進み、前記ステップＳ４で検出と判断されたスルー画像の領域に検出枠を表示させる（ステップＳ６）。

次に、シャッターキー３の半押し操作が検出されたか否かを判断する（ステップＳ７）。検出されない場合には、ファンクションキーＡの操作が検出されたか否かを判断し（ステップＳ８）、ファンクションキーＡの操作も検出されない場合には、ステップＳ６に戻る。したがって、前記いずれかの領域が検出された後は、シャッターキー３の半押し操作されるか、又はファンクションキーＡが操作されるまでステップＳ６→Ｓ７→Ｓ８→Ｓ６のループが繰り返される。このループが繰り返されている状態において、ファンクションキーＡが操作されると、ステップＳ８の判断がＹＥＳとなる。したがって、ステップＳ８からステップＳ１２に進み、検出された領域は複数であるか否かを判断する。

つまり、例えば図６（ａ）に示すように、表示部４にスルー画像４０１としてライオン画像４０２が表示されているとすると、このライオンは顔を有し、かつ動物でもあるから、顔画像領域検出プログラム１４１によりライオンの顔部分である顔画像領域が検出され、かつ、動物画像領域検出プログラム１４３によりライオン全体である動物画像領域が検出されることとなる。この場合、検出した領域は複数であることから、ステップＳ１２の判断はＹＥＳとなる。したがって、ステップＳ１２からステップＳ１３に進み、マスクパターンテーブル１５の順序に従ってマスクパターンを読み出し、スルー画像における検出領域に重畳表示する（ステップＳ１３）。

このとき、マスクパターンテーブル１５において、顔画像領域検出プログラム１４１は順序「１」であり、動物画像領域検出プログラム１４３は順序「３」であるから、顔画像領域検出プログラム１４１の方が順序が早い。したがって、ステップＳ１３では、マスクパターンテーブル１５から先ず順序「１」である顔画像領域検出に対応するマスクパターンを読み出し、スルー画像における検出領域に重畳表示する。これにより、図６（ｂ）に示すように、スルー画像４０１におけるライオン画像４０２の顔部分に、顔検出領域検出に対応するマスクパターン４０３が重畳表示された状態となる。

次に、カーソルキー６の左右操作が検出されたか否かを判断する（ステップＳ１４）。カーソルキー６の左右操作が検出された場合には、カーソルキー６の操作に応じて、次のマスクパターンを読み出し、スルー画像における対象の検出領域を変更して重畳表示する。

つまり、本例においては、前述のように顔画像領域検出と動物画像領域検出とがなされたことから、次のマスクパターンは、動物画像領域検出に対応する図４に示した動物形状のマスクパターンである。また、カーソルキー６の操作に応じて、スルー画像における対象の検出領域を変更されることから、カーソルキー６を右操作することにより、検出領域をライオン画像４０２における顔部分から胴体部分に変更することができる。よって、カーソルキー６の操作により、ライオン画像４０２の顔部分はそのままで、胴体部分に動物のマスクパターンを重畳表示させることもできる。

しかる後に、ファンクションキーＡの操作が検出されたか否を判断し（ステップＳ１６）、検出されたならばステップＳ１９に進む。また、前記ステップＳ１４でカーソルキー６の左右操作が検出されなかった場合には、このステップＳ１４からステップＳ１６に進む。そして、ステップＳ１６でファンクションキーＡの操作が検出されると、ステップＳ１６からステップＳ１９に進む。

したがって、図６（ｂ）の表示状態を視認したユーザが、マスクパターン４０３の形状に関して満足であるならば、カーソルキー６を操作することなく、ファンクションキーＡを操作すれば、図６（ｂ）の表示状態を維持してステップＳ１９に進むことになる。

なお、ステップＳ１２での判断の結果、検出した領域が単一であるならば、使用した検出プログラムに沿ったマスクパターンをマスクパターンテーブル１５から読み出し、スルー画像における検出領域に重畳表示する（ステップＳ１７）。そして、ファンクションキーＡの操作が検出された時点で、ステップＳ１９に進む。

このステップＳ１９においては、マスクパターンに差し替えて対応する部分画像を重畳表示する。したがって、前述のように図６（ｂ）の表示状態でステップＳ１９に進んだ場合には、対応する部分画像は図４に示したマスクパターンテーブル１５において順番「１」である顔の部分画像である。よって、同図（ｃ）に示すように、スルー画像４０１におけるライオン画像４０２の顔部分に、顔の部分画像４０４が重畳表示された状態となる。 したがって、ユーザが直ちに所望する合成画像を縦覧することができる。

次に、タッチパネル４１の操作検出により部分画像４０４の移動指示が検出されたか否かを判断する（ステップＳ２０）。検出された場合には、各検出プログラムよる処理を止め、移動指示に応じて部分画像４０４を移動させて重畳表示する（ステップＳ２１）。

したがって、図６（ｃ）の表示状態を視認したユーザが、ライオン画像４０２における部分画像４０４の位置に不満足であれば、ライオン画像４０２における所望の位置をタッチすれば、当該タッチした位置に部分画像４０４が移動する。これにより、部分画像４０４の位置を微調整することができる。

引き続き、シャッターキー３の半押し操作が検出されたか否かを判断し（ステップＳ２２）、検出されたならば、前記ステップＳ６で表示させた検出枠（図示せず）でＡＦ、ＡＥ処理を実行する（ステップＳ２３）。更に、シャッターキー３が全押し操作が検出されたか否かを判断し（ステップＳ２４）、検出されたならば、このときファンクションキーＢも同時に操作されたか否かを判断する（ステップＳ２５）。

そして、ステップＳ２５の判断がＹＥＳであって、ユーザがシャッターキー３の全押し操作とファンクションキーＢの操作とを同時に行った場合には、撮像されている画像を符号化及びファイル化するとともに、スルー画像に表示された状態を反映させて符号化及びファイル化して、画像記録部１３に記録保存する（ステップＳ２６）。したがって、ユーザがシャッターキー３の全押し操作とファンクションキーＢの操作とを同時に行った場合には、図６（ａ）に示す画像からなる画像ファイルと、同図（ｃ）に示す画像からなる画像ファイルとが関連付けされ画像記録部１３に記録保存される。

また、ステップＳ２５の判断がＮＯであって、ユーザがファンクションキーＢの操作を行うことなく、シャッターキー３の全押し操作を行った場合には、ステップＳ２５からステップＳ２７に進む。そして、スルー画像に表示された状態を反映させて符号化及びファイル化して、画像記録部１３に記録保存する（ステップＳ２７）。したがって、ユーザがファンクションキーＢの操作を行うことなく、シャッターキー３の全押し操作を行った場合には、図６（ｃ）に示す画像からなる画像ファイルのみが画像記録部１３に記録保存される。

よって、ユーザはシャッターキー３を全押しする際のファンクションキーＢに対する操作に有無により、部分画像４０４が反映された画像及び反映されない画像を記録させることも、部分画像４０４が反映された画像のみを記録させることもできる。また、合成した画像に基づく画像ファイルと合成していない画像ファイルとを関連付けさせて記憶させるため、再生モードにおいて、例えば合成していない画像から合成した画像へ（またはその逆へ）アニメーション的な変化を加えた再生方法を提供することもできる。

他方、前述したステップＳ３→Ｓ４→Ｓ５→Ｓ３のループが繰り返されている状態において、シャッターキー３の全押し操作が検出されると、ステップＳ５からステップＳ１１に進む。また、ステップＳ６→Ｓ７→Ｓ８→Ｓ６のループが繰り返されている状態で、シャッターキー３の半押し操作が検出されると、ステップＳ７からステップＳ９にすすみ、検出枠でＡＦ、ＡＥ処理を実行する。引き続き、シャッターキー３が全押し操作されると、ステップＳ１０からステップＳ１１に進む。

そして、ステップＳ５又はステップＳ１０から進むステップＳ１１では、スルー画像に表示された状態を反映させて、符号化及びファイル化して、画像記録部１３に記録保存する。このとき、ステップＳ３→Ｓ４→Ｓ５→Ｓ３のループが繰り返されている状態、及びステップＳ６→Ｓ７→Ｓ８→Ｓ６のループが繰り返されている状態では、前述したステップＳ１２以降の処理は実行されていないことから、表示部４のスルー画像４０１上には、マスクパターン４０３や部分画像４０４は重畳表示されておらず、スルー画像４０１のみの状態となっている。

したがって、ファンクションキーＡを操作することなく、シャッターキー３のみを操作することにより、通常の静止画撮影を行うことができる。また、検出枠は単一の検出方法（例えば顔画像）だけでなく、複数種の検出方法によって検出された画像領域に表示されるので、被写体像（撮像画像、画角）に左右されることなく、検出枠を表示でき、結果としてＡＦ、ＡＥ処理の遅れを防止することもできる。

（第２の実施の形態）
図７は、本発明の第２の実施の形態において、プログラムメモリ１４に記憶されている撮影条件設定テーブル１４６の構成を示す図である。この撮影条件設定テーブル１４６には、「人物と風景」、「ポートレート」・・・等の撮影シーンに対応する複数の撮影モード１４７に対応して、撮影パラメータ１４８が記憶されている。この撮影パラメータ１４８は、「フォーカス」、「シャッター速度」、「絞り」・・・等の、ユーザにより選択された撮影モード１４７において撮像装置１に自動設定されるパラメータである。

図８は、本実施の形態におけるマスクパターンテーブル１５の構成を示す図である。このマスクパターンテーブル１５には、「順番」１〜５に対応して、「マスクパターン」、「部分画像」、「撮影モード」が記憶されている。「撮影モード」としては、図７に示した撮影モード１４７の名称を示す「ポートレート」「子供」・・・が記憶されている。つまり、このマスクパターンテーブル１５は、ユーザにより前記撮影条件設定テーブル１４６からいずれかの撮影モード１４７が選択された場合において、スルー画像上に表示させる「マスクパターン」と「部分画像」とが対応して記憶されている。したがって、撮影条件設定テーブル１４６から撮影モード１４７として、「ポートレート」、「子供」、「ペット」のいずれかが選択された場合には、対応する顔の形状の「マスクパターン」と、顔の「部分画像」とを読み出すことが可能である。

なお、第１の実施の形態と同様に、「マスクパターン」と「部分画像」とは、必ずしも形状が一致しなくてもよい。また、実際にマスクパターンテーブル１５に記憶されているのは、「マスクパターン」と「部分画像」が記憶されている画像記録部１３の格納アドレスであり、「マスクパターン」と「部分画像」の各画像は、画像記録部１３の所定エリアに記憶されている。
また、本実施の形態においては、第１の実施の形態とは異なり、一対の「マスクパターン」及び「部分画像」に対して複数種の撮影モードが対応して記憶されている。

次に、第２の実施の形態における撮像装置１の動作について説明する。撮影モードを設定すると、制御部１６は、プログラムに従って図９のフローチャートに示すように処理を開始する。すなわち、表示部４にスルー画像を表示する（ステップＳ１０１）。次に、撮影条件設定テーブル１４６に記憶されているいずれかの撮影モードの設定操作が検出されたか否かを判断する（ステップＳ１０２）。検出されない場合には、シャッターキー３が半押し操作が検出されたか否かを判断し（ステップＳ１０３）、検出されない場合には、ステップＳ１０１に戻る。

したがって、いずれかの撮影モードが設定されるか、又はシャッターキー３が半押し操作されるまで、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０１のループが繰り返される。このループが繰り返されている状態において、撮影モード設定操作が検出されると、ステップＳ１０２の判断がＹＥＳとなる。したがって、ステップＳ１０２からステップＳ１０４に進み、設定された撮影モードに対応する撮影パラメータを撮影条件設定テーブル１４６から読み出して、各撮影パラメータを設定する（ステップＳ１０４）。

次に、ファンクションキーＡの操作が検出されたか否かを判断し（ステップＳ１０５）、検出されない場合には、前記ステップＳ１０３に戻る。したがって、この場合には、前述と同様に、いずれかの撮影モードが設定されるか、又はシャッターキー３が半押し操作されるまで、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０１のループが繰り返される状態に移行する。

しかし、ステップＳ１０５でファンクションキーＡの操作が検出された場合には、ステップＳ１０５からステップＳ１０６に進み、設定された撮影モードに沿って、マスクパターンを読み出し、スルー画像に重畳表示する（ステップＳ１０６）。したがって、例えば撮影モード「ペット」が設定されて、ファンクションキーＡが操作されると、図８のマスクパターンテーブル１５の順番「１」に記憶されたマスクパターンが読み出されて、スルー画像に重畳表示される。このとき、前述した第１の実施の形態とは異なり、本実施の形態においては顔画像領域検出等の領域検出は行っていないので、マスクパターンはスルー画像の中央部等の所定の領域、あるいは任意の領域に重畳表示させる。

次に、再度ファンクションキーＡの操作が検出されたか否かを判断し（ステップＳ１０７）、検出された時点でステップＳ１０８に進む。このステップＳ１０８においては、マスクパターンに差し替えて対応する部分画像を重畳表示する。したがって、ユーザが直ちに所望する合成画像を縦覧することが可能となる。このとき、前述のように本実施の形態においては、マスクパターンはスルー画像の中央部等の所定の領域、あるいは任意の領域に重畳表示されているので、部分画像の表示位置とスルー画像との関係は無視されている。

そこで、タッチパネル４１の操作検出により部分画像の移動指示が検出されたか否かを判断する（ステップＳ１０９）。検出された場合には、移動指示に応じて部分画像を移動させて重畳表示する（ステップＳ１１０）。これにより、スルー画像上においてユーザが所望する領域に部分画像を移動して重畳表示させることができ、図６（ｃ）に示したように、ライオン画像４０２における顔部分に部分画像４０４を重畳表示させる等、適切な位置に部分画像４０４を移動することができる。

なお、本実施の形態においては、部分画像を表示した後、タッチパネル４１の操作に応じて、当該部分画像を移動できるようにしたが、ステップＳ１０６でマスクパターンを表示した時点から、マスクパターン及びその後表示される部分画像を移動できるようにしてもよい。

引き続き、シャッターキー３の半押し操作が検出されたか否かを判断し（ステップＳ１１１）、検出されたならば、ＡＦ、ＡＥ処理を実行する（ステップＳ１１２）。更に、シャッターキー３が全押し操作が検出されたか否かを判断し（ステップＳ１１３）、検出されたならば、このときファンクションキーＢも同時に操作されたか否かを判断する（ステップＳ１１４）。

そして、ステップＳ１１４の判断がＹＥＳであって、ユーザがシャッターキー３の全押し操作とファンクションキーＢの操作とを同時に行った場合には、撮像されている画像を符号化及びファイル化するとともに、スルー画像に表示された状態を反映させて符号化及びファイル化して、関連付けて画像記録部１３に記録保存する（ステップＳ１１５）。したがって、ユーザがシャッターキー３の全押し操作とファンクションキーＢの操作とを同時に行った場合には、図６（ａ）に示す画像からなる画像ファイルと、同図（ｃ）に示す画像からなる画像ファイルとを画像記録部１３に記録保存される。

また、ステップＳ１１４の判断がＮＯであって、ユーザがファンクションキーＢの操作を行うことなく、シャッターキー３の全押し操作を行った場合には、ステップＳ１１４からステップＳ１１６に進む。そして、スルー画像に表示された状態を反映させて符号化及びファイル化して、画像記録部１３に記録保存する。したがって、ユーザがファンクションキーＢの操作を行うことなく、シャッターキー３の全押し操作を行った場合には、図６（ｃ）に示す画像からなる画像ファイルが画像記録部１３に記録保存される。

よって、ユーザはシャッターキー３を全押しする際のファンクションキーＢに対する操作に有無により、部分画像４０４が反映された画像及び反映されない画像を記録させることも、部分画像４０４が反映された画像のみを記録させることもできる。また、合成した画像に基づく画像ファイルと合成していない画像ファイルとを関連付けさせて記憶させるため、再生モードにおいて、例えば合成していない画像から合成した画像へ（またはその逆へ）アニメーション的な変化を加えた再生方法を提供することもできる。さらに、本実施の形態においては、撮影モードと対応付けて部分画像が合成されるので、再生時、或いは印刷時において、どの撮影モードで撮影されたものかがユーザにとって分かり易く出力することができる。

他方、前記ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０１のループが繰り返されている状態において、シャッターキー３の半押し操作が検出されると、ステップＳ１０３からステップＳ１１７に進み、ＡＦ、ＡＥ処理を実行する。引き続き、シャッターキー３が全押し操作されると、ステップＳ１１１８からステップＳ１１９に進む。そして、ステップＳ１１９では、スルー画像に表示された状態を反映させて、符号化及びファイル化して、画像記録部１３に記録保存する。このとき、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０１のループが繰り返されている状態では、前述したステップＳ１０５以降の処理は実行されていないことから、表示部４のスルー画像４０１上には、マスクパターンや部分画像は重畳表示されておらず、スルー画像のみの状態となっている。

したがって、ファンクションキーＡを操作することなく、シャッターキー３のみを操作することにより、ユーザが選択した撮影モードに応じて設定された撮影パラメータで静止画撮影を行うことができる。

（第３の実施の形態）
図１０は、本発明の第３の実施の形態における再生モードでの処理手順を示すフローチャートである。なお、本実施の形態における撮影モードでの処理は、前述の図５に示すフローチャート（第１の実施の形態）、又は図９に示すフローチャート（第２の実施の形態）に従って行われるものとする。

再生モードを設定すると、制御部１６は、プログラムに従ってこのフローチャートに示すように処理を開始する。すなわち、画像記録部１３から画像ファイルを読み出して、複数のファイル名を表示部４に表示する（ステップＳ２０１）。また、この表示した複数のファイル名からの選択操作に応じて、選択されたファイル名の画像ファイルを表示部４に表示する（ステップＳ２０２）。

次に、タッチパネル４１のタッチ操作を検出することにより、前記表示部４に表示された画像において、特定の範囲が指示されたか否かを検出する（ステップＳ２０３）。特定の範囲が指示されない場合には、キャンセル操作が検出されたか否かを判断し（ステップＳ２０４）、検出されない場合には、ステップＳ２０３に戻る。したがって、特定の範囲が指示されるか、又はキャンセル操作が検出されるまで、ステップＳ２０２→Ｓ２０３→Ｓ２０４→Ｓ２０２のループが繰り返される。このループが繰り返されている状態において、キャンセル操作が検出されるとエンドに進み処理を終了する。

また、タッチパネル４１のタッチ操作が検出され、表示部４に表示された画像において特定の範囲が指示された場合には、当該特定の範囲を強調表示する（ステップＳ２０５）。この強調表示は、特定の範囲の顕著性を他の部分よりも向上させて強調表示してもよいし、逆に他の部分の顕著性を低下させることにより、特定の範囲を強調表示してもよい。

引き続き、ファンクションキーＡの操作が検出されたか否かを判断する（ステップＳ２０６）。この操作が検出されたならば、前記特定の範囲に対応するマスクパターンを生成するとともに、この特定の範囲内の画像である部分画像を切り出して、前記マスクパターンと共に表示部４に表示する（ステップＳ２０７）。したがって、このステップＳ２０７での処理により、図１１（ａ）の第１の実施の形態に対応する表示例、及び同図（ｂ）の第２の実施の形態に対応する表示例に示すように、表示部４にはマスクパターン４０５と部分画像４０６とが表示されることとなる。

次に、マスクパターンの読み出し条件の設定メニューを表示する（ステップＳ２０８）。ここで、第１の実施の形態において、マスクパターンの読み出し条件は顔画像領域、人物画像領域、動物画像領域、植物画像領域、特定形状画像領域のいずれかの検出であるから、図１１（ａ）に示すように、これらを示す「顔」「人物」・・・等の領域選択ボタンと、「登録」ボタンとを有する設定メニュー４０７を表示する。また、第２の実施の形態において、マスクパターンの読み出し条件は、「人物と風景」、「ポートレート」・・・等の撮影シーンに対応する複数の撮影モードからの選択であることから、図１１（ｂ）に示すように、これらを示す「人物と風景」「ポートレート」・・・等の撮影モード選択ボタンと、「登録」ボタンとを有する設定メニュー４０８を表示する。

引き続き、選択及び決定操作が検出されたか否かを判断する（ステップＳ２０９）。この判断は、図１１（ａ）の表示例（第１の実施の形態）の場合には、「顔」「人物」・・・等のいずれかの領域選択ボタンがタッチされて、「登録」ボタンがタッチされたか否かにより行う。また、図１１（ｂ）の表示例（第２の実施の形態）の場合には、「人物と風景」「ポートレート」・・・等のいずれかの撮影モード選択ボタンがタッチされて、「登録」ボタンがタッチされたか否かにより行う。但し、第２の実施の形態の場合、複数の撮影モード選択ボタンをタッチした後、「登録」ボタンがタッチすることにより、マスクパターン及び部分画像に対応付けて複数の撮影モードを選択することが可能である。

そして、以上の手順による設定メニュー４０７、４０８へのタッチがタッチパネル４１により検出されると、特定の範囲の画像である前記部分画像とマスクパターンとを画像記録部１３に格納する（ステップＳ２１０）。また、この画像記録部１３に記録した部分画像とマスクパターンの格納アドレスをマスクパターンテーブル１５に登録する。つまり、前述のように、マスクパターンテーブル１５には、「マスクパターン」と「部分画像」が記憶されている画像記録部１３の格納アドレスを記憶し、「マスクパターン」と「部分画像」の各画像は、画像記録部１３の所定エリアに格納する。

したがって、本実施の形態によれば、ユーザが任意の形状のマスクパターンと任意の画像からなる部分画像とを読み出し条件に対応させて、マスクパターンテーブル１５に記憶させることができる。よって、例えば図６（ｃ）に示したライオン画像４０２における部分画像４０４を友人や自己の顔画像とすることができ、これにより撮像装置１に興趣性を付与することができる。

（変形例）
図１２は、本発明の実施の形態における変形例を示すブロック図であり、本発明を携帯電話端末１００に適用したものである。この携帯電話端末１００は、カメラ部１０１と通信部１０２とで構成されている。カメラ部１０１の構成は、図１に示した撮像装置１と同様であるので、同一符号を付して説明を省略する。

通信部１０２には、送受信部１０３、通信処理部１０４、ＵＩＭカード１０５、音声復号符号処理部１０６が接続されている。

送受信部１０３は、例えば、ＣＤＭＡ方式、ＴＤＭＡ方式等、通信サービス事業者が定めた信号変復調方式で、前記無線基地局との間でデジタル信号が重畳された電波を送受信するアンテナ１０７を有する。このアンテナ１０７で受信されたデジタル信号は、送受信共用器１０８を介して低雑音増幅器１０９に与えられ、シンセサイザー１１０から信号を与えられて動作する復調部１１１により復調され、等化器１１２により等化処理されてチャンネル符号／復号処理を行う通信処理部１０４に与えられる。また、通信処理部１０４で符号化されたデジタル信号は、シンセサイザー１１０から信号を与えられて動作する変調部１１３により変調されて、電力増幅部１１４により増幅され、送受信共用器１０８を介してアンテナ１０７から放射される。

なお、プログラムメモリ１４は、アプリケーション・ソフトウェア、上位レイヤプロトコル、ドライバソフトウェアを格納しているエリアを有し、制御部１６は、このプログラムメモリ１４に格納されている各種プログラムに基づき、通信部１０２を制御する。そして、制御部１６の制御下で表示部４を駆動することにより、表示部４に各種情報やメールを構成する文字を表示したり、表示したメールや画像を送信したり、通信サービス事業者を介してＷＷＷに接続することにより、インターネットサイトをブラウズ（閲覧）することも可能である。したがって、図６（ｃ）に例示した画像が表示部４に表示されている状態において、この表示された画像を外部に送信することにより、外部の者にも興趣性を付与することができる。

ＵＩＭカード１０５は、当該携帯電話端末１００の端末ＩＤ等の加入者情報を記憶している。音声復号符号処理部１０６は、音声コーデックであって、バイブレータモータ１１５、スピーカ１１６、マイク１１７が接続されている。バイブレータモータ１１５は、スピーカ１１６がオフ状態にある場合において音声復号符号処理部１０６により復号された呼出音に同期して回転して振動を発生するものである。スピーカ１１６は音声復号符号処理部１０６が復号した呼出音及び受話音声を再生し、マイクは入力音声を検出して音声復号符号処理部１０６に入力し、この入力音声信号は音声復号符号処理部１０６により符号化される。

以上のように、本発明は撮像装置に限らず、撮像機能を備えた携帯電話端末１００にも適用できるとともに、カメラ付きパーソナルコンピュータ、等に適用することも容易に可能であり、要は撮像が可能な装置であればいずれにも適用することができる。

（ａ）は本発明の一実施の形態に係る撮像装置の正面図、（ｂ）は裏面図である。 同撮像装置のブロック図である。 本発明の第１の実施の形態におけるプログラムメモリの構成を示す概念図である。 同実施の形態におけるマスクパターンテーブルの構成を示す概念図である。 同実施の形態における処理手順を示すフローチャートである。 同実施の形態の表示遷移図である。 本発明の第２の実施の形態において用いる撮影条件設定テーブルの構成を示す概念図である。 同実施の形態におけるマスクパターンテーブルの構成を示す概念図である。 同実施の形態における処理手順を示すフローチャートである。 本発明の第３の実施の形態における処理手順を示すフローチャートである。 同実施の形態の画面表示例を示す図である。 本発明の実施の形態における変形例を示すブロック図である。

符号の説明

１ 撮像装置
３ シャッターキー
４ 表示部
５ ファンクションキーＡ
６ カーソルキー
７ ファンクションキーＢ
８ 撮像部
９ ユニット回路
１０ 画像処理部
１１ 符号化／復号化処理部
１２ プレビューエンジン
１３ 画像記録部
１４ プログラムメモリ
１５ マスクパターンテーブル
１６ 制御部
４１ タッチパネル
１４１ 顔画像領域検出プログラム
１４２ 人物画像領域検出プログラム
１４３ 動物画像領域検出プログラム
１４４ 植物画像領域検出プログラム
１４５ 特定形状画像領域検出プログラム
１４６ 撮影条件設定テーブル
１４７ 撮影モード
１４８ 撮影パラメータ
４０１ スルー画像
４０２ ライオン画像
４０３ マスクパターン
４０４ 部分画像
４０５ マスクパターン
４０６ 部分画像
４０７ 設定メニュー
４０８ 設定メニュー

Claims (10)

1. 撮像手段と、
   パターンとこのパターンの形状に対応する部分画像とを対応付けて記憶する記憶手段と、
   この記憶手段に記憶されているパターンを読み出し、前記撮像手段によって順次撮り込まれる画像に重畳させて表示する表示手段と、
   この表示手段による表示の際に、第１の制御信号の入力を検出する第１の検出手段と、
   この第１の検出手段によって前記第１の制御信号の入力を検出すると、前記表示手段に表示されているパターンに対応する部分画像を前記記憶手段から読み出す読出手段と、
   この読出手段によって読み出された部分画像を前記パターンが重畳表示されていた領域に表示させるよう前記表示手段を制御する第１の表示制御手段と
   を備えることを特徴とする撮像装置。
2. 前記記憶手段は、前記パターンと対応付けて検出すべき特定の画像に関連する情報を更に記憶し、
   前記撮像手段によって順次撮り込まれる画像に前記特定の画像が含まれているか否かを判断する判断手段と、
   この判断手段により前記特定の画像が含まれていると判断すると、前記記憶手段からこの特定の画像に関連する情報と対応付けて記憶されているパターンを読み出し、前記順次撮り込まれる画像に重畳させて表示するよう前記表示手段を制御する第２の表示制御手段と、
   を更に備えることを特徴とする請求項１記載の撮像装置。
3. 前記検出すべき特定の画像に関連する情報とは、前記判断手段が前記撮像手段によって順次撮り込まれる画像に前記特定の画像が含まれているか否かを判断するための処理プログラムであることを特徴とする請求項２記載の撮像装置。
4. 前記記憶手段は、前記パターンと対応付けて撮影モードを更に記憶し、
   予め用意された複数種の撮影モードから特定の撮影モードの選択を検出する選択検出手段と、
   この選択検出手段によって特定の撮影モードの選択を検出すると、この特定の撮影モードに対応するパターンを前記記憶手段から読み出して、前記撮像手段によって順次取り込まれる画像に重畳させて表示するよう制御する第３の表示制御手段と
   を更に備えることを特徴とする請求項１記載の撮像装置。
5. 前記第１の表示制御手段による表示の際に、第２の制御信号の入力を検出する第２の検出手段と、
   この第２の検出手段によって第２の制御信号が検出されると、前記順次撮り込まれる画像を前記部分画像が重畳表示された状態で記録する第１の記録手段と
   を更に備えることを特徴とする請求項１から４にいずれか記載の撮像装置。
6. 前記第１の表示制御手段による表示の際に、第３の制御信号の入力を検出する第３の検出手段と
   この第３の検出手段によって第３の制御信号の入力を検出すると、前記順次撮り込まれる画像について、前記部分画像が重畳表示された状態とそうでない状態とを記録する第２の記録手段と
   を更に備えることを特徴とする請求項１から４にいずれか記載の撮像装置。
7. 部分画像と、この部分画像が読み出されるべき条件とを対応付けさせる対応付手段と、
   この対応付手段によって対応付けられた条件を、前記部分画像に対応するパターンと対応付けて前記記憶手段に記憶するよう制御する記憶制御手段と
   を更に備えることを特徴とする請求項１から６にいずれか記載の撮像装置。
8. 前記撮像手段によって撮像された画像から部分画像を抽出する抽出手段を更に備えることを特徴とする請求項７記載の撮像装置。
9. 前記第１の表示制御手段によって表示された内容を外部に送信する送信手段を更に備えることを特徴とする請求項１から８にいずれか記載の撮像装置。
10. 撮像手段と、パターンとこのパターンの形状に対応する部分画像とを対応付けて記憶する記憶手段、及び表示手段を備える装置が有するコンピュータを、
    前記記憶手段に記憶されているパターンを読み出し、前記撮像手段によって順次撮り込まれる画像に重畳させて前記表示手段に表示させる第１の表示制御手段と、
    この第１の表示制御手段による前記表示の際に、第１の制御信号の入力を検出する第１の検出手段と、
    この第１の検出手段によって前記第１の制御信号の入力を検出すると、前記表示手段に表示されているパターンに対応する部分画像を前記記憶手段から読み出す読出手段と、
    この読出手段によって読み出された部分画像を前記パターンが重畳表示されていた領域に表示させるよう前記表示手段を制御する第２の表示制御手段と
    して機能させることを特徴とする撮像制御プログラム。

Images