JP2004180181A

JP2004180181A - Image pickup unit

Info

Publication number: JP2004180181A
Application number: JP2002346693A
Authority: JP
Inventors: Takehisa Yamaguchi; 武久山口; Shinichi Ban; 慎一伴; Noriyuki Nobuyuki; 宣之沖須; Rieko Izume; 理恵子井爪; Tsutomu Honda; 努本田
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-11-29
Filing date: 2002-11-29
Publication date: 2004-06-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup unit which records an annotation together with a photographed image, makes it easy to recognize which part of the image the annotation is related to and can input the annotation without any complicatedness. <P>SOLUTION: A digital camera is provided with an automatic focusing control function for adjusting the focal point of a photographic lens (11) so as to make light from a photographing object form an image in a part of an area of an imaging device (12), and an area photographed in the reference area of the image pickup element to be used to determine an image forming state in a photographed image is defined as an annotation area to which an annotation is attached. The photographed image is associated with information showing the position and size of the annotation area and with an annotation inputted through a microphone (41) as voice to be recorded on a memory card (61). In reproducing the recorded image, the image is displayed on a display part (20), an image representing the annotation area is displayed while overlapping the image, and the annotation is outputted from a speaker (42) as voice. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を撮影するとともに、注釈を入力されて、撮影した画像と共に注釈を記録する撮像装置に関する。
【０００２】
【従来の技術】
撮影した画像に関する使用者の注釈を入力されて、入力された注釈を撮影した画像と共に記録するデジタルカメラが提案されている。例えば、特開２０００−１８４２５８号公報には、音声によって注釈を入力するようにしたデジタルカメラが開示されている。
【０００３】
撮影した画像と共に注釈を記録すると、後に画像を鑑賞する際に、注釈によって撮影時の印象等を思い出すことができて、使用者にとって便利である。また、注釈を画像と共に他の人（のカメラやパーソナルコンピュータ）に提供することで、画像のみを提供する場合よりも詳しい情報の伝達が可能になり、情報伝達というカメラの本質的な機能が一層強化される。
【０００４】
【特許文献１】特開２０００−１８４２５８号公報
【０００５】
【発明が解決しようとする課題】
ところが、従来のデジタルカメラでは、画像全体に対して注釈を入力するようにしており、画像の特定の部位についての注釈を入力しても、他の人や後に画像を鑑賞する使用者自身にとって、どの部位についての注釈であるかが判り難い。注釈の中に部位を特定する表現（例えば「右上の・・・」等）を含めれば、この不都合は避けられるが、そのようにすると注釈の入力が煩雑になる。また、画像の中の注釈を付したい部位のみを別途撮影することでも上記の不都合を避けることはできるが、そのようにすると複数の画像を撮影しなければならなくなって、やはり煩雑さが伴う。しかも、撮影レンズの焦点距離等の制約によって、注釈を付したい部位のみを撮影することが不可能なことも多い。
【０００６】
本発明はこのような問題点に鑑みてなされたもので、画像の中のどの部位についての注釈であるかが判り易く、しかも、煩雑さを伴うことなく注釈を入力することが可能な撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明では、撮影した画像に関する注釈を入力され、入力された注釈を撮影した画像と共に記録する撮像装置において、撮影対象からの光を受けて画像を撮影する撮像素子と、撮影対象からの光を撮像素子に導く撮影光学系と、撮像素子の一部の領域を基準領域として、撮影対象からの光が基準領域に結像するように撮影光学系の焦点を調節する調節手段と、画像を表示する表示手段と、画像を記録媒体に記録する記録手段と、注釈の入力を受け付ける入力手段と、撮影した画像のうち基準領域で撮影された領域を注釈領域として、注釈領域を表す画像を生成する生成手段とを備えて、撮像素子が画像を撮影したときに、表示手段が撮影した画像と注釈領域を表す画像を重ねて表示し、入力手段が注釈の入力を受け付け、記録手段が撮影した画像と注釈領域を示す情報と入力された注釈とを対応づけて記録媒体に記録するようにする。
【０００８】
この撮像装置は、調節手段を備えており、撮影対象に対して撮影光学系の焦点を自動的に合わせる自動焦点調節（ＡＦ）の機能を有する。ただし、撮影対象までの距離は部位によって異なるため、自動焦点調節は、撮像素子のうちの一部の領域である基準領域で撮影される部位に対して行う。この撮像装置はまた、使用者から注釈を入力されて、注釈を撮影した画像の一部の領域に対応づけて記録する。注釈を対応づける注釈領域は自動焦点調節に用いる基準領域で撮影された領域である。使用者は撮影対象のうち特に関心をもっている部位を注視し、その部位を基準領域に合わせて鮮明に撮影しようとするから、注釈は撮影対象のうち使用者が特に関心をもっている部位に対して付されることになる。
【０００９】
記録する注釈領域を示す情報には位置や大きさを含めておく。記録媒体から画像を読み出して表示するときに、注釈領域を示す情報も読み出してその像を表示することにより、注釈が画像のどの部位に対するものかを確実に知ることができる。また、撮影された画像の中で注釈領域が最も鮮明になるから、注釈領域の像を表示しなくても、鮮明さによって注釈領域は判り、したがって、注釈がどの部位に対するものであるかが判る。なお、注釈の入力は音声によって行うようにしてもよいし、キー操作等の他の方法で行うようにしてもよい。
【００１０】
上記の撮像装置は、表示手段が注釈領域を表示しているときに、使用者からの指示に応じて注釈領域を変更する変更手段を備える構成とすることができる。この構成では、注釈を付す部位を使用者が任意に定めることができて、使い易さが向上する。
【００１１】
使用者からの指示に応じて基準領域を設定する設定手段を備える構成とすることもできる。この構成では、自動焦点調節に用いる基準領域を変えることができるため、撮影に際して構図の制約が少なくなる。しかも、注釈領域は基準領域に連動して変わるため、注釈を付す部位を使用者が定めることができるようになる。基準領域を複数設定することも可能であり、これにより、撮影対象の中に使用者が特に関心をもつ部位が複数存在するときに、それらの部位全てを鮮明に撮影することができる。また、それらの部位それぞれに対して注釈を付すこともできる。
【００１２】
撮影対象からの光が基準領域に結像したときに調節手段に撮影光学系の焦点の調節を停止させる停止手段と、撮像素子と撮影対象との相対位置の変化を検出して、変化前に基準領域に対応していた撮影対象の部位に対応する変化後の撮像素子の領域を合焦領域として検出する検出手段とを備えて、停止手段が調節手段に撮影光学系の焦点の調節を停止させた状態で撮像素子が画像を撮影したときに、検出手段が合焦領域を検出し、生成手段が、基準領域で撮影された領域を注釈領域とすることに代えて、合焦領域で撮影された領域を注釈領域とするようにしてもよい。
【００１３】
この構成では、撮影対象からの光が一旦基準領域に結像した後は、自動焦点調節を止めてその結像状態を維持する、いわゆる合焦ロックの機能を有することになる。撮影対象からの光が基準領域に結像した後に使用者が装置の向きを変えて構図を変化させると、撮影対象のうち基準領域に対応していた部位、つまり合焦していた部位は、もはや基準領域には対応しなくなる。このとき、基準領域に対応していた撮影対象の部位に対応する撮像素子の領域を検出し、この合焦領域を注釈領域とすることで、注釈は使用者が特に関心をもっている部位に対して付されることになる。
【００１４】
さらに、画像の部位の指定を受け付ける指定手段を備えて、使用者からの指示に応じて、記録手段が記録媒体から画像を読み出し、表示手段が読み出した画像を表示し、指定手段が画像の部位の指定を受け付け、生成手段が指定された画像の部位に対応する撮像素子の領域を注釈領域として注釈領域を表す画像を生成し、表示手段が読み出した画像に重ねて注釈領域を表す画像を表示し、入力手段が注釈の入力を受け付け、記録手段が注釈領域を示す情報と入力された注釈とを読み出した画像に対応づけて記録媒体に記録するようにしてもよい。このようにすると、使用者は、撮影をしないときに、記録されている画像を表示させ、その中の所望の部位を指定してその部位に対して注釈を付すことができるようになる。
【００１５】
【発明の実施の形態】
以下、本発明の撮像装置の一実施形態のデジタルカメラについて、図面を参照しながら説明する。本実施形態のデジタルカメラ１の外観を図１に模式的に示す。図１において（ａ）は一部を透視して表した正面図、（ｂ）は背面図である。デジタルカメラ１は、前面に撮影レンズ１１、内部にＣＣＤエリアセンサから成る撮像素子１２を備えており、撮影対象からの光を撮影レンズ１１によって撮像素子１２に導いて撮像素子１２上に結像させ、撮像素子１２で光電変換を行うことによって画像を撮影する。前面にはフラッシュ光を発するフラッシュ部１３が設けられており、環境が暗いときには、フラッシュ部１３よりフラッシュ光を発して撮影対象を照明する。
【００１６】
画像の撮影は略一定の周期（例えば１／３０秒）で繰り返し行う。撮影した画像は、後述するファインダに順次表示され、また、使用者からの指示に応じて着脱可能な記憶媒体であるメモリカードに記録される。
【００１７】
デジタルカメラ１は、撮影対象に対して撮影レンズ１１の焦点を自動的に合わせる自動焦点調節（ＡＦ）機能を有している。自動焦点調節は、撮像素子１２の出力信号からコントラストを検出しながら、コントラストが高くなる方向に撮影レンズ１１の焦点を移動させるサーボ方式によって行う。コントラストの検出には撮像素子１２の一部の領域からの出力信号を用いる。以下、自動焦点調節に用いる撮像素子１２のこの領域を基準領域という。基準領域は撮像素子１２の中央に所定の大きさで設定されているが、基準領域の位置と大きさは変更可能である。なお、環境が暗く自動焦点調節ができないときに撮影対象に向けて補助光を発するための補助光部１４が設けられている。
【００１８】
デジタルカメラ１は、また、撮影対象の明るさに応じて撮像素子の露光量を自動的に調節する自動露光制御（ＡＥ）機能を有している。自動露光制御は、撮像素子１２の光電変換時間、つまりシャッター速度を調節することで行う。自動露光制御も自動焦点調節のための基準領域からの出力信号に基づいて行うが、使用者が指定する領域の出力信号に基づいて行うように変更することもできる。
【００１９】
背面には、電子ビューファインダ（ＥＶＦ）１５、表示部２０、メインスイッチ３１、および複数の操作キー３５、３６が設けられている。電子ビューファインダ１５は、液晶表示装置より成り、繰り返し撮影される最新の画像をライブビューとして表示する。使用者は、ファインダ１５に表示されるライブビューを観察しながら、構図を決定することができる。表示部２０は、大型の液晶表示装置より成り、画像を表示し、また種々の情報を表示する。
【００２０】
メインスイッチ３１はスライド式であり、各部への電力供給と動作モードの切り替えの指示に用いられる。メインスイッチ３１が「ＯＦＦ」と記された位置に設定されているとき、電力供給はなされず、デジタルカメラ１は動作をしない状態となる。メインスイッチ３１が「ＲＥＣ」と記された位置に設定されているとき、デジタルカメラ１は画像を撮影する撮影モードとなり、その間に撮影した画像をメモリカードに記録することができる。メインスイッチ３１が「ＰＬＡＹ」と記された位置に設定されているとき、デジタルカメラ１はメモリカードに記録されている画像を読み出して表示する再生モードとなる。再生モードにおける画像の表示は、表示部２０によって行われる。また、記録する画像も表示部２０に表示される。
【００２１】
操作キー３５、３６は、後述の注釈に関する指示を与えるために操作される。操作キー３５には各キーの機能を表す「確定」等の記号が付されており、４つの操作キー３６にはそれぞれ上下左右の方向を示す三角形の記号が付されている。以下、操作キー３５を、付されている記号で表して、例えば確定キーとよび、操作キー３６を、付されている記号の方向で表して、例えば右方向キーとよぶ。
【００２２】
上面には、レリーズボタン３２、操作ダイアル３３、およびアノテーションボタン３４が設けられている。レリーズボタン３２は２段階のストロークで動作し、半押しで撮影と自動焦点調節の開始を指示するＳ１信号を生成し、全押しで画像の記録を指示するＳ２信号を生成する。操作ダイアル３３は、自動焦点調節および自動露光制御に関する指示、例えば基準領域の変更の指示のために操作される。
【００２３】
デジタルカメラ１は、撮影モードにおいて、撮影した画像に注釈を付して記録する機能と、再生モードにおいて、再生表示する画像にさらに注釈を付したり注釈を編集したりする機能を有しており、アノテーションボタン３４は、これらの機能を実行するアノテーションモードへの移行の指示のために操作される。撮影モードで注釈を付すモードを撮影アノテーションモードといい、再生モードで画像に注釈を付したり注釈を編集したりするモードを再生アノテーションモードという。再生モードにおいては、画像だけでなく注釈も再生することが可能である。
【００２４】
注釈の入力と再生は音声によって行う。音声入力のために、デジタルカメラ１の上面にはマイクロフォン４１が設けられており、音声出力のために背面にはスピーカ４２が設けられている。
【００２５】
デジタルカメラ１の回路構成を図２に模式的に示す。デジタルカメラ１は上述の各部に加えて、画像処理部５０、記録部６０、制御部７０および圧電ジャイロ８１を備える。なお、操作部３０は、メインスイッチ３１、レリーズボタン３２、操作キー３５、３６等、使用者によって操作される構成要素の総称である。画像処理部５０は、撮像素子１２の出力信号にデジタル化、ホワイトバランス調整、γ補正等の諸処理を施して、撮影した画像を表す画像データを生成する。記録部６０は、画像（画像データ）と注釈をメモリカード６１に記録するとともに、メモリカード６１に記録されている画像と注釈を読み出す。制御部７０は、各部を制御して、デジタルカメラ１全体の動作を制御する。自動焦点調節や注釈に関する制御も制御部７０が行う。
【００２６】
圧電ジャイロ８１は角加速度を検出する。圧電ジャイロ８１の検出結果は制御部７０に与えられ、制御部７０は与えられる角加速度を２回積分して角度を算出し、これを使用者の手振れに起因するデジタルカメラ１の回動量とする。そして、回動量に応じた補正処理を行うように画像処理部５０に指示を与えて、振れの除去された画像データを生成させる。
【００２７】
撮影モードでは、レリーズボタン３２の操作（Ｓ１信号）に応じて撮像素子１２によって撮影を行いながら、画像処理部５０が生成した画像データに基づいて自動焦点調節を行う。また、画像処理部５０が基準領域を表す画像を生成して撮影した画像と合成し、合成後の画像を電子ビューファインダ１５に表示する。ファインダ１５にはライブビューである画像と基準領域を表す画像が重なって表示され、これにより、使用者は撮影対象のどの部位に撮影レンズ１１の焦点が合うのかを知ることができる。
【００２８】
さらなるレリーズボタン３２の操作（Ｓ２信号）によって画像の記録が指示されたときは、画像データに基づいて自動露光制御を行い、その後に撮影した画像を記録部６０によってメモリカード６１に記録する。記録した画像についてはアフタービューとして表示部２０にも表示し、基準領域を表す画像も表示部２０に表示する。
【００２９】
撮影アノテーションモードでは、撮影した画像のうち基準領域で撮影された領域を注釈を付す対象の注釈領域とする。したがって、撮影対象の中の最も鮮明に撮影される部位、換言すれば使用者が最も関心をもっている部位に対して、注釈が付されることになる。撮影アノテーションモードでは、注釈領域を表す画像を基準領域を表す画像とは異なる態様で電子ビューファインダ１５や表示部２０に表示する。ただし、注釈領域は基準領域に対応しているから、撮影領域を表す画像の色、線種等を変えるだけで、注釈領域を撮影領域とは異なる態様で表すことができる。
【００３０】
使用者は、記録した画像と注釈領域を表す画像が表示部２０に表示されると、操作キー３５の中の音声キーを操作して注釈の入力を開始することを制御部７０に示し、続いて注釈を音声でマイクロフォン４１を介して入力し、さらに確定キーを操作して注釈の入力の終了を示す。
【００３１】
入力された注釈は注釈領域を示す情報と共に、画像に対応づけられてメモリカード６１に記録される。注釈領域を示す情報には、注釈領域の中心の位置と大きさとが含まれる。メモリカード６１に記録するデータ構造を図３に模式的に示す。図３において、画像１、画像２の注釈１は撮影アノテーションモードで記録されたものであり、画像２の注釈２は再生アノテーションモードで記録されたものである。注釈内容は入力された音声のデータである。画像２の注釈２には、２つの内容１、２が含まれており、この注釈領域には注釈が２つ付されている。
【００３２】
図４に、撮影アノテーションモードで表示部２０に表示される注釈領域の画像の例を示す。この例では、基準領域は正方形として撮像素子１２の中央に定められており、注釈領域を表す画像Ａも正方形であって、表示部２０に表示される画像の中央に位置する。
【００３３】
撮影アノテーションモードにおける注釈領域は、使用者が変更することが可能である。注釈領域は、図４に矢印Ｈ、Ｖで示すように位置を変えることができるし、矢印Ｅで示すように大きさを変えることもできる。位置の変更は、４つの方向キー３６の操作により行い、大きさの変更は、確定キーにより位置を確定した後、上方向キーと下方向キーの操作により行う。位置および大きさを変更した注釈領域の画像を含む表示部２０の表示の例を図５に示す。
【００３４】
デジタルカメラ１では、レリーズボタン３２が半押しされている間（Ｓ１信号が生成されている間）、常に自動焦点調節を行うコンティニュアスＡＦと、撮影対象からの光が基準領域に結像（合焦）した後は、Ｓ１信号の生成が再び開始されるまで、自動焦点調節を停止する合焦ロックＡＦとを選択することができる。そして、撮影アノテーションモードで合焦ロックＡＦが選択されているときは、圧電ジャイロ８１の出力より合焦時からのカメラ１の回動量を求め、合焦時に基準領域に対応していた撮影対象の部位に対応する撮像素子の領域、つまり撮影対象からの光が結像している合焦領域を検出し、撮影した画像のうち合焦領域で撮影された領域を注釈領域とする。この場合、表示部２０には、合焦領域に対応する位置に注釈領域を表示する。この注釈領域も上述のようにして変更することができる。
【００３５】
コンティニュアスＡＦと合焦ロックＡＦの切り替えはダイヤル３３の操作により行う。なお、圧電ジャイロ８１の出力に基づいて合焦領域を検出することに代えて、画像認識によって合焦領域を検出してもよい。すなわち、合焦時に撮影した画像と比較することによって、合焦時に基準領域で撮影された領域と同一内容の領域を見出し、これを合焦領域とする。
【００３６】
再生モードでは、メモリカード６１から画像と注釈領域を示す情報と注釈を読み出して、読み出した画像を表示部２０に表示する。また、注釈領域を示す情報に基づいて注釈領域を表す画像を生成し、その画像を表示部２０に表示している画像に重ねて表示する。１つの画像に対応して複数の注釈領域が記録されているときは、全ての注釈領域の画像を表示する。この表示の例を図６に示す。注釈領域を示す情報と共に注釈が記録されているときは、所定の記号Ｓ（ここでは音符）を注釈領域の画像Ａに加え、注釈領域を示す情報が記録されながら注釈が記録されてないときは、所定の記号Ｓを加えない。これで注釈の有無が判る。
【００３７】
注釈領域を表す画像Ａのほかに、４つの方向キーの操作に連動して移動するポインタＰ（ここでは十字線）を表示する。使用者が、方向キー３６の操作によっていずれかの注釈領域の画像Ａ上にポインタＰを位置させた状態で、音声キーを操作すると、その注釈領域に対応する注釈がスピーカ４２より音声として出力される。前述の図５の例で注釈を付した場合に、再生モードで表示部２０に表示される画像を図７に示す。
【００３８】
再生アノテーションモードでも、図６の例と同様の表示を表示部２０にする。ただし、このモードでは注釈を再生するだけでなく、注釈領域の追加および注釈の編集を行うことができる。４つの方向キー３６でポインタＰをいずれかの注釈領域の画像Ａ上に位置させた状態で、編集キーを操作すると、その注釈領域が選択される。選択された注釈領域の画像は、色、線種等が異なる態様で表示される。
【００３９】
使用者は、注釈領域を選択した状態で、音声キーを操作することにより注釈を再生し、追加キーを操作することにより注釈を追加し、取消キーを操作することにより注釈を削除することができる。編集によって注釈がなくなったときは、注釈領域の画像Ａに加えられていた記号Ｓは表示から除かれ、注釈のない注釈領域に注釈が加えられたときは、その注釈領域の画像Ａに記号Ｓが加えられる。
【００４０】
使用者は、注釈領域を選択した状態で４つの方向キー３６を操作することにより、注釈領域の位置を変更することができ、確定キーの操作により位置を確定した後、さらに上方向キーと下方向キーを操作することにより、注釈領域の大きさを変えることができる。大きさの確定も確定キーにより行う。位置や大きさの変更は表示した注釈領域の画像に反映される。
【００４１】
使用者はまた、いずれの注釈領域も選択しない状態で追加キーを操作することにより、新たな注釈領域を加えることもできる。この新たな注釈領域はポインタＰが存在する位置に生成され、その大きさは標準の基準領域と同じである。表示には追加した注釈領域の画像Ａも加えられる。追加した注釈領域は、既存の注釈領域と同様に扱われ、位置や大きさを変更したり、対応する注釈を付したりすることが可能である。さらに、ポインタをいずれかの注釈領域上に位置させた状態で、編集キーを操作することなく取消キーを操作することにより、その注釈領域を削除することができる。削除された注釈領域の画像Ａは表示から除かれる。
【００４２】
撮影アノテーションモードにおける処理の流れを図８に示す。まず、Ｓ１信号の有無を判定し、Ｓ１信号がなければレリーズボタン３２の半押しによるＳ１信号の生成を待つ（ステップ＃１０５）。Ｓ１信号があれば、画像を撮影して、撮影した画像をライブビューとして電子ビューファインダ１５に表示し、その画像に基準領域を表す画像を重ねて表示する（＃１１０）。
【００４３】
次いで、合焦ロック（撮影レンズ１１の焦点調節の停止）をするか否かを判定し（＃１１５）、合焦ロックをしないときは、撮影した画像のうち基準領域で撮影された部位のコントラストに基づいて、撮影レンズ１１の焦点調節を行う（＃１２０）。なお、Ｓ１信号の生成直後には合焦ロックをしないように設定されており、撮影対象からの光が基準領域に結像するまでは、ステップ＃１１５の判定結果は偽となって、ステップ＃１２０の焦点調節が行われる。
【００４４】
続いて、撮影対象からの光が基準領域に結像（合焦）したか否かを判定し（＃１２５）、合焦していなければステップ＃１０５に戻る。合焦していれば、合焦ロックＡＦが選択されているか否かを判定し（＃１３０）、選択されていれば、合焦ロックを行うようにする（＃１３５）。合焦ロックＡＦが選択されているときは、この後、ステップ＃１１５の判定結果は真となり、ステップ＃１２０は実行されない。なお、コンティニュアスＡＦが選択されているときは、ステップ＃１３５は実行されず、ステップ＃１１５の判定結果は常に偽となる。
【００４５】
次いで、Ｓ２信号の有無を判定し（＃１４０）、Ｓ２信号がなければステップ＃１０５に戻る。レリーズボタン３２の全押しによりＳ２信号が生成されたときは、画像を撮影し（＃１４５）、撮影した画像をメモリカード６１に記録する（＃１５０）。さらに、その画像をアフタービューとして表示部２０に表示し、これに重ねて注釈領域を表す画像を表示する（＃１５５）。
【００４６】
その後、音声キーが操作されたか否かを判定する（＃１６０）。音声キーが操作されたときは、マイクロフォン４１を介して音声で入力される注釈を受け付け（＃１６５）、確定キーが操作されるのを待って（＃１７０）、入力された注釈をメモリカード６１に記録する（＃１７５）。
【００４７】
注釈の記録後、または、ステップ＃１６０の判定で音声キーが操作されなかったときは、４つの方向キー３６の操作の有無を判定し（＃１８０）、操作されなければ、所定時間が経過するまで操作を待つ（＃１９５）。所定時間内にいずれかの方向キーが操作されたときは、それに応じて注釈領域の位置を変更し（＃１８５）、確定キーの操作の有無を判定して（＃１９０）、確定キーが操作されなければステップ＃１８０に戻る。
【００４８】
ステップ＃１９０の判定で確定キーが操作されたときは、上方向キーと下方向キーのいずれかが操作されたか否かを判定し（＃２００）、操作されなければ、所定時間が経過するまで操作を待つ（＃２１５）。所定時間内にこれらの方向キーのいずれかが操作されたときは、それに応じて注釈領域を拡大または縮小し（＃２０５）、確定キーの操作の有無を判定して（＃２１０）、確定キーが操作されなければステップ＃２００に戻る。
【００４９】
ステップ＃２１０の判定で確定キーが操作されたとき、ステップ＃１８０、＃１９５の判定で所定時間内にいずれの方向キーも操作されなかったとき、または、ステップ＃２００、＃２１５の判定で所定時間内に上方向キーまたは下方向キーが操作されなかったときは、注釈領域の位置および大きさを注釈領域を示す情報としてメモリカード６１に記録する（＃２２０）。なお、ステップ＃２２０の後に、ステップ＃１６０から＃１７５までの処理と同様にして、注釈の入力を受け付けて記録するようしてもよい。
【００５０】
このような処理により、撮影対象のうち使用者が関心をもつ部位を鮮明に撮影し、その部位に対して注釈を入力することができる。
【００５１】
再生アノテーションモードにおける処理の流れを図９に示す。まず、メモリカード６１から読み出した画像と、注釈領域を表す全ての画像を表示部２０に表示する（ステップ＃３０５）。このとき、前述のポインタも表示する。次いで、４つの方向キー３６が操作されたか否かを判定する（＃３１０）。いずれかの方向キーが操作されたときは、それに応じて表示しているポインタを移動させ（＃３１５）、ステップ＃３０５に戻る。ステップ＃３０５の２回目以後の処理では、ポインタや注釈領域を表す画像を最新の状態に更新する。
【００５２】
ステップ＃３１０の判定で方向キー３６が操作されないときは、操作キー３５の中の追加キーが操作されたか否かを判定する（＃３２０）。追加キーが操作されたときは、ポインタの位置に対応する注釈領域を生成し、その注釈領域を示す情報をメモリカード６１に追加記録する（＃３２５）。そして、ステップ＃３０５に戻る。
【００５３】
ステップ＃３２０の判定で追加キーが操作されないときは、取消キーが操作されたか否かを判定し（＃３３０）、取消キーが操作されたときは、ポインタがいずれかの注釈領域上に位置するか否かを判定する（＃３３５）。ポインタが注釈領域上に位置するときは、その注釈領域を示す情報をメモリカード６１の記録から削除し（＃３４０）、ステップ＃３０５に戻る。ポインタがいずれの注釈領域上にも位置しないときは、直接ステップ＃３０５に戻る。
【００５４】
ステップ＃３３０の判定で取消キーが操作されないときは、編集キーが操作されたか否かを判定する（＃３４５）。編集キーが操作されたときは、ポインタがいずれかの注釈領域上に位置するか否かを判定し（＃３５０）、ポインタがいずれの注釈領域上にも位置しないときは、ステップ＃３０５に戻る。
【００５５】
ポインタがいずれかの注釈領域上に位置するときは、その注釈領域の画像の表示態様を変えて、その注釈領域が選択されたことを示す（＃３５５）。そして、その注釈領域に注釈が付加されているか否かを判定し（＃３６０）、１つの注釈が付加されていればその注釈を、複数の注釈が付加されていれば最初の注釈を選択する（＃３６５）。その際、選択した注釈の番号と付加されている注釈の数とを表示に加えておく。次いで、上方向キーまたは下方向キーが操作されたか否かを判定して（＃３７０）、その操作に応じて選択した注釈を切り替える（＃３６５）。
【００５６】
注釈を選択した後、またはステップ＃３６０の判定で注釈がないときは、音声キーが操作されたか否かを判定し（＃３７５）、音声キーが操作されたときは選択した注釈の有無を判定する（＃３８０）。そして、選択した注釈があれば、その注釈をスピーカ４２より音声として出力し（＃３８５）、ステップ＃３０５に戻る。
【００５７】
ステップ＃３７５の判定で音声キーが操作されないとき、または、ステップ＃３８０の判定で選択した注釈がないときは、追加キーが操作されたか否かを判定する（＃３９０）。追加キーが操作されたときは、確定キーが操作されるまで（＃４００）、マイクロフォン４１を介して音声として入力される注釈を受け付ける（＃３９５）。そして、入力された注釈を選択している注釈領域に対応させてメモリカード６１に追加記録し（＃４０５）、ステップ＃３０５に戻る。
【００５８】
ステップ＃３９０の判定で追加キーが操作されなかったときは、取消キーが操作されたか否かを判定し（＃４１０）、取消キーが操作されたときは選択した注釈の有無を判定する（＃４１５）。選択した注釈があるときはその注釈をメモリカード６１の記録内容から削除し（＃４２０）、ステップ＃３０５に戻る。
【００５９】
ステップ＃４１０の判定で取消キーが操作されないとき、または、ステップ＃４１５の判定で選択した注釈がないときは、４つの方向キー３６が操作されたか否かを判定し（＃４２５）、いずれかの方向キーが操作されたときは、それに応じて表示部２０上の選択している注釈領域の画像を移動させる（＃４３０）。そして、確定キーが操作されたか否かを判定し（＃４３５）、操作されないときはステップ＃４２５に戻る。ステップ＃４２５の判定で方向キーが操作されないときは、ステップ＃４３５に進む。
【００６０】
ステップ＃４３５の判定で確定キーが操作されたときは、上方向キーまたは下方向キーが操作されたか否かを判定し（＃４４０）、いずれかが操作されたときは、それに応じて表示部２０上の選択している注釈領域の画像を拡大または縮小する（＃４４５）。そして、確定キーが操作されたか否かを判定し（＃４５０）、操作されないときはステップ＃４４０に戻る。ステップ＃４４０の判定で方向キーが操作されないときは、ステップ＃４５０に進む。
【００６１】
ステップ＃４５０の判定で確定キーが操作されたときは、メモリカード６１に記録している選択している注釈領域の位置および大きさを、ステップ＃４３０および＃４４５での処理に応じた新しい値に更新して（＃４５５）、ステップ＃３０５に戻る。なお、再生アノテーションモードは、アノテーションボタン３４の操作によって終了する。
【００６２】
このような処理により、使用者は、撮影時の注釈領域とは別に任意の注釈領域を定めて、注釈を付加することができる。なお、ステップ＃３１０、＃３２０、＃３３０、＃３４５の判定、およびこれらの判定結果が真のときの処理は、任意の順序で行うことが可能である。また、ステップ＃３７５、＃３９０、＃４１０、＃４２５の判定、およびこれらの判定結果が真のときの処理も、任意の順序で行うことが可能である。
【００６３】
デジタルカメラ１では、注釈領域だけでなく、前述のように、撮影モードにおいて基準領域の位置や大きさも変更することができる。基準領域の変更は、ダイアル３３の操作によって変更を指示した後、操作キー３５、３６を用いて注釈領域の変更に準じて行う。基準領域の変更はライブビューと共にファインダ１５に表示される基準領域の画像に反映される。
【００６４】
基準領域が変更されると、制御部７０は、画像処理部５０が生成した画像データのうち変更後の基準領域からのものを用いて、自動焦点調節のためのコントラストを検出する。基準領域を可変とすることで、撮影時の構図に対する制約が少なくなる。合焦ロックＡＦでも構図を自由に設定することができるが、基準領域を可変とすれば、コンティニュアスＡＦを選択することも可能になる。これにより、例えば、撮影対象までの距離が変化し、しかもその撮影対象を画像の中の所望の位置に配したい場合でも、その撮影対象を確実に鮮明に撮影することができる。
【００６５】
基準領域を複数設定することもできる。これもダイアル３３の操作によって複数設定を指示した後、操作キー３５、３６を用いて注釈領域の変更に準じて行う。複数の基準領域を設定し得るようにすることで、撮影対象の中に使用者が特に関心をもつ部位が複数ある場合に、それらの部位を鮮明に撮影することが可能になる。その場合、撮影した画像のうち個々の基準領域で撮影された領域をそれぞれ注釈領域とする。これにより、撮影アノテーションモードで、使用者が関心をもつ複数部位それぞれに対して注釈を付すことができる。基準領域を２つ設定した場合の、表示部２０の表示例を図１０に示す。
【００６６】
基準領域を複数指定する撮影アノテーションモードにおける処理の流れを図１１に示す。この処理では、基準領域の位置および大きさも変更することができる。まず、標準の基準領域を表す画像をライブビュー画像と共に電子ビューファインダ１５に表示する（＃５０５）。次いで、４つの方向キー３６が操作されたか否かを判定し（＃５１０）、いずれかの方向キーが操作されたときは、それに応じて表示している基準領域の画像を移動させる（＃５１５）。そして、確定キーが操作されたか否かを判定し（＃５２０）、操作されないときはステップ＃５１０に戻る。ステップ＃５１０の判定で方向キーが操作されないときは、ステップ＃５２０に進む。
【００６７】
ステップ＃５２０の判定で確定キーが操作されたときは、上方向キーまたは下方向キーが操作されたか否かを判定し（＃５２５）、いずれかが操作されたときは、それに応じてファインダ１５上の基準領域の画像を拡大または縮小する（＃５３０）。そして、確定キーが操作されたか否かを判定し（＃５３５）、操作されないときはステップ＃５２５に戻る。ステップ＃５２５の判定で上方向キーまたは下方向キーが操作されないときは、ステップ＃５３５に進む。
【００６８】
ステップ＃５３５の判定で確定キーが操作されたときは、基準領域の位置および大きさを、ステップ＃５１５および＃５３０での処理に応じた新しい値に設定する（＃５４０）。そして、追加キーが操作されたか否かを判定し（＃５４５）、操作されたときは、新たな基準領域を加える（＃５５０）。そして、ステップ＃５０５に戻って、新たな基準領域に対してステップ＃５４０までの処理を行う。
【００６９】
ステップ＃５４５の判定で追加キーが操作されないときは、取消キーが操作されたか否かを判定する（＃５５５）。操作されたときは、基準領域を初期化して標準の基準領域のみとし（＃５６０）、ステップ＃５０５に戻る。
【００７０】
ステップ＃５５５の判定で取消キーが操作されないときは、Ｓ１信号が生成されたか否かを判定し（＃５６５）、Ｓ１信号がなければステップ＃５０５に戻る。Ｓ１信号が生成されたときは、撮像素子１２の全ての基準領域の画像データに基づいて撮影レンズ１１の焦点を調節する（＃５７０）。次いで、撮影対象からの光が全ての基準領域に結像（合焦）したか否かを判定し（＃５７５）、合焦していなければステップ＃５６５に戻る。合焦したときはＳ２信号が生成されたか否かを判定し（＃５８０）、Ｓ２信号がなければステップ＃５６５に戻る。
【００７１】
ステップ＃５８０の判定でＳ２信号が生成されたときは、画像を撮影し（＃５８５）、撮影した画像をメモリカード６１に記録する（＃５９０）。また、撮影した画像をアフタービューとしてと表示部２０に表示し、これに重ねて全ての基準領域に対応する注釈領域の画像を表示する（＃５９５）。次いで、注釈の入力を受け付けて入力された注釈をメモリカード６１に記録する処理を行う（＃６００）。この処理は、図８のステップ＃１６０からステップ＃２２０までと同じであり、１つの注釈領域について行う。なお、ステップ＃５５０で基準領域を追加していたときは、ステップ＃５４０で最初に設定した基準領域に対応する注釈領域について、この処理を最初に行う。
【００７２】
１つの注釈領域についてステップ＃６００の注釈入力処理を行った後、追加キーが操作されたか否かを判定し（＃６０５）。操作されなければ、所定時間が経過するまで操作を待つ（＃６３０）。所定時間内に追加キーが操作されたときは、４つの方向キー３６が操作されたか否かを判定し（＃６１０）、いずれかの方向キーが操作されたときは、それに応じて表示部２０に表示しているポインタを移動させる（＃６１５）。そして、確定キーが操作されたか否かを判定し（＃６２０）、操作されなければステップ＃６１０に戻る。ステップ＃６１０の判定でいずれの方向キーも操作されないときはステップ＃６２０に進む。
【００７３】
ステップ＃６２０の判定で確定キーが操作されたときは、ステップ＃６１５で移動させたポインタが位置する注釈領域を選択し（＃６２５）、ステップ＃６００に戻って、選択した注釈領域について注釈入力処理を行う。ステップ＃６０５および＃６３０の判定で所定時間内に追加キーが操作されないときは、処理を終了する。
【００７４】
このような処理により、使用者は基準領域を複数設定し、また各基準領域の位置や大きさを任意に定めて、画像を撮影することができる。さらに、各基準領域を注釈領域として、個別に注釈を付すこともできる。
【００７５】
なお、ここでは基準領域や注釈領域を正方形とした例について説明したが、基準領域や注釈領域は任意の形状としてかまわない。その場合、記録する注釈領域を示す情報には、形状も含めておく。例えば、注釈領域を長方形とする場合は、上下方向の大きさと左右方向の大きさを含める。長方形の基準領域や注釈領域は４つの方向キー３６を用いることで、上下方向と左右方向の大きさを独立に設定することができる。
【００７６】
また、デジタルカメラ１では電子ビューファインダ１５を備える構成として、実際に撮影した画像をライブビューとして表示するようにしているが、光学式のファインダを備えるようにしてもよい。その場合でも、表示部２０を利用することでライブビューの表示は可能である。また、電子ビューファインダ１５にはライブビュー画像のみを表示するようにしているが、電子ビューファインダ１５にアフタービューの画像も表示するようにしてもよい。
【００７７】
さらに、デジタルカメラ１では注釈を音声によって入力するようにしているが、注釈をキー操作や手書き操作によってよって入力するようにしてもよい。キー操作によって入力する場合、表示部２０に、五十音やアルファベットを表示し、操作キー３５、３６によって文字を選択して、仮名漢字変換によって注釈の文とすることができる。この場合の表示部２０の表示例を図１２に示す。いくつかの定型文を記憶しておき、これらを表示部２０に表示して、操作キー３５、３６によって文を選択するようにすることも可能である。この場合の表示部２０の表示例を図１３に示す。
【００７８】
キー操作によって注釈を入力する場合でも、注釈の再生は音声で行うことができる。逆に、音声で入力した注釈を、文字として記録し、文字として再生することもできる。これらは音声データと文字データを変換する公知技術で容易に実現される。注釈を文字として再生表示する場合の表示部２０の表示例を図１４に示す。ここでは、画像の下部に注釈を表示している。また、注釈領域に注釈が付されていることを示す記号Ｓとして、音符に代えて、文字（アルファベットのＴ）を表示している。
【００７９】
【発明の効果】
撮影した画像に関する注釈を入力され、入力された注釈を撮影した画像と共に記録する撮像装置において、本発明のように、撮影対象からの光を受けて画像を撮影する撮像素子と、撮影対象からの光を撮像素子に導く撮影光学系と、撮像素子の一部の領域を基準領域として、撮影対象からの光が基準領域に結像するように撮影光学系の焦点を調節する調節手段と、画像を表示する表示手段と、画像を記録媒体に記録する記録手段と、注釈の入力を受け付ける入力手段と、撮影した画像のうち基準領域で撮影された領域を注釈領域として、注釈領域を表す画像を生成する生成手段とを備えて、撮像素子が画像を撮影したときに、表示手段が撮影した画像と注釈領域を表す画像を重ねて表示し、入力手段が注釈の入力を受け付け、記録手段が撮影した画像と注釈領域を示す情報と入力された注釈とを対応づけて記録媒体に記録すると、画像の一部のみに注釈を付すことが可能である上、注釈を付す部位を使用者が指定する必要がなく、注釈の入力が容易である。
【００８０】
しかも、注釈は撮影対象のうち使用者が最も関心をもつ部位に対して付されることになるから、使用者が注釈を付したい部位に注釈が付される可能性が高い。
また、画像の中の最も鮮明な部位に対して注釈が付されるから、画像と注釈を再生する際に、注釈を付した部位が判り易い。記録した情報を用いて注釈を付した部位を明示することもできる。
【００８１】
表示手段が注釈領域を表示しているときに、使用者からの指示に応じて注釈領域を変更する変更手段を備える構成では、注釈を付す部位を使用者が任意に定めることができて、一層使い易い装置となる。
【００８２】
使用者からの指示に応じて基準領域を設定する設定手段を備える構成とすると、撮影に際して構図の制約が少なくなる上、注釈領域が基準領域に連動して変わるため、注釈を付す部位を使用者が定めることができるようになる。基準領域を複数設定すれば、撮影対象の中に使用者が特に関心をもつ部位が複数存在するときに、それらの部位全てを鮮明に撮影することが可能であり、また、それらの部位それぞれに対して注釈を付すこともできる。
【００８３】
撮影対象からの光が基準領域に結像したときに調節手段に撮影光学系の焦点の調節を停止させる停止手段と、撮像素子と撮影対象との相対位置の変化を検出して、変化前に基準領域に対応していた撮影対象の部位に対応する変化後の撮像素子の領域を合焦領域として検出する検出手段とを備えて、停止手段が調節手段に撮影光学系の焦点の調節を停止させた状態で撮像素子が画像を撮影したときに、検出手段が合焦領域を検出し、生成手段が、基準領域で撮影された領域を注釈領域とすることに代えて、合焦領域で撮影された領域を注釈領域とすると、使用者が特に関心をもつ部位を鮮明に撮影し得る状態で構図を変えることができ、しかも、その部位に対して注釈を付すことが可能になる。
【００８４】
画像の部位の指定を受け付ける指定手段を備えて、使用者からの指示に応じて、記録手段が記録媒体から画像を読み出し、表示手段が読み出した画像を表示し、指定手段が画像の部位の指定を受け付け、生成手段が指定された画像の部位に対応する撮像素子の領域を注釈領域として注釈領域を表す画像を生成し、表示手段が読み出した画像に重ねて注釈領域を表す画像を表示し、入力手段が注釈の入力を受け付け、記録手段が注釈領域を示す情報と入力された注釈とを読み出した画像に対応づけて記録媒体に記録するようにすると、撮影直後に限らず任意の時に、画像に注釈を付すことが可能になる。しかも、画像の中の所望の部位に対して注釈を付すことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のデジタルカメラの外観を模式的に示す（ａ）一部透視正面図および（ｂ）背面図。
【図２】上記デジタルカメラの回路構成を模式的に示すブロック図。
【図３】メモリカードに記録するデータ構造の例を模式的に示す図。
【図４】撮影アノテーションモードで表示する注釈領域の画像の例を示す図。
【図５】位置および大きさを変更した注釈領域の画像を含む表示の例を示す図。
【図６】１つの画像に対応して複数の注釈領域が記録されているときの、注釈領域の画像の表示の例を示す図。
【図７】図５の例で注釈を付した場合の再生モードで表示する画像を示す図。
【図８】撮影アノテーションモードにおける処理の流れを示すフローチャート。
【図９】再生アノテーションモードにおける処理の流れを示すフローチャート。
【図１０】基準領域を２つ設定した場合の注釈領域の画像を含む表示の例を示す図。
【図１１】基準領域を複数指定する撮影アノテーションモードにおける処理の流れを示すフローチャート。
【図１２】注釈をキー操作によって入力する場合に、入力補助のために表示する画像の例を示す図。
【図１３】注釈を定型文として記憶しておきキー操作によって選択する場合に、選択補助のために表示する画像の例を示す図。
【図１４】注釈を文字として再生表示する場合に表示する画像の例を示す図。
【符号の説明】
１デジタルカメラ
１１撮影レンズ
１２撮像素子
１３フラッシュ部
１４補助光部
１５電子ビューファインダ
２０表示部
３０操作部
３１メインスイッチ
３２レリーズボタン
３３操作ダイアル
３４アノテーションボタン
３５操作キー
３６方向キー
４１マイクロフォン
４２スピーカ
５０画像処理部
６０記録部
６１メモリカード
７０制御部
８１圧電ジャイロ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging apparatus that captures an image, inputs an annotation, and records the annotation together with the captured image.
[0002]
[Prior art]
There has been proposed a digital camera in which a user's comment on a photographed image is input and the inputted comment is recorded together with the photographed image. For example, Japanese Patent Laying-Open No. 2000-184258 discloses a digital camera in which an annotation is input by voice.
[0003]
When the annotation is recorded together with the photographed image, the user can recall the impression at the time of photographing by the annotation when viewing the image later, which is convenient for the user. Providing the annotation together with the image to another person (camera or personal computer) allows more detailed information to be transmitted than when only the image is provided, and further enhances the essential function of the camera of information transmission. Be strengthened.
[0004]
[Patent Document 1] JP-A-2000-184258
[0005]
[Problems to be solved by the invention]
However, in a conventional digital camera, an annotation is input for the entire image, and even if an annotation for a specific part of the image is input, for other people or the user himself who views the image later, It is difficult to know which part is a comment. This inconvenience can be avoided by including an expression specifying the site (for example, “upper right ...”) in the annotation, but this makes the input of the annotation complicated. In addition, the above-mentioned inconvenience can be avoided by separately photographing only a portion of the image to which an annotation is to be added, but in such a case, a plurality of images must be photographed, which also involves complexity. In addition, it is often impossible to photograph only a part to be annotated due to restrictions such as the focal length of the photographing lens.
[0006]
The present invention has been made in view of such a problem, and it is easy to know which part of an image is an annotation, and furthermore, an imaging apparatus capable of inputting an annotation without complication The purpose is to provide.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, an image pickup device that receives light from a photographing target and captures an image in an imaging device that receives an annotation about a photographed image and records the inputted annotation together with the photographed image And an imaging optical system that guides light from the imaging target to the image sensor, and adjusts the focus of the imaging optical system so that light from the imaging target forms an image on the reference region using a partial area of the imaging device as a reference region. Adjusting means, display means for displaying an image, recording means for recording the image on a recording medium, input means for receiving the input of the annotation, and the area of the captured image taken in the reference area as the annotation area, Generating means for generating an image representing the annotation area, wherein when the imaging element captures an image, the display means superimposes and displays the image captured and the image representing the annotation area, and the input means inputs the annotation. Receiving With, the recording means is inputted with the information indicating the image and the annotation area taken note be recorded in association with the recording medium.
[0008]
This imaging apparatus includes an adjusting unit, and has a function of automatic focus adjustment (AF) for automatically focusing a photographic optical system on a photographic subject. However, since the distance to the imaging target varies depending on the region, the automatic focus adjustment is performed on a region photographed in a reference region which is a partial region of the image sensor. The imaging device also receives an annotation from a user and records the annotation in association with a partial area of the captured image. The annotation area to which the annotation is associated is an area photographed as a reference area used for automatic focus adjustment. The user looks closely at the part of the subject that is of particular interest, and attempts to sharply capture the part in accordance with the reference area. Will be done.
[0009]
The information indicating the annotation area to be recorded includes the position and size. When an image is read out from the recording medium and displayed, information indicating the annotation area is also read out and the image is displayed, so that it is possible to reliably know which part of the image the annotation is for. In addition, since the annotation area is the sharpest in the captured image, the annotation area can be determined by the sharpness without displaying the image of the annotation area, and therefore, it can be determined to which part the annotation is. . Note that the annotation may be input by voice or by another method such as key operation.
[0010]
The above imaging apparatus can be configured to include a change unit that changes the annotation region in accordance with an instruction from the user when the display unit displays the annotation region. With this configuration, the user can arbitrarily determine the part to be annotated, and the usability is improved.
[0011]
A configuration may also be provided that includes a setting unit that sets the reference area in accordance with an instruction from the user. In this configuration, since the reference area used for the automatic focus adjustment can be changed, restrictions on the composition at the time of photographing are reduced. In addition, since the annotation area changes in conjunction with the reference area, the user can determine the part to which the annotation is to be added. It is also possible to set a plurality of reference regions, whereby when there are a plurality of sites of particular interest to the user in the imaging target, all of those regions can be clearly imaged. Also, annotations can be added to each of those parts.
[0012]
Stop means for stopping the adjustment of the focus of the imaging optical system to the adjustment means when light from the imaging target forms an image on the reference area, and detecting a change in the relative position between the image sensor and the imaging object, and before the change. Detecting means for detecting, as a focus area, a changed area of the image sensor corresponding to a portion of the imaging target corresponding to the reference area, and stopping means for adjusting the focus of the imaging optical system to the adjusting means. When the image sensor captures an image in the state in which the image is captured, the detecting unit detects the in-focus region, and the generating unit performs imaging in the in-focus region instead of using the region captured in the reference region as the annotation region. The set area may be set as the annotation area.
[0013]
This configuration has a so-called focus lock function of stopping the automatic focus adjustment and maintaining the image formation state after the light from the object to be photographed once forms the reference area. When the user changes the composition by changing the direction of the device after the light from the imaging target forms an image on the reference region, the portion of the imaging target corresponding to the reference region, that is, the portion that was in focus, It no longer corresponds to the reference area. At this time, the region of the image sensor corresponding to the region of the imaging target corresponding to the reference region is detected, and the focus region is set as the annotation region, so that the annotation is applied to the region that the user is particularly interested in. Will be attached.
[0014]
Further, the image processing apparatus further includes a designating unit that receives designation of a region of the image. In response to an instruction from the user, the recording unit reads out the image from the recording medium, the display unit displays the readout image, and the designating unit displays Receiving the designation of the image, the generating unit generates an image representing the annotation region using the region of the image sensor corresponding to the specified image region as the annotation region, and displays the image representing the annotation region on the image read by the display unit. Then, the input unit may receive the input of the annotation, and the recording unit may record the information indicating the annotation area and the input annotation on the recording medium in association with the read image. In this way, the user can display the recorded image when not taking a picture, designate a desired part in the image, and annotate the part.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a digital camera according to an embodiment of the imaging apparatus of the present invention will be described with reference to the drawings. FIG. 1 schematically shows an appearance of a digital camera 1 according to the present embodiment. In FIG. 1, (a) is a front view in which a part is seen through, and (b) is a rear view. The digital camera 1 includes a photographing lens 11 on the front side and an image pickup device 12 including a CCD area sensor inside, and guides light from a photographing target to the image pickup device 12 by the photographing lens 11 to form an image on the image pickup device 12. Then, an image is captured by performing photoelectric conversion by the image sensor 12. A flash unit 13 that emits flash light is provided on the front surface. When the environment is dark, the flash unit 13 emits flash light to illuminate the subject.
[0016]
Image capturing is repeatedly performed at a substantially constant cycle (for example, 1/30 second). The captured images are sequentially displayed on a finder to be described later, and are recorded on a memory card which is a removable storage medium in accordance with an instruction from a user.
[0017]
The digital camera 1 has an automatic focus adjustment (AF) function for automatically focusing the photographing lens 11 on a photographing target. The automatic focus adjustment is performed by a servo method in which the focus of the photographing lens 11 is moved in a direction to increase the contrast while detecting the contrast from the output signal of the image sensor 12. For detecting the contrast, an output signal from a partial area of the image sensor 12 is used. Hereinafter, this area of the image sensor 12 used for automatic focus adjustment is referred to as a reference area. The reference area is set at a predetermined size at the center of the image sensor 12, but the position and size of the reference area can be changed. Note that an auxiliary light unit 14 is provided to emit auxiliary light toward the object to be photographed when the environment is dark and automatic focusing cannot be performed.
[0018]
The digital camera 1 also has an automatic exposure control (AE) function for automatically adjusting the amount of exposure of the image sensor according to the brightness of the subject. The automatic exposure control is performed by adjusting the photoelectric conversion time of the image sensor 12, that is, the shutter speed. The automatic exposure control is also performed based on an output signal from a reference area for automatic focus adjustment, but may be changed so as to be performed based on an output signal of an area designated by a user.
[0019]
On the back, an electronic viewfinder (EVF) 15, a display unit 20, a main switch 31, and a plurality of operation keys 35 and 36 are provided. The electronic viewfinder 15 is composed of a liquid crystal display device and displays the latest image repeatedly photographed as a live view. The user can determine the composition while observing the live view displayed on the finder 15. The display unit 20 is composed of a large-sized liquid crystal display device, displays images, and displays various information.
[0020]
The main switch 31 is of a slide type, and is used for supplying power to each unit and instructing switching of an operation mode. When the main switch 31 is set to the position marked “OFF”, power is not supplied, and the digital camera 1 enters a state where it does not operate. When the main switch 31 is set to the position marked “REC”, the digital camera 1 is in a shooting mode for shooting an image, and the image shot during that time can be recorded on a memory card. When the main switch 31 is set to the position marked "PLAY", the digital camera 1 is in a playback mode for reading and displaying images recorded on a memory card. The display of the image in the reproduction mode is performed by the display unit 20. The image to be recorded is also displayed on the display unit 20.
[0021]
The operation keys 35 and 36 are operated to give an instruction regarding an annotation described later. The operation keys 35 are provided with symbols such as "OK" indicating the function of each key, and the four operation keys 36 are provided with triangular symbols indicating up, down, left, and right directions. Hereinafter, the operation key 35 is represented by an attached symbol, for example, a determination key, and the operation key 36 is represented by a direction of the attached symbol, for example, a right direction key.
[0022]
On the upper surface, a release button 32, an operation dial 33, and an annotation button 34 are provided. The release button 32 operates in two-step strokes, and generates an S1 signal for instructing the start of photographing and automatic focus adjustment when pressed halfway, and generates an S2 signal for instructing image recording when fully pressed. The operation dial 33 is operated for an instruction regarding automatic focus adjustment and automatic exposure control, for example, an instruction for changing a reference area.
[0023]
The digital camera 1 has a function of adding an annotation to a captured image in a shooting mode and recording the image, and a function of adding an annotation to an image to be played back and editing the annotation in a playback mode. , An annotation button 34 is operated for instructing a transition to an annotation mode for executing these functions. The mode in which an annotation is added in the shooting mode is called a shooting annotation mode, and the mode in which an annotation is added to an image or the annotation is edited in the playback mode is called a playback annotation mode. In the reproduction mode, not only images but also annotations can be reproduced.
[0024]
Input and playback of annotations are performed by voice. A microphone 41 is provided on the upper surface of the digital camera 1 for voice input, and a speaker 42 is provided on the back surface for voice output.
[0025]
FIG. 2 schematically shows a circuit configuration of the digital camera 1. The digital camera 1 includes an image processing unit 50, a recording unit 60, a control unit 70, and a piezoelectric gyro 81 in addition to the above-described units. The operation unit 30 is a general term for components operated by the user, such as the main switch 31, the release button 32, and the operation keys 35 and 36. The image processing unit 50 performs various processes such as digitization, white balance adjustment, and γ correction on the output signal of the image sensor 12 to generate image data representing a captured image. The recording unit 60 records the image (image data) and the annotation on the memory card 61, and reads out the image and the annotation recorded on the memory card 61. The control unit 70 controls each unit to control the operation of the entire digital camera 1. The control unit 70 also controls the automatic focus adjustment and the annotation.
[0026]
The piezoelectric gyro 81 detects angular acceleration. The detection result of the piezoelectric gyro 81 is given to the control unit 70, and the control unit 70 calculates the angle by integrating the given angular acceleration twice, and uses the angle as the amount of rotation of the digital camera 1 due to camera shake of the user. . Then, an instruction is given to the image processing unit 50 to perform the correction process according to the rotation amount, and the image data from which the shake has been removed is generated.
[0027]
In the photographing mode, the automatic focusing is performed based on the image data generated by the image processing unit 50 while photographing is performed by the image sensor 12 in response to the operation of the release button 32 (S1 signal). Further, the image processing unit 50 generates an image representing the reference area, combines the generated image with the captured image, and displays the combined image on the electronic viewfinder 15. In the finder 15, an image that is a live view and an image that represents the reference area are displayed in an overlapping manner, so that the user can know which part of the photographing target is in focus with the photographing lens 11.
[0028]
When recording of an image is instructed by further operation of the release button 32 (S2 signal), automatic exposure control is performed based on the image data, and the captured image is recorded on the memory card 61 by the recording unit 60 after that. The recorded image is also displayed on the display unit 20 as an after-view, and an image representing the reference area is also displayed on the display unit 20.
[0029]
In the photographing annotation mode, an area photographed in the reference area in the photographed image is set as an annotation area to be annotated. Therefore, an annotation is given to the most sharply photographed part of the photographing target, in other words, the part that the user is most interested in. In the photographing annotation mode, the image representing the annotation area is displayed on the electronic viewfinder 15 and the display unit 20 in a different manner from the image representing the reference area. However, since the annotation region corresponds to the reference region, the annotation region can be represented in a manner different from that of the photography region simply by changing the color, line type, and the like of the image representing the photography region.
[0030]
When the recorded image and the image representing the annotation area are displayed on the display unit 20, the user indicates to the control unit 70 that the input of the annotation is started by operating the voice key of the operation keys 35. Then, the user inputs the comment by voice via the microphone 41, and further operates the enter key to indicate the end of the comment input.
[0031]
The input annotation is recorded on the memory card 61 in association with the image together with information indicating the annotation area. The information indicating the annotation area includes the position and size of the center of the annotation area. FIG. 3 schematically shows a data structure to be recorded on the memory card 61. In FIG. 3, annotation 1 of images 1 and 2 is recorded in the photographing annotation mode, and annotation 2 of image 2 is recorded in the reproduction annotation mode. The annotation content is the data of the input voice. The annotation 2 of the image 2 includes two contents 1 and 2, and two annotations are added to this annotation area.
[0032]
FIG. 4 shows an example of an image of the annotation area displayed on the display unit 20 in the photographing annotation mode. In this example, the reference area is defined as a square at the center of the image sensor 12, and the image A representing the annotation area is also a square and is located at the center of the image displayed on the display unit 20.
[0033]
The annotation area in the photographing annotation mode can be changed by the user. The position of the annotation area can be changed as shown by arrows H and V in FIG. 4, and the size of the annotation area can be changed as shown by arrow E. The position is changed by operating the four direction keys 36, and the size is changed by operating the up key and the down key after determining the position with the enter key. FIG. 5 shows a display example of the display unit 20 including the image of the annotation area whose position and size have been changed.
[0034]
In the digital camera 1, while the release button 32 is half-pressed (while the S1 signal is being generated), continuous AF that always performs automatic focus adjustment, and light from the subject is imaged in the reference area ( After focusing, it is possible to select the focusing lock AF for stopping the automatic focusing until the generation of the S1 signal is started again. When the focus lock AF is selected in the photographing annotation mode, the amount of rotation of the camera 1 from the time of focusing is obtained from the output of the piezoelectric gyro 81, and the amount of rotation of the photographing target corresponding to the reference area at the time of focusing is determined. The region of the image sensor corresponding to the part, that is, the in-focus region where light from the object to be imaged is detected is detected, and the region of the captured image captured in the in-focus region is defined as the annotation region. In this case, the display unit 20 displays the annotation area at a position corresponding to the focus area. This annotation area can also be changed as described above.
[0035]
Switching between the continuous AF and the focus lock AF is performed by operating the dial 33. Note that, instead of detecting the focused area based on the output of the piezoelectric gyro 81, the focused area may be detected by image recognition. That is, an area having the same content as the area photographed in the reference area at the time of focusing is found by comparing with an image photographed at the time of focusing, and this is defined as a focused area.
[0036]
In the reproduction mode, the image and the information indicating the annotation area and the annotation are read from the memory card 61, and the read image is displayed on the display unit 20. Further, an image representing the annotation area is generated based on the information indicating the annotation area, and the image is displayed so as to overlap the image displayed on the display unit 20. When a plurality of annotation areas are recorded corresponding to one image, the images of all the annotation areas are displayed. FIG. 6 shows an example of this display. When the annotation is recorded together with the information indicating the annotation area, a predetermined symbol S (here, a musical note) is added to the image A of the annotation area, and when the annotation is recorded while the information indicating the annotation area is recorded. , A predetermined symbol S is not added. This makes it possible to determine the presence or absence of the annotation.
[0037]
In addition to the image A representing the annotation area, a pointer P (here, a cross line) that moves in conjunction with the operation of the four direction keys is displayed. When the user operates the voice key in a state where the pointer P is positioned on the image A in any of the annotation areas by operating the direction keys 36, the annotation corresponding to the annotation area is output from the speaker 42 as audio. You. FIG. 7 shows an image displayed on the display unit 20 in the reproduction mode when the annotation is added in the example of FIG. 5 described above.
[0038]
Also in the reproduction annotation mode, the display similar to the example of FIG. However, in this mode, in addition to playing back the annotation, an annotation area can be added and the annotation can be edited. When the edit key is operated while the pointer P is positioned on the image A in any one of the annotation areas by the four direction keys 36, the annotation area is selected. The image of the selected annotation area is displayed in a different color, line type, and the like.
[0039]
With the annotation area selected, the user can play the annotation by operating the voice key, add the annotation by operating the additional key, and delete the annotation by operating the cancel key. . When the annotation disappears due to the editing, the symbol S added to the image A in the annotation area is removed from the display. When the annotation is added to the annotation area without the annotation, the symbol S is added to the image A in the annotation area. Is added.
[0040]
The user can change the position of the annotation area by operating the four direction keys 36 with the annotation area selected, and after confirming the position by operating the confirmation key, further presses the up direction key and the down key. By operating the directional keys, the size of the annotation area can be changed. The determination of the size is also performed by the determination key. Changes in the position or size are reflected in the displayed image of the annotation area.
[0041]
The user can also add a new annotation area by operating the additional key without selecting any annotation area. This new annotation area is generated at the position where the pointer P exists, and its size is the same as the standard reference area. The image A of the added annotation area is also added to the display. The added annotation area is treated in the same manner as the existing annotation area, and can be changed in position and size, and can be given a corresponding annotation. Further, by operating the cancel key without operating the edit key while the pointer is positioned on any annotation area, the annotation area can be deleted. The image A of the deleted annotation area is removed from the display.
[0042]
FIG. 8 shows the flow of processing in the shooting annotation mode. First, the presence or absence of the S1 signal is determined. If there is no S1 signal, the generation of the S1 signal by half-pressing the release button 32 is waited (step # 105). If the S1 signal is present, the image is photographed, the photographed image is displayed on the electronic viewfinder 15 as a live view, and an image representing the reference area is superimposed on the image (# 110).
[0043]
Next, it is determined whether or not the focus lock (stop of the focus adjustment of the photographing lens 11) is to be performed (# 115). When the focus lock is not performed, the contrast of the part of the captured image captured in the reference area is determined. The focus of the photographing lens 11 is adjusted based on (# 120). It should be noted that the focus is not locked immediately after the generation of the S1 signal, and until the light from the object to be photographed forms an image in the reference area, the determination result in step # 115 becomes false, and 120 focus adjustments are made.
[0044]
Subsequently, it is determined whether or not the light from the object to be imaged is focused (focused) on the reference area (# 125). If not, the process returns to step # 105. If the focus is achieved, it is determined whether or not the focus lock AF is selected (# 130). If the focus lock AF is selected, the focus lock is performed (# 135). When the focus lock AF is selected, the determination result of step # 115 becomes true, and step # 120 is not executed thereafter. When the continuous AF is selected, step # 135 is not executed, and the determination result of step # 115 is always false.
[0045]
Next, the presence or absence of the S2 signal is determined (# 140). If there is no S2 signal, the process returns to step # 105. When the S2 signal is generated by fully pressing the release button 32, an image is captured (# 145), and the captured image is recorded on the memory card 61 (# 150). Further, the image is displayed on the display unit 20 as an after view, and an image representing the annotation area is displayed thereon (# 155).
[0046]
Thereafter, it is determined whether or not the voice key has been operated (# 160). When the voice key is operated, an annotation input by voice via the microphone 41 is accepted (# 165), and after the confirmation key is operated (# 170), the input annotation is stored in the memory card 61. (# 175).
[0047]
After the annotation is recorded, or when the voice key is not operated in the determination in step # 160, it is determined whether or not the four directional keys 36 are operated (# 180). The operation is waited until (# 195). If any of the direction keys is operated within a predetermined time, the position of the annotation area is changed accordingly (# 185), and it is determined whether or not the enter key is operated (# 190). If not, the process returns to step # 180.
[0048]
If it is determined in step # 190 that the enter key has been operated, it is determined whether one of the up key and the down key has been operated (# 200). Wait for operation (# 215). If any of these direction keys is operated within a predetermined time, the annotation area is enlarged or reduced accordingly (# 205), and it is determined whether or not the enter key is operated (# 210). If is not operated, the process returns to step # 200.
[0049]
When the enter key is operated in the determination of step # 210, when no direction key is operated within the predetermined time in the determination of steps # 180 and # 195, or when the determination key of step # 200 and # 215 is used. If the up key or the down key is not operated within the time, the position and size of the annotation area are recorded on the memory card 61 as information indicating the annotation area (# 220). Note that, after step # 220, an input of an annotation may be received and recorded in the same manner as in the processing of steps # 160 to # 175.
[0050]
Through such processing, a part of the imaging target that the user is interested in can be clearly photographed, and an annotation can be input to the part.
[0051]
FIG. 9 shows the flow of processing in the playback annotation mode. First, the image read from the memory card 61 and all images representing the annotation area are displayed on the display unit 20 (step # 305). At this time, the above-mentioned pointer is also displayed. Next, it is determined whether or not the four direction keys 36 have been operated (# 310). When any one of the direction keys is operated, the displayed pointer is moved accordingly (# 315), and the process returns to step # 305. In the second and subsequent processes in step # 305, the image representing the pointer and the annotation area is updated to the latest state.
[0052]
If the direction key 36 is not operated in the determination in step # 310, it is determined whether or not an additional key among the operation keys 35 is operated (# 320). When the additional key is operated, an annotation area corresponding to the position of the pointer is generated, and information indicating the annotation area is additionally recorded on the memory card 61 (# 325). Then, the process returns to step # 305.
[0053]
If it is determined in step # 320 that the additional key has not been operated, it is determined whether or not the cancel key has been operated (# 330). If the cancel key has been operated, the pointer is located on one of the annotation areas. It is determined whether or not it is (# 335). When the pointer is located on the annotation area, the information indicating the annotation area is deleted from the record of the memory card 61 (# 340), and the process returns to step # 305. If the pointer is not located on any annotation area, the process directly returns to step # 305.
[0054]
If it is determined in step # 330 that the cancel key has not been operated, it is determined whether the edit key has been operated (# 345). When the edit key is operated, it is determined whether or not the pointer is located on any annotation area (# 350). When the pointer is not located on any annotation area, the process returns to step # 305. .
[0055]
When the pointer is located on any one of the annotation areas, the display mode of the image of the annotation area is changed to indicate that the annotation area is selected (# 355). Then, it is determined whether or not an annotation is added to the annotation area (# 360). If one annotation is added, the annotation is selected. If a plurality of annotations are added, the first annotation is selected. (# 365). At this time, the number of the selected annotation and the number of the added annotations are added to the display. Next, it is determined whether the up key or the down key has been operated (# 370), and the selected annotation is switched according to the operation (# 365).
[0056]
After selecting an annotation, or when there is no annotation in the determination in step # 360, it is determined whether or not the voice key is operated (# 375). When the voice key is operated, it is determined whether or not the selected annotation is present. (# 380). Then, if there is a selected annotation, the annotation is output as a sound from the speaker 42 (# 385), and the process returns to step # 305.
[0057]
If the voice key is not operated in the determination of step # 375, or if there is no selected annotation in the determination of step # 380, it is determined whether the additional key is operated (# 390). When the additional key is operated, a comment input as a voice via the microphone 41 is accepted (# 395) until the enter key is operated (# 400). Then, the input comment is additionally recorded on the memory card 61 in correspondence with the selected comment area (# 405), and the process returns to step # 305.
[0058]
If it is determined in step # 390 that the additional key has not been operated, it is determined whether or not the cancel key has been operated (# 410). If the cancel key has been operated, it is determined whether or not the selected annotation exists (# 410). 415). If there is a selected comment, the comment is deleted from the recorded contents of the memory card 61 (# 420), and the process returns to step # 305.
[0059]
If the cancel key is not operated in the determination of step # 410, or if there is no selected annotation in the determination of step # 415, it is determined whether or not the four direction keys 36 are operated (# 425). Is operated, the image of the selected annotation area on the display unit 20 is moved accordingly (# 430). Then, it is determined whether or not the enter key has been operated (# 435). If not, the process returns to step # 425. If the direction key is not operated in step # 425, the process proceeds to step # 435.
[0060]
If it is determined in step # 435 that the enter key has been operated, it is determined whether the up key or the down key has been operated (# 440). The image of the selected annotation area on 20 is enlarged or reduced (# 445). Then, it is determined whether or not the enter key has been operated (# 450). If not, the process returns to step # 440. If the direction key is not operated in the determination at step # 440, the process proceeds to step # 450.
[0061]
When the enter key is operated in the determination at step # 450, the position and size of the selected annotation area recorded on the memory card 61 are changed to the new values according to the processing at steps # 430 and # 445. (# 455), and returns to step # 305. Note that the playback annotation mode is ended by operating the annotation button 34.
[0062]
By such a process, the user can define an arbitrary annotation area separately from the annotation area at the time of shooting and add an annotation. The determinations in steps # 310, # 320, # 330, and # 345, and the processing when these determination results are true, can be performed in any order. Also, the determinations in steps # 375, # 390, # 410, and # 425, and the processing when these determination results are true, can be performed in any order.
[0063]
In the digital camera 1, not only the annotation area but also the position and size of the reference area can be changed in the shooting mode as described above. The change of the reference area is performed according to the change of the annotation area by using the operation keys 35 and 36 after instructing the change by operating the dial 33. The change of the reference area is reflected on the image of the reference area displayed on the finder 15 together with the live view.
[0064]
When the reference region is changed, the control unit 70 detects contrast for automatic focus adjustment using image data generated by the image processing unit 50 from the changed reference region. By making the reference area variable, restrictions on the composition at the time of shooting are reduced. The composition can be freely set even with the focus lock AF, but if the reference area is made variable, it is also possible to select the continuous AF. Thus, for example, even when the distance to the photographing target changes and the photographing target is desired to be arranged at a desired position in the image, the photographing target can be reliably photographed clearly.
[0065]
A plurality of reference areas can be set. This is also performed in accordance with the change of the annotation area by using the operation keys 35 and 36 after instructing a plurality of settings by operating the dial 33. When a plurality of reference regions can be set, when there are a plurality of sites of particular interest to the user in the imaging target, it is possible to clearly image these sites. In this case, the regions photographed in the individual reference regions in the photographed images are respectively set as the annotation regions. As a result, it is possible to annotate each of a plurality of sites of interest to the user in the imaging annotation mode. FIG. 10 shows a display example of the display unit 20 when two reference regions are set.
[0066]
FIG. 11 shows a flow of processing in the shooting annotation mode for specifying a plurality of reference areas. In this process, the position and size of the reference area can also be changed. First, an image representing the standard reference area is displayed on the electronic viewfinder 15 together with the live view image (# 505). Next, it is determined whether or not the four directional keys 36 have been operated (# 510), and if any of the directional keys has been operated, the image of the displayed reference area is moved accordingly (# 515). ). Then, it is determined whether or not the enter key has been operated (# 520). If not, the process returns to step # 510. If the direction key is not operated in the determination at step # 510, the process proceeds to step # 520.
[0067]
If it is determined in step # 520 that the enter key has been operated, it is determined whether the up key or the down key has been operated (# 525). If either of the keys has been operated, the finder 15 has been operated accordingly. The image of the upper reference area is enlarged or reduced (# 530). Then, it is determined whether or not the enter key has been operated (# 535). If not, the process returns to step # 525. If the up key or the down key is not operated in step # 525, the process proceeds to step # 535.
[0068]
If the determination key is operated in step # 535, the position and size of the reference area are set to new values according to the processing in steps # 515 and # 530 (# 540). Then, it is determined whether or not the additional key has been operated (# 545). If the additional key has been operated, a new reference area is added (# 550). Then, returning to step # 505, the processing up to step # 540 is performed on the new reference area.
[0069]
If it is determined in step # 545 that the additional key has not been operated, it is determined whether the cancel key has been operated (# 555). When operated, the reference area is initialized to only the standard reference area (# 560), and the process returns to step # 505.
[0070]
If the cancel key is not operated in step # 555, it is determined whether or not the S1 signal has been generated (# 565). If there is no S1 signal, the process returns to step # 505. When the S1 signal is generated, the focus of the photographing lens 11 is adjusted based on the image data of all the reference areas of the image sensor 12 (# 570). Next, it is determined whether or not the light from the imaging target has formed an image (focus) on all the reference areas (# 575). If not, the process returns to step # 565. When in-focus, it is determined whether or not the S2 signal has been generated (# 580). If there is no S2 signal, the process returns to step # 565.
[0071]
If the S2 signal is generated in the determination at step # 580, an image is taken (# 585), and the taken image is recorded on the memory card 61 (# 590). Further, the captured image is displayed on the display unit 20 as an after view, and an image of the annotation area corresponding to all the reference areas is displayed thereon (# 595). Next, a process of receiving the input of the annotation and recording the input annotation on the memory card 61 is performed (# 600). This process is the same as steps # 160 to # 220 in FIG. 8, and is performed for one annotation area. If a reference area has been added in step # 550, this processing is first performed on the annotation area corresponding to the reference area initially set in step # 540.
[0072]
After performing the annotation input processing of step # 600 for one annotation area, it is determined whether or not an additional key has been operated (# 605). If the operation has not been performed, the operation is waited until a predetermined time elapses (# 630). When the additional key is operated within the predetermined time, it is determined whether or not the four direction keys 36 are operated (# 610). When any of the direction keys is operated, the display unit 20 is accordingly operated. Is moved (# 615). Then, it is determined whether or not the enter key has been operated (# 620), and if not, the process returns to step # 610. If no direction key is operated in step # 610, the process proceeds to step # 620.
[0073]
When the enter key is operated in the determination of step # 620, the annotation area where the pointer moved in step # 615 is located is selected (# 625), and the process returns to step # 600 to input the annotation for the selected annotation area. Perform processing. If it is determined in steps # 605 and # 630 that the additional key is not operated within the predetermined time, the process ends.
[0074]
Through such processing, the user can set a plurality of reference areas, arbitrarily determine the position and size of each reference area, and shoot an image. Furthermore, an annotation can be individually given using each reference area as an annotation area.
[0075]
Here, an example in which the reference region and the annotation region are square is described, but the reference region and the annotation region may have any shape. In this case, the information indicating the annotation area to be recorded includes the shape. For example, when the annotation area is rectangular, the size in the vertical direction and the size in the horizontal direction are included. By using the four direction keys 36, the size of the rectangular reference area and the annotation area can be set independently in the vertical and horizontal directions.
[0076]
Further, the digital camera 1 is configured to include the electronic viewfinder 15 so as to display an actually captured image as a live view, but may include an optical finder. Even in that case, the live view can be displayed by using the display unit 20. Although the electronic viewfinder 15 displays only the live view image, the electronic viewfinder 15 may also display an after-view image.
[0077]
Furthermore, in the digital camera 1, the annotation is input by voice, but the annotation may be input by key operation or handwriting operation. In the case of input by key operation, the Japanese syllabary and the alphabet can be displayed on the display unit 20, characters can be selected by the operation keys 35 and 36, and the sentence of the annotation can be converted by kana-kanji conversion. FIG. 12 shows a display example of the display unit 20 in this case. It is also possible to store some fixed sentences, display them on the display unit 20, and select a sentence with the operation keys 35 and 36. FIG. 13 shows a display example of the display unit 20 in this case.
[0078]
Even when the annotation is input by key operation, the annotation can be reproduced by voice. Conversely, annotations input by voice can be recorded as characters and reproduced as characters. These can be easily realized by a known technique for converting voice data and character data. FIG. 14 shows a display example of the display unit 20 when the annotation is reproduced and displayed as characters. Here, the annotation is displayed at the bottom of the image. In addition, a character (T in the alphabet) is displayed instead of a note as a symbol S indicating that the annotation area is annotated.
[0079]
【The invention's effect】
In an imaging apparatus in which an annotation related to a captured image is input and the input annotation is recorded together with the captured image, as in the present invention, an image sensor that captures an image by receiving light from the imaging target, An imaging optical system that guides light to an image sensor, an adjustment unit that adjusts a focus of the imaging optical system so that light from an imaging target forms an image on the reference region, with a partial area of the image sensor as a reference area, and an image. Display means for displaying an image, a recording means for recording an image on a recording medium, an input means for receiving an input of an annotation, and an image representing the annotation area, with an area of the captured image taken in the reference area as an annotation area. Generating means for generating, when an image is taken by the image sensor, the image taken by the display means and the image representing the annotation area are superimposed and displayed, the input means accepts the input of the annotation, and the recording means takes the image When the recorded image and the information indicating the annotation area are associated with the input annotation and recorded on the recording medium, it is possible to annotate only a part of the image, and the user designates the part to be annotated. There is no need to input annotations easily.
[0080]
In addition, since the annotation is given to a part of the imaging target that the user is most interested in, it is highly likely that the part to which the user wants to make an annotation is annotated.
In addition, since the clearest part in the image is annotated, when reproducing the image and the annotation, the annotated part is easy to understand. Using the recorded information, it is also possible to clearly indicate the annotated site.
[0081]
In the configuration including the change unit that changes the annotation area in response to an instruction from the user when the display unit is displaying the annotation area, the user can arbitrarily determine the part to which the annotation is to be added. This makes the device easy to use.
[0082]
If the configuration is provided with setting means for setting the reference area in accordance with an instruction from the user, composition restrictions are reduced during shooting, and the annotation area changes in conjunction with the reference area. Can be determined. If a plurality of reference regions are set, when there are a plurality of sites of particular interest to the user in the imaging target, it is possible to clearly capture all of those sites, and each of those sites You can also annotate them.
[0083]
Stop means for stopping the adjustment of the focus of the imaging optical system to the adjustment means when light from the imaging target forms an image on the reference area, and detecting a change in the relative position between the image sensor and the imaging object, and before the change. Detecting means for detecting, as a focus area, a changed area of the image sensor corresponding to a portion of the imaging target corresponding to the reference area, and stopping means for adjusting the focus of the imaging optical system to the adjusting means. When the image sensor captures an image in the state in which the image is captured, the detecting unit detects the in-focus region, and the generating unit performs imaging in the in-focus region instead of using the region captured in the reference region as the annotation region. If the designated area is set as an annotation area, the composition can be changed in a state where the user can clearly photograph a part of particular interest, and an annotation can be added to the part.
[0084]
The image processing apparatus further includes a designation unit that receives designation of a region of the image. In response to an instruction from the user, the recording unit reads the image from the recording medium, the display unit displays the read image, and the designation unit specifies the region of the image. Receiving the image, the generating unit generates an image representing the annotation region using the region of the image sensor corresponding to the specified image region as the annotation region, and displays the image representing the annotation region over the image read by the display unit, If the input means accepts the input of the annotation and the recording means records the information indicating the annotation area and the inputted annotation in association with the read image on the recording medium, the image is not limited to immediately after the photographing, but at any time. Can be annotated. Moreover, it is possible to annotate a desired part in the image.
[Brief description of the drawings]
FIG. 1A is a perspective view schematically showing the appearance of a digital camera according to an embodiment of the present invention, and FIG.
FIG. 2 is a block diagram schematically showing a circuit configuration of the digital camera.
FIG. 3 is a diagram schematically illustrating an example of a data structure recorded on a memory card.
FIG. 4 is a diagram showing an example of an image of an annotation area displayed in a shooting annotation mode.
FIG. 5 is a view showing an example of display including an image of an annotation area whose position and size have been changed.
FIG. 6 is a view showing an example of displaying an image of an annotation area when a plurality of annotation areas are recorded corresponding to one image.
FIG. 7 is a view showing an image displayed in a reproduction mode when an annotation is added in the example of FIG. 5;
FIG. 8 is a flowchart showing the flow of processing in a shooting annotation mode.
FIG. 9 is a flowchart showing a flow of a process in a reproduction annotation mode.
FIG. 10 is a view showing an example of display including an image of an annotation area when two reference areas are set.
FIG. 11 is a flowchart showing the flow of processing in a shooting annotation mode for specifying a plurality of reference areas.
FIG. 12 is a diagram showing an example of an image displayed to assist input when an annotation is input by key operation.
FIG. 13 is a diagram showing an example of an image displayed to assist selection when an annotation is stored as a fixed phrase and selected by key operation.
FIG. 14 is a diagram illustrating an example of an image displayed when an annotation is reproduced and displayed as a character.
[Explanation of symbols]
1 Digital camera
11 Shooting lens
12 Image sensor
13 Flash unit
14 Auxiliary light unit
15 Electronic viewfinder
20 Display
30 Operation unit
31 Main switch
32 Release button
33 Operation dial
34 Annotation button
35 Operation keys
36 Direction keys
41 microphone
42 speakers
50 Image processing unit
60 Recorder
61 Memory Card
70 control unit
81 Piezoelectric gyro

Claims

In an imaging apparatus in which an annotation regarding a captured image is input and the input annotation is recorded together with the captured image,
An image sensor that captures an image by receiving light from an object to be captured;
An imaging optical system that guides light from an imaging target to an image sensor;
Adjusting means for adjusting the focus of the imaging optical system so that light from the imaging target forms an image on the reference area, with a partial area of the image sensor as the reference area,
Display means for displaying an image;
Recording means for recording an image on a recording medium;
An input means for receiving an annotation input;
Generating means for generating an image representing the annotation area, with the area captured in the reference area of the captured image as the annotation area,
When the image sensor captures an image, the display unit displays the captured image and the image representing the annotation area in a superimposed manner, the input unit accepts the input of the annotation, and the recording unit captures the captured image and information indicating the annotation area. An image pickup apparatus, which records an input comment in a recording medium in association with the comment.

2. The imaging apparatus according to claim 1, further comprising a change unit that changes the annotation area in accordance with an instruction from a user when the display unit displays the annotation area.

The imaging apparatus according to claim 1, further comprising a setting unit configured to set a reference area according to an instruction from a user.

Stop means for stopping adjustment of the focus of the imaging optical system to the adjustment means when light from the imaging target forms an image on the reference area,
Detecting means for detecting a change in the relative position between the image sensor and the imaging target, and detecting, as a focus area, a region of the image sensor after the change corresponding to the part of the imaging target corresponding to the reference region before the change; With
When the imaging device captures an image in a state where the stopping unit stops adjusting the focus of the imaging optical system by the adjustment unit, the detection unit detects the in-focus region, and the generation unit detects the region captured in the reference region. The imaging apparatus according to claim 1, wherein an area captured in the in-focus area is set as an annotation area, instead of using as an annotation area.

With a designation means for accepting designation of a part of the image,
In response to an instruction from the user, the recording unit reads the image from the recording medium, the display unit displays the read image, the designation unit accepts the designation of the image part, and the generation unit determines the position of the designated image. An image representing the annotation area is generated using the corresponding image sensor area as an annotation area, an image representing the annotation area is displayed on the image read by the display means, the input means accepts the input of the annotation, and the recording means receives the annotation. 2. The imaging apparatus according to claim 1, wherein the information indicating the area and the input annotation are recorded on a recording medium in association with the read image.