JP2010128395A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2010128395A
JP2010128395A JP2008305691A JP2008305691A JP2010128395A JP 2010128395 A JP2010128395 A JP 2010128395A JP 2008305691 A JP2008305691 A JP 2008305691A JP 2008305691 A JP2008305691 A JP 2008305691A JP 2010128395 A JP2010128395 A JP 2010128395A
Authority
JP
Japan
Prior art keywords
line
detection
setting
imaging apparatus
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008305691A
Other languages
Japanese (ja)
Other versions
JP5205232B2 (en
Inventor
Tokumitsu Anada
徳光 穴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Digital Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Digital Imaging Co Ltd filed Critical Samsung Digital Imaging Co Ltd
Priority to JP2008305691A priority Critical patent/JP5205232B2/en
Priority to KR1020090058314A priority patent/KR20100061297A/en
Publication of JP2010128395A publication Critical patent/JP2010128395A/en
Application granted granted Critical
Publication of JP5205232B2 publication Critical patent/JP5205232B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus where an autofocus region is decided on the basis of a line designated on a picture by a photographer, and thus an object to be focused can be correctly designated. <P>SOLUTION: The imaging apparatus comprises: a display means displaying an image; a designation means designating a line to the image displayed on the display face of the display means; a detection means detecting the line designated by the designation means; and a region setting means setting a detection region used for autofocus control using the line detected by the detection means. By the constitution, an autofocus region is decided on the basis of the line designated on the picture by the photographer, and thus the object to be focused can be correctly designated. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置および撮像方法に関する。   The present invention relates to an imaging apparatus and an imaging method.

デジタルスチルカメラのように、CCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備え、被写体を電子的に撮影する電子的撮像装置においては、撮像素子で結像した画像を用いて被写体に自動的に焦点を合わせることができるオートフォーカス処理を備えている。   In an electronic image pickup apparatus that includes an image pickup device such as a CCD (Charge Coupled Devices) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, such as a digital still camera, and takes an image of a subject electronically, the image pickup device is connected. An autofocus process that can automatically focus on the subject using the imaged image is provided.

昨今の撮像装置は、オートフォーカス処理の際に、撮像素子で結像した画像における測距に用いるオートフォーカス領域(AF領域)を、撮影者が自由に指定することができる。AF領域は一般的に矩形であり、矩形のAF領域に含まれている被写体に焦点を合わせるようにオートフォーカス処理が実行される。しかし、AF領域に遠近両方の被写体が含まれていると正しく撮影距離情報が入手できないという問題があった。そのため、被写体の読み出し方法や評価方法を工夫して、撮影距離情報を正しく入手しようとすることが提案されている(例えば、特許文献1〜7参照)。   In recent imaging apparatuses, a photographer can freely specify an autofocus area (AF area) used for ranging in an image formed by an image sensor during autofocus processing. The AF area is generally rectangular, and the autofocus process is executed so as to focus on the subject included in the rectangular AF area. However, there is a problem that the shooting distance information cannot be obtained correctly if both the near and far subjects are included in the AF area. For this reason, it has been proposed to devise a subject reading method and an evaluation method so as to correctly obtain shooting distance information (see, for example, Patent Documents 1 to 7).

特開2007−19685号公報Japanese Patent Application Publication No. 2007-19985 特開2005−78009号公報JP 2005-78009 A 特開2004−48526号公報JP 2004-48526 A 特開2001−159730号公報JP 2001-159730 A 特開平06−70206号公報Japanese Patent Laid-Open No. 06-70206 特開2008−85737号公報JP 2008-85737 A 特開平11−136568号公報JP 11-136568 A

しかし、被写体の読み出し方法や評価方法を工夫して、正しく撮影距離情報を入手しようとしても、アルゴリズムによっては被写体の判定が難しくなる場合があり、かかる場合には焦点を合わせたい被写体に焦点が合わず、焦点を合わせたくない被写体に焦点が合ってしまうような誤動作を引き起こしてしまう。例えば、AF領域に遠近両方の被写体が含まれている場合に、どちらの被写体が焦点を合わせたい被写体であるのかを正しく検出することができないという問題があった。   However, even if you try to obtain the correct shooting distance information by devising the method of reading and evaluating the subject, it may be difficult to determine the subject depending on the algorithm. In such a case, focus on the subject you want to focus on. Therefore, it causes a malfunction that causes the subject that is not desired to be focused to be focused. For example, when both the near and near subjects are included in the AF area, there is a problem that it is impossible to correctly detect which subject is the subject to be focused.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影者が画面に表示された画像に対して線を指定し、撮影者によって指定された線に基づいてAF領域を決定することで、焦点を合わせたい被写体を正確に指定することが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to specify a line for an image displayed on a screen by a photographer, and to specify a line designated by the photographer. It is an object of the present invention to provide a new and improved imaging apparatus and imaging method capable of accurately specifying a subject to be focused by determining an AF area based on the above.

上記課題を解決するために、本発明のある観点によれば、画像を表示する表示手段と、表示手段の表示面に表示されている画像に対して線を指定する指定手段と、指定手段によって指定された線を検出する検出手段と、検出手段で検出した線を用いてオートフォーカス制御に用いる検出領域を領域設定手段と、を備える、撮像装置が提供される。   In order to solve the above problems, according to an aspect of the present invention, a display unit that displays an image, a designation unit that designates a line for an image displayed on the display surface of the display unit, and a designation unit An imaging apparatus is provided that includes detection means for detecting a designated line and area setting means for a detection area used for autofocus control using the line detected by the detection means.

かかる構成によれば、表示手段は画像を表示し、指定手段は表示手段の表示面に表示されている画像に対して線を指定し、検出手段は指定手段によって指定された線を検出す。そして、領域設定手段は検出手段で検出した線を用いてオートフォーカス制御に用いる検出領域を設定する。その結果、画面に表示された画像に対して指定された線に領域を決定することで、焦点を合わせたい領域が明確となり、焦点を合わせたい被写体を正確に指定することができる。   According to this configuration, the display means displays an image, the designation means designates a line with respect to the image displayed on the display surface of the display means, and the detection means detects the line designated by the designation means. The area setting means sets a detection area used for autofocus control using the line detected by the detection means. As a result, by determining the area on the line designated for the image displayed on the screen, the area to be focused becomes clear, and the subject to be focused can be accurately designated.

指定手段によって指定された線は、表示面の表面に設けられる線指定面に対して直接指定されたものであってもよい。そして、領域設定手段は、検出手段が検出した押圧強度に応じて検出領域の設定の際の優先度を決定してもよい。   The line designated by the designation means may be designated directly with respect to the line designation surface provided on the surface of the display surface. Then, the area setting means may determine the priority when setting the detection area according to the pressure intensity detected by the detection means.

領域設定手段は、検出手段が複数の線を検出した場合に、検出した順序に応じて検出領域の設定の際の優先度を決定してもよい。   The area setting means may determine the priority in setting the detection area according to the detection order when the detection means detects a plurality of lines.

領域設定手段は、検出手段が複数の線を検出した場合に、検出した線の長さに応じて検出領域の設定の際の優先度を決定してもよい。   The area setting means may determine the priority for setting the detection area according to the length of the detected line when the detecting means detects a plurality of lines.

また、指定手段によって指定された線は、表示面の表面に設けられる線指定面に対して間接的に指定されたものであってもよい。   Further, the line designated by the designation means may be indirectly designated with respect to the line designation surface provided on the surface of the display surface.

また、上記課題を解決するために、本発明の別の観点によれば、画像を表示する表示ステップと、表示ステップで表示された画像に対して線を指定する指定ステップと、指定ステップによって指定された線を検出する検出ステップと、検出ステップで検出した線の周囲の所定の近傍領域をオートフォーカス制御に用いる検出領域として設定する領域設定ステップと、を備える、撮像方法が提供される。   In order to solve the above problem, according to another aspect of the present invention, a display step for displaying an image, a specification step for specifying a line for the image displayed in the display step, and a specification step There is provided an imaging method comprising: a detection step for detecting a detected line; and a region setting step for setting a predetermined vicinity region around the line detected in the detection step as a detection region used for autofocus control.

以上説明したように本発明によれば、撮影者が画面に表示された画像に対して指定した線に基づいてオートフォーカス領域を決定することで、焦点を合わせたい被写体を正確に指定することが可能な、新規かつ改良された撮像装置および撮像方法を提供することができる。   As described above, according to the present invention, it is possible to accurately specify a subject to be focused by determining an autofocus area based on a line designated by the photographer for an image displayed on the screen. Possible new and improved imaging devices and imaging methods can be provided.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図1は、本発明の一実施形態にかかる撮像装置100の構成について示す説明図である。以下、図1を用いて本発明の一実施形態にかかる撮像装置100の構成について説明する。   First, the configuration of an imaging apparatus according to an embodiment of the present invention will be described. FIG. 1 is an explanatory diagram illustrating a configuration of an imaging apparatus 100 according to an embodiment of the present invention. Hereinafter, the configuration of the imaging apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

図1に示したように、本発明の一実施形態に係る撮像装置100は、ズームレンズ102と、絞り104と、フォーカスレンズ106と、CCD(Charge Coupled Devices)素子108と、アンプ一体型のCDS(Correlated Double Sampling)回路110と、A/D変換器112と、画像入力コントローラ114と、画像信号処理部116と、圧縮処理部120と、LCD(Liquid Crystal Display)ドライバ122と、LCD124と、タイミングジェネレータ126と、モータドライバ142a、142b、142cと、制御部128と、操作部132と、メモリ134と、VRAM(Video Random Access Memory)136と、メディアコントローラ138と、記録メディア140とを含む。   As shown in FIG. 1, an imaging apparatus 100 according to an embodiment of the present invention includes a zoom lens 102, a diaphragm 104, a focus lens 106, a CCD (Charge Coupled Devices) element 108, and an amplifier-integrated CDS. (Correlated Double Sampling) circuit 110, A / D converter 112, image input controller 114, image signal processing unit 116, compression processing unit 120, LCD (Liquid Crystal Display) driver 122, LCD 124, timing Generator 126, motor drivers 142a, 142b, 142c, control unit 128, operation unit 132, memory 134, VRAM (Video Random Access Memory) 136, media A controller 138, and a recording medium 140.

ズームレンズ102と、絞り104と、フォーカスレンズ106と、CCD素子108とで露光部を構成する。本実施形態ではCCD素子108を用いて露光部を構成しているが、本発明は係る例に限定されず、CCD素子の代わりにCMOS(Complementary Metal Oxide Semiconductor)素子を用いてもよい。CMOS素子は、CCD素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像を記録するまでの時間を短縮することができる。   The zoom lens 102, the diaphragm 104, the focus lens 106, and the CCD element 108 constitute an exposure unit. In the present embodiment, the exposure unit is configured using the CCD element 108, but the present invention is not limited to this example, and a CMOS (Complementary Metal Oxide Semiconductor) element may be used instead of the CCD element. Since the CMOS element can convert the image light of the subject into an electric signal at a higher speed than the CCD element, it is possible to shorten the time from when the subject is photographed until the image is recorded.

ズームレンズ102は、光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り104は、画像を撮影する際に、CCD素子108に入ってくる光量の調節を行う。フォーカスレンズ106は、光軸方向に前後して移動させることで被写体のピントを調節するものである。   The zoom lens 102 is a lens whose focal length continuously changes by moving back and forth in the optical axis direction, and shoots while changing the size of the subject. The diaphragm 104 adjusts the amount of light entering the CCD element 108 when taking an image. The focus lens 106 adjusts the focus of the subject by moving back and forth in the optical axis direction.

モータドライバ142a、142b、142cはズームレンズ102、絞り104およびフォーカスレンズ106を動作させるモータの制御を行う。モータドライバ142a、142b、142cを介してズームレンズ102、絞り104およびフォーカスレンズ106を動作させることで、被写体の大きさや光の量、ピントの調節を行う。   Motor drivers 142a, 142b, and 142c control motors that operate the zoom lens 102, the diaphragm 104, and the focus lens 106. By operating the zoom lens 102, the diaphragm 104, and the focus lens 106 via the motor drivers 142a, 142b, and 142c, the size of the subject, the amount of light, and the focus are adjusted.

CCD素子108は、ズームレンズ102、絞り104およびフォーカスレンズ106から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。   The CCD element 108 is an element for converting light incident from the zoom lens 102, the diaphragm 104, and the focus lens 106 into an electric signal. In this embodiment, the incident light is controlled by the electronic shutter to adjust the time for extracting the electric signal. However, the time for extracting the electric signal may be adjusted by controlling the incident light using the mechanical shutter.

CDS回路110は、CCD素子108から出力された電気信号の雑音を除去する、サンプリング回路の一種であるCDS回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではCDS回路とアンプとが一体となった回路を用いて撮像装置100を構成しているが、CDS回路とアンプとを別々の回路で構成してもよい。   The CDS circuit 110 is a circuit in which a CDS circuit that is a kind of sampling circuit that removes noise from the electrical signal output from the CCD element 108 and an amplifier that amplifies the electrical signal after removing the noise are integrated. . In the present embodiment, the imaging apparatus 100 is configured using a circuit in which a CDS circuit and an amplifier are integrated. However, the CDS circuit and the amplifier may be configured as separate circuits.

A/D変換器112は、CCD素子108で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。   The A / D converter 112 converts the electrical signal generated by the CCD element 108 into a digital signal, and generates raw image data.

画像信号処理部116は、A/D変換器112で生成された画像の生データに対する各種信号処理を行う回路である。   The image signal processing unit 116 is a circuit that performs various signal processing on the raw image data generated by the A / D converter 112.

圧縮処理部120は、画像信号処理部116で信号処理が施されたデータを、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、JPEG(Joint Photographic Experts Group)形式やJPEG2000形式に変換してもよい。   The compression processing unit 120 performs a compression process for compressing the data subjected to the signal processing by the image signal processing unit 116 into image data of an appropriate format. The image compression format may be a reversible format or an irreversible format. As an example of a suitable format, you may convert into a JPEG (Joint Photographic Experts Group) format and a JPEG2000 format.

LCD124は、撮影操作を行う前のライブビュー表示や、撮像装置100の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置100の各種情報のLCD124への表示は、LCDドライバ122を介して行われる。なお、本実施形態では、LCDに撮影操作を行う前のライブビュー表示や、撮像装置100の各種設定画面や、撮影した画像の表示等を行っているが、本発明においてはかかる例に限定されない。撮影操作を行う前のライブビュー表示や、撮像装置100の各種設定画面や、撮影した画像の表示等を、LCD以外の表示デバイス、例えば有機EL(Electro Luminescence)を用いた表示デバイスに対して行ってもよい。   The LCD 124 performs live view display before performing a shooting operation, various setting screens of the imaging apparatus 100, display of captured images, and the like. Display of image data and various information of the imaging apparatus 100 on the LCD 124 is performed via the LCD driver 122. In this embodiment, live view display before performing a shooting operation on the LCD, various setting screens of the imaging apparatus 100, display of a captured image, and the like are performed. However, the present invention is not limited to such an example. . Live view display before shooting operation, various setting screens of the image capturing apparatus 100, display of captured images, and the like are performed on a display device other than the LCD, for example, a display device using an organic EL (Electro Luminescence). May be.

タイミングジェネレータ126は、CCD素子108にタイミング信号を入力する。タイミングジェネレータ126からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ126からのタイミング信号によりCCD素子108の駆動が制御され、CCD素子108が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。   The timing generator 126 inputs a timing signal to the CCD element 108. The shutter speed is determined by the timing signal from the timing generator 126. That is, the drive of the CCD element 108 is controlled by the timing signal from the timing generator 126, and the image signal from the subject is incident within the time that the CCD element 108 is driven, thereby generating an electrical signal that is the basis of the image data. The

制御部128は、CCD素子108やCDS回路110などに対して信号系の命令を行ったり、操作部132の操作に対する操作系の命令を行ったりする。本実施形態においては、制御部128は1つのCPU(Central Processing Unit)であってもよく、信号系の命令と操作系の命令とを別々のCPUやDSP(Digital Signal Processor)で行うようにしてもよい。   The control unit 128 issues a signal-related command to the CCD element 108, the CDS circuit 110, and the like, and issues an operation-related command to the operation of the operation unit 132. In the present embodiment, the control unit 128 may be a single CPU (Central Processing Unit), and a signal system command and an operation system command are performed by separate CPUs or DSPs (Digital Signal Processors). Also good.

操作部132は、撮影モード選択部としての機能を含み、撮像装置100の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部132に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン、撮影操作を開始するシャッタボタン等が配置される。   The operation unit 132 includes a function as a shooting mode selection unit, and members for operating the imaging apparatus 100 and various settings at the time of shooting are arranged. The members arranged in the operation unit 132 include a power button, a cross key and a selection button for selecting a shooting mode and a shooting drive mode and setting an effect parameter, a shutter button for starting a shooting operation, and the like.

メモリ134は、撮影した画像や画像信号処理部116で信号処理が施された画像を一時的に記憶するものである。メモリ134は、複数の画像を記憶できるだけの記憶容量を有している。メモリ134への画像の読み書きは画像入力コントローラ114によって制御される。   The memory 134 temporarily stores captured images and images subjected to signal processing by the image signal processing unit 116. The memory 134 has a storage capacity sufficient to store a plurality of images. Reading and writing of images to and from the memory 134 is controlled by the image input controller 114.

VRAM136は、LCD124に表示する内容を保持するものであり、LCD124の解像度や最大発色数はVRAM136の容量に依存する。   The VRAM 136 holds contents displayed on the LCD 124, and the resolution and the maximum number of colors of the LCD 124 depend on the capacity of the VRAM 136.

記録メディア140は、撮影した画像を記録するものである。記録メディア140への入出力は、メディアコントローラ138によって制御される。記録メディア140には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。   The recording medium 140 records a photographed image. Input / output to / from the recording medium 140 is controlled by the media controller 138. As the recording medium 140, a memory card that is a card-type storage device that records data in a flash memory can be used.

以上、本発明の一実施形態にかかる撮像装置100の構成について説明した。次に、本発明の一実施形態にかかる撮像装置100に含まれる、制御部128の構成について説明する。   The configuration of the imaging device 100 according to the embodiment of the present invention has been described above. Next, the configuration of the control unit 128 included in the imaging apparatus 100 according to the embodiment of the present invention will be described.

図2は、本発明の一実施形態にかかる撮像装置100に含まれる、制御部128の構成について説明する説明図である。以下、図2を用いて本発明の一実施形態にかかる撮像装置100に含まれる、制御部128の構成について説明する。   FIG. 2 is an explanatory diagram illustrating the configuration of the control unit 128 included in the imaging apparatus 100 according to the embodiment of the present invention. Hereinafter, the configuration of the control unit 128 included in the imaging apparatus 100 according to the embodiment of the present invention will be described with reference to FIG.

図2に示したように、本発明の一実施形態にかかる制御部128は、適正露光算出部151と、露光制御部152と、オートフォーカス動作制御部153と、オートフォーカス領域設定部154と、線検出部155と、を含んで構成される。   As shown in FIG. 2, the control unit 128 according to the embodiment of the present invention includes a proper exposure calculation unit 151, an exposure control unit 152, an autofocus operation control unit 153, an autofocus area setting unit 154, A line detection unit 155.

適正露光算出部151は、CCD108に結像される画像が適正な露光となるように、絞り104の絞り値や、CCD108への露光時間を算出するものである。露光制御部152は、適正露光算出部151が算出した絞り104の絞り値や、CCD108への露光時間に基づいて、絞り104の動作や、CCD108への露光時間を制御するものである。適正露光算出部151で絞り104の絞り値や、CCD108への露光時間を算出することで、露光制御部152において、被写体の撮像時における絞り値やシャッタ時間を制御することが出来る。   The appropriate exposure calculation unit 151 calculates the aperture value of the aperture 104 and the exposure time for the CCD 108 so that the image formed on the CCD 108 is appropriately exposed. The exposure control unit 152 controls the operation of the aperture 104 and the exposure time to the CCD 108 based on the aperture value of the aperture 104 calculated by the appropriate exposure calculation unit 151 and the exposure time to the CCD 108. By calculating the aperture value of the aperture 104 and the exposure time to the CCD 108 by the appropriate exposure calculation unit 151, the exposure control unit 152 can control the aperture value and the shutter time when the subject is imaged.

オートフォーカス動作制御部153は、撮影者のオートフォーカス動作の開始指示に応じて、CCD108に結像される画像を合焦させるために、フォーカスレンズ106の動作を制御するものである。オートフォーカス動作制御部153は、後述のオートフォーカス領域設定部154によって設定されたオートフォーカス領域に含まれる画像に対してオートフォーカス処理を実行する。撮影者のオートフォーカス動作の開始指示としては、例えば、操作部132に含まれるシャッタボタンの、撮影者による半押し操作であってもよい。   The autofocus operation control unit 153 controls the operation of the focus lens 106 in order to focus the image formed on the CCD 108 in accordance with the start instruction of the autofocus operation by the photographer. The autofocus operation control unit 153 performs autofocus processing on an image included in an autofocus area set by an autofocus area setting unit 154 described later. As an instruction to start the autofocus operation of the photographer, for example, a half-press operation by the photographer of the shutter button included in the operation unit 132 may be used.

オートフォーカス領域設定部154は、オートフォーカス動作制御部153におけるオートフォーカス処理で用いられるオートフォーカス領域を設定するものである。オートフォーカス領域設定部154は、線検出部155で設定された、CCD108に結像される画像上の線に基づいて、オートフォーカス領域を設定する。オートフォーカス領域設定部154によるオートフォーカス領域の設定処理については、後に詳述する。   The autofocus area setting unit 154 sets an autofocus area used in autofocus processing in the autofocus operation control unit 153. The autofocus area setting unit 154 sets the autofocus area based on the line on the image formed on the CCD 108 set by the line detection unit 155. The autofocus area setting process by the autofocus area setting unit 154 will be described in detail later.

線検出部155は、LCD124にライブビュー表示されている画像に対して撮影者が指定した線を検出し、オートフォーカス領域設定部154でオートフォーカス領域を設定するための線を、CCD108に結像される画像上に設定するものである。   The line detection unit 155 detects a line designated by the photographer with respect to the image displayed on the live view on the LCD 124, and forms an image on the CCD 108 for setting the autofocus region by the autofocus region setting unit 154. Is set on the image to be displayed.

LCD124にライブビュー表示されている画像に対して撮影者が指やペン先などを用いて線を指定し、設定された線を線検出部155で検出するためには、タッチパネル部材その他の接触式検出手段をLCD124に設けてもよく、非接触式検出手段をLCD124に設けてもよい。接触式検出手段としては、抵抗膜方式、表面弾性波方式、音響パルス認識方式、電磁誘導方式等が挙げられる。この中で、電磁誘導方式はLCD124を指やペン先等で指した際の押圧強度が検出することができる方式である。   In order for the photographer to specify a line using a finger or a pen tip with respect to the image displayed in the live view on the LCD 124, and to detect the set line with the line detection unit 155, a touch panel member or other contact type The detection means may be provided on the LCD 124, and the non-contact detection means may be provided on the LCD 124. Examples of the contact detection means include a resistance film method, a surface acoustic wave method, an acoustic pulse recognition method, and an electromagnetic induction method. Among them, the electromagnetic induction method is a method that can detect the pressing strength when the LCD 124 is pointed with a finger or a pen tip.

また、非接触式検出手段としては、赤外線方式、静電容量方式、視線検出方式等を用いることができる。   As the non-contact detection means, an infrared method, a capacitance method, a line-of-sight detection method, or the like can be used.

赤外線方式を用いて、LCD124に表示された画像に対して線を指定するには、例えばLCD124の各辺に赤外線を発する装置および当該装置から発せられた赤外線を受光する装置を設け、指やペン先によって赤外線が遮られると、遮られた箇所を赤外線の受光装置で検出することで、LCD124に対して指定された場所を検出するようにしてもよい。   In order to designate a line for an image displayed on the LCD 124 using the infrared method, for example, a device that emits infrared light on each side of the LCD 124 and a device that receives infrared light emitted from the device are provided, and a finger or pen When the infrared ray is blocked by the tip, a location designated for the LCD 124 may be detected by detecting the blocked portion with an infrared light receiving device.

また、静電容量方式を用いて、LCD124に表示された画像に対して線を指定するには、例えばLCD124の背面に電極を設け、電極と撮影者の指との間に発生した静電容量を当該電極で感知することで、LCD124に対して指定された場所を検出するようにしてもよい。   In order to designate a line for an image displayed on the LCD 124 using the electrostatic capacity method, for example, an electrode is provided on the back surface of the LCD 124, and the electrostatic capacity generated between the electrode and the photographer's finger. May be detected by the electrode to detect a designated place on the LCD 124.

また、視線検出方式を用いて、LCD124に表示された画像に対して線を指定するには、例えばLCD124の近傍に視線を検出するための小型のカメラを設け、当該カメラによって撮影者の視線を検出することによって、LCD124に対して指定された場所を検出するようにしてもよい。   In addition, in order to designate a line for an image displayed on the LCD 124 using the line-of-sight detection method, for example, a small camera for detecting the line of sight is provided in the vicinity of the LCD 124, and the photographer's line of sight is detected by the camera. By detecting, a place designated for the LCD 124 may be detected.

以上、本発明の一実施形態にかかる撮像装置100に含まれる、制御部128の構成について説明した。次に、本発明の一実施形態にかかる撮像装置100の動作について説明するが、説明に入る前に、従来の撮像装置における問題点について説明する。   The configuration of the control unit 128 included in the imaging apparatus 100 according to the embodiment of the present invention has been described above. Next, the operation of the imaging apparatus 100 according to an embodiment of the present invention will be described. Prior to the description, problems in the conventional imaging apparatus will be described.

図3は、撮像装置100の遠側と近側の両方に被写体が存在する場合を横方向から見たときの一例について示す説明図である。図3では、撮像装置100から3mの地点に顔が、10mの地点に植物が被写体として存在する場合について示している。   FIG. 3 is an explanatory diagram illustrating an example of a case where a subject is present on both the far side and the near side of the imaging apparatus 100 as viewed from the lateral direction. FIG. 3 shows a case where a face is present at a point 3 m from the imaging apparatus 100 and a plant is present as a subject at a point 10 m away.

そして、図4は、図3のように被写体が存在する場合に、撮像装置100のCCD108で結像された画像の一例を示す説明図である。図4には、オートフォーカス領域160を併せて図示している。なお、図4に示した方眼は説明の便宜上付したものである。   FIG. 4 is an explanatory diagram showing an example of an image formed by the CCD 108 of the imaging apparatus 100 when a subject exists as shown in FIG. FIG. 4 also shows the autofocus area 160. Note that the grid shown in FIG. 4 is given for convenience of explanation.

このように、オートフォーカス領域160に遠側の被写体と近側の被写体とが含まれてしまうと、どちらの被写体に合焦させるべきなのかが分からず、合焦させるべきではない被写体の方に合焦させてしまう問題が生じる。図4のように、オートフォーカス領域160に遠側の被写体と近側の被写体とが含まれた場合に、一般的なオートフォーカス処理であるコントラスト検出方式によってオートフォーカス処理を実行したときに起こり得る問題点について説明する。   Thus, if the autofocus area 160 includes a far-side subject and a near-side subject, it is not possible to know which subject should be focused, and to the subject that should not be focused. There arises a problem of focusing. As shown in FIG. 4, when the autofocus area 160 includes a far-side subject and a near-side subject, this can occur when the autofocus processing is executed by a contrast detection method that is a general autofocus processing. Explain the problem.

図5は、コントラスト検出方式によってオートフォーカス処理を実行する際のフィルタの一例について示す説明図であり、図6は、図5に示したフィルタを用いてコントラスト検出方式によってコントラスト強度を求める場合の一例について示す流れ図である。そして、図7は、図6に示した流れ図によって画像のコントラスト強度を求めた場合における、撮像装置からの距離とコントラスト強度との関係の一例をグラフで示す説明図である。   FIG. 5 is an explanatory diagram showing an example of a filter when performing autofocus processing by the contrast detection method, and FIG. 6 shows an example of obtaining the contrast intensity by the contrast detection method using the filter shown in FIG. It is a flowchart shown about. FIG. 7 is an explanatory diagram showing, as a graph, an example of the relationship between the distance from the imaging device and the contrast intensity when the contrast intensity of the image is obtained using the flowchart shown in FIG.

図6に示したコントラスト強度の算出処理について説明する。検出領域におけるコントラスト強度を算出するには、まずコントラスト強度の値をリセット(コントラスト強度の値を格納する変数に0を設定)する(ステップS101)。コントラスト強度の値をリセットすると、続いて検出領域の横軸(x軸)方向の幅より2点少ない幅に対して、および検出領域の縦軸(y軸)方向の高さより2点少ない高さに対して、以下の処理を繰り返す(ステップS102、ステップS103)。   The contrast intensity calculation process shown in FIG. 6 will be described. In order to calculate the contrast intensity in the detection region, first, the value of the contrast intensity is reset (a variable for storing the contrast intensity value is set to 0) (step S101). When the contrast intensity value is reset, the height is subsequently two points smaller than the width of the detection region in the horizontal axis (x-axis) direction and two points less than the height of the detection region in the vertical axis (y-axis) direction. In response to this, the following processing is repeated (step S102, step S103).

コントラスト強度を算出するには、図5に示したフィルタのx軸方向およびy軸方向の全ての要素に対して、以下のコントラスト強度算出処理を繰り返す(ステップS104、ステップS105)。   In order to calculate the contrast intensity, the following contrast intensity calculation process is repeated for all elements in the x-axis direction and the y-axis direction of the filter shown in FIG. 5 (steps S104 and S105).

コントラスト強度は、検出領域の各座標の輝度値に対して図5に示したフィルタの値を乗じたものを、上記ステップS102、ステップS103で指定した範囲において積分することで算出する(ステップS106)。所定の座標に対して、図5に示したフィルタのx軸方向およびy軸方向の全ての要素を用いた演算処理が完了すると、次の座標への処理に移行する(ステップS107、ステップS108)。そして、全ての演算対象領域に対する演算処理が完了すると(ステップS109、ステップS110)、コントラスト強度算出処理を終了する。   The contrast intensity is calculated by integrating the luminance value of each coordinate of the detection area multiplied by the filter value shown in FIG. 5 in the range specified in steps S102 and S103 (step S106). . When the calculation process using all the elements in the x-axis direction and the y-axis direction of the filter shown in FIG. 5 is completed for a predetermined coordinate, the process proceeds to the process to the next coordinate (step S107, step S108). . When the calculation process for all the calculation target areas is completed (step S109, step S110), the contrast intensity calculation process ends.

図7に示したグラフでは、近側の被写体のコントラスト強度よりも、遠側の被写体のコントラスト強度の値の方が大きい。コントラスト検出方式によってオートフォーカス処理を実行する場合には、コントラスト強度の値が大きい被写体に合焦させるので、近側の被写体である顔よりも、遠側の被写体である植物のほうに焦点が合ってしまう。従って、撮影者が植物ではなく顔に焦点を合わせたいと考えている場合には、オートフォーカス処理が誤動作してしまうことになる。   In the graph shown in FIG. 7, the contrast intensity value of the far-side subject is larger than the contrast intensity of the near-side subject. When auto-focus processing is performed using the contrast detection method, it focuses on a subject with a high contrast intensity, so it focuses on a plant that is a far-side subject rather than a face that is a near-side subject. End up. Therefore, if the photographer wants to focus on the face, not the plant, the autofocus process will malfunction.

そこで、本実施形態においては、LCD124にライブビュー表示されている画像に対して撮影者が指やペン先などを用いて、ピントを合わせたい被写体に対して線を描き、描かれた線の周囲をオートフォーカス領域とすることで、焦点を合わせたい被写体に正確に合焦させることができる。以下、本発明の一実施形態にかかる撮像装置100の動作について説明する。   Therefore, in the present embodiment, the photographer draws a line on the subject to be focused on with respect to the image displayed in the live view on the LCD 124 by using a finger or a pen tip, and the surroundings of the drawn line. By using as the autofocus area, it is possible to accurately focus on the subject to be focused. Hereinafter, the operation of the imaging apparatus 100 according to the embodiment of the present invention will be described.

図8は、本発明の一実施形態にかかる撮像装置100のLCD124にライブビュー表示された画像に対してオートフォーカス領域を指定した場合について示す説明図である。なお、図8に示した方眼は説明の便宜上付したものであり、実際にLCD124にライブビュー表示される画像にはこのような方眼は表示されない。   FIG. 8 is an explanatory diagram showing a case where an autofocus area is designated for an image displayed in live view on the LCD 124 of the imaging apparatus 100 according to the embodiment of the present invention. Note that the grids shown in FIG. 8 are given for convenience of explanation, and such grids are not displayed in an image that is actually displayed in live view on the LCD 124.

また、図8に示した図面には、撮影者によって指示された指示線172と、指示線172によってオートフォーカス領域設定部154で設定される検出領域174と、を併せて示している。指示線172は、例えば撮影者が指やペン先等を用いてLCD124に表示された画像の任意の場所をなぞることによって設定される。図8に示した例では、近側の被写体である顔に焦点を合わせるために、顔の輪郭をなぞるように指示線172を指定した場合を示している。図8に示したように、LCD124に表示された画像に対して指示線172を指定することで、顔に焦点を合わせるための検出領域174を撮像装置100に設定することが出来る。なお、指示線172を指定する際には、撮影者がどの位置を指示線として指定したかを把握しやすくするために、撮影者が指示した箇所の軌跡が残るように、LCD124に指示線172を表示させることが望ましい。   8 also shows an instruction line 172 instructed by the photographer and a detection area 174 set by the autofocus area setting unit 154 by the instruction line 172. The instruction line 172 is set, for example, when the photographer traces an arbitrary place on the image displayed on the LCD 124 using a finger or a pen tip. In the example shown in FIG. 8, in order to focus on the face that is the subject on the near side, the instruction line 172 is designated so as to trace the outline of the face. As shown in FIG. 8, by specifying an instruction line 172 for the image displayed on the LCD 124, a detection region 174 for focusing on the face can be set in the imaging apparatus 100. When the instruction line 172 is designated, the instruction line 172 is displayed on the LCD 124 so that the locus of the location designated by the photographer remains in order to make it easy to grasp which position the photographer designated as the instruction line. It is desirable to display.

指示線172を指定する際には、LCD124に表示された画像の拡大・縮小処理と組み合わせてもよい。例えば、LCD124に表示された画像を、操作部132の操作によって拡大させ、拡大された画像に対して指示線172を指定してもよい。このように、LCD124に表示された画像の拡大・縮小処理と組み合わせて指示線172を指定することで、より細かい範囲での検出領域174の設定が可能となる。   When the instruction line 172 is designated, it may be combined with enlargement / reduction processing of an image displayed on the LCD 124. For example, the image displayed on the LCD 124 may be enlarged by operating the operation unit 132, and the instruction line 172 may be designated for the enlarged image. Thus, by specifying the instruction line 172 in combination with the enlargement / reduction processing of the image displayed on the LCD 124, the detection region 174 can be set in a finer range.

図9は、本発明の一実施形態にかかる撮像装置100において、指示線172が指定された場合の検出領域174の設定方法について説明する流れ図である。以下、図9を用いて、本発明の一実施形態にかかる撮像装置100において、指示線172が指定された場合の検出領域174の設定方法について説明する。   FIG. 9 is a flowchart illustrating a method for setting the detection area 174 when the instruction line 172 is designated in the imaging apparatus 100 according to the embodiment of the present invention. Hereinafter, a method for setting the detection region 174 when the instruction line 172 is designated in the imaging apparatus 100 according to the embodiment of the present disclosure will be described with reference to FIG. 9.

まず、撮影者によって、LCD124に表示された画像に対して指先やペン先等を用いて線が入力されると、線検出部155において、撮影者によって入力された線を検出する。そして、線検出部が検出した線を指示線172として取得する(ステップS111)。   First, when a photographer inputs a line to the image displayed on the LCD 124 using a fingertip or a pen tip, the line detector 155 detects the line input by the photographer. Then, the line detected by the line detection unit is acquired as the instruction line 172 (step S111).

上記ステップS111において、線検出部155で指示線172を取得すると、オートフォーカス領域設定部154において、取得した指示線172を、オートフォーカス領域の設定のために、所定の二次元座標系(オートフォーカス評価座標系)に変換する(ステップS112)。ステップS112で指示線172をオートフォーカス座標系に変換すると、続いてオートフォーカス領域設定部154で検出領域174を指定するために、オートフォーカス評価座標系におけるy軸用の変数yを1に設定し(ステップS113)、変数iが、0から指示線172の要素数になるまで以下の処理を繰り返す(ステップS114)。   In step S111, when the line detection unit 155 acquires the instruction line 172, the autofocus area setting unit 154 converts the acquired instruction line 172 into a predetermined two-dimensional coordinate system (autofocus) for setting the autofocus area. (Evaluation coordinate system) is converted (step S112). When the instruction line 172 is converted into the autofocus coordinate system in step S112, the variable y for the y axis in the autofocus evaluation coordinate system is set to 1 in order to specify the detection area 174 in the autofocus area setting unit 154. (Step S113), the following processing is repeated until the variable i becomes 0 to the number of elements of the instruction line 172 (Step S114).

まず、オートフォーカス評価座標系におけるx軸用の変数xを1に設定し(ステップS115)、続いてx軸方向のオートフォーカス領域を決定するための変数x_offsetが−MからMまで以下の処理を繰り返す(ステップS116)。なお、Mは検出領域174のx軸方向の幅を決めるための変数であり、図8に示した例であれば、Mの値は3となる。もちろん、Mの値はかかる例に限られないことはいうまでもない。例えば、Mの値を0に設定すれば、指示線172のみをオートフォーカス検出領域として設定することができる。   First, the x-axis variable x in the autofocus evaluation coordinate system is set to 1 (step S115), and then the following process is performed from the variable x_offset for determining the autofocus area in the x-axis direction from −M to M. Repeat (step S116). Note that M is a variable for determining the width in the x-axis direction of the detection region 174. In the example shown in FIG. Of course, it goes without saying that the value of M is not limited to this example. For example, if the value of M is set to 0, only the instruction line 172 can be set as the autofocus detection area.

検出領域174の座標を算出するために、オートフォーカス評価座標系における、被写体のコントラストを評価する領域(評価領域)のx座標の値を示す変数xxには、指示線172のx座標の値(FocusCurve[i].x)に変数x_offsetの値を加算したものを設定し、評価領域のy座標の値を示す変数yyには、指示線172のy座標の値(FocusCurve[i].y)の値を設定する(ステップS117)。そして、このステップS117で設定した変数xxおよびyyの値を、検出領域174のx座標およびy座標として設定する(ステップS118)。   In order to calculate the coordinates of the detection region 174, the variable xx indicating the value of the x coordinate of the region (evaluation region) for evaluating the contrast of the subject in the autofocus evaluation coordinate system includes the value of the x coordinate of the instruction line 172 ( The value obtained by adding the value of the variable x_offset to FocusCurve [i] .x) is set, and the value of the y-coordinate of the indication line 172 (FocusCurve [i] .y) is set in the variable yy indicating the value of the y-coordinate of the evaluation area. Is set (step S117). Then, the values of the variables xx and yy set in step S117 are set as the x coordinate and y coordinate of the detection area 174 (step S118).

上記ステップS118で、ステップS117で設定した変数xxおよびyyの値を、オートフォーカス領域のx座標およびy座標として設定すると、変数x_offsetおよび変数xの値を1増やす(ステップS119)。ここで変数x_offsetの値がMの値より大きくなれば上記ステップS116で示した繰り返し処理を終了する。   In step S118, when the values of variables xx and yy set in step S117 are set as the x coordinate and y coordinate of the autofocus area, the values of variable x_offset and variable x are increased by 1 (step S119). Here, if the value of the variable x_offset is larger than the value of M, the iterative process shown in step S116 is terminated.

上記ステップS116で示した繰り返し処理が終了すると、変数iおよび変数yの値を1増やす(ステップS120)。ここで、変数iの値が指示線172の要素数より大きくなれば、上記ステップS114で示した繰り返し処理を終了し、検出領域174の設定処理を終了する。   When the iterative process shown in step S116 is completed, the values of variable i and variable y are incremented by 1 (step S120). If the value of the variable i is larger than the number of elements on the instruction line 172, the iterative process shown in step S114 is terminated, and the setting process for the detection area 174 is terminated.

以上、本発明の一実施形態にかかる撮像装置100において、指示線172が指定された場合の検出領域174の設定方法について説明した。このように、撮影者によって指定された指示線172の近傍の領域を、被写体に合焦させるための検出領域174として設定することができる。図8に示した例では、指示線172を指定することで、遠側の被写体である植物ではなく、近側の被写体である顔に焦点を合わせることが出来る。   Heretofore, the method for setting the detection area 174 when the instruction line 172 is designated in the imaging apparatus 100 according to the embodiment of the present invention has been described. In this manner, the area near the instruction line 172 designated by the photographer can be set as the detection area 174 for focusing on the subject. In the example illustrated in FIG. 8, by specifying the instruction line 172, it is possible to focus on the face that is the near subject, not the plant that is the far subject.

図10は、図9に示した本発明の一実施形態にかかる検出領域174の設定方法によって設定された検出領域174を用いて、コントラスト強度を算出した場合の一例をグラフで示す説明図である。図10に示したグラフは、図7に示したグラフと同様に、図5のフィルタを用いて図6に示したコントラスト強度の算出方法でコントラスト強度を算出した場合における、撮像装置100からの距離とコントラスト強度との関係の一例を示したものである。   FIG. 10 is an explanatory diagram illustrating an example of a case where the contrast intensity is calculated using the detection region 174 set by the detection region 174 setting method according to the embodiment of the present invention illustrated in FIG. 9. . Similar to the graph shown in FIG. 7, the graph shown in FIG. 10 is the distance from the imaging device 100 when the contrast intensity is calculated by the contrast intensity calculation method shown in FIG. 6 using the filter of FIG. 5. Shows an example of the relationship between the contrast intensity and the contrast intensity.

図8に示したように指示線172を指定することで、検出領域174が設定される。この検出領域174の設定により、図10に示したように、近側の被写体(顔)だけのコントラスト強度のピークのみが検出される。従って、図8に示したように指示線172を指定することで、焦点を合わせたい近側の被写体(顔)に、正確に合焦させることが可能となる。   By designating the instruction line 172 as shown in FIG. 8, the detection area 174 is set. By setting the detection area 174, as shown in FIG. 10, only the contrast intensity peak of only the near subject (face) is detected. Therefore, by specifying the instruction line 172 as shown in FIG. 8, it is possible to accurately focus on the near subject (face) to be focused.

続いて、撮影者によって指示線が複数設定された場合における検出領域の設定方法の一例について説明する。図11は、本発明の一実施形態にかかる撮像装置100において、撮影者によって指示線が複数設定された場合に、指示線を検出した順番と、当該順番に応じて決定する重みとの関係の一例についてグラフで説明する説明図である。図11に示した例では、先に検出された指示線に基づいて設定される検出領域を用いるときほど、コントラスト強の算出の際に大きな重みを用い、後に検出された指示線に対しては小さな重みを用いる場合について示したものである。かかる重みは、所定の時間内に複数の指示線が設定された場合に用いるようにしてもよい。もちろん、本発明においては、図11に示したもの以外の重みを設定できることは言うまでも無い。   Next, an example of a detection area setting method when a plurality of instruction lines are set by the photographer will be described. FIG. 11 shows the relationship between the order in which the instruction lines are detected and the weights determined according to the order when a plurality of instruction lines are set by the photographer in the imaging apparatus 100 according to the embodiment of the present invention. It is explanatory drawing demonstrated with a graph about an example. In the example shown in FIG. 11, as the detection area set based on the previously detected instruction line is used, a larger weight is used in calculating the contrast strength, and the detected line is detected later. This is a case where a small weight is used. Such weight may be used when a plurality of instruction lines are set within a predetermined time. Of course, in the present invention, it is needless to say that weights other than those shown in FIG. 11 can be set.

撮影者によって、LCD124に表示された画像に対して、指示線が複数設定された場合に、検出領域の設定の際に図11に示したような重みを用いることで、適切な指示線を検出領域として設定することができる。図12は、本発明の一実施形態にかかる撮像装置100において、CCD108に結像された画面に対し、複数の指示線が設定された場合について示す説明図である。図12には、1回目の指示によって指示された指示線172aと、2回目の指示によって指示された指示線172bとを示している。また図12には、1回目の指示によって指示された指示線172aに基づいて設定された検出領域174a、および2回目の指示によって指示された指示線172bに基づいて設定された検出領域174bも併せて示している。図12に示した検出領域174a、174bは、図9に示した検出領域の設定方法を用いて、それぞれ設定することができる。   When a plurality of instruction lines are set for the image displayed on the LCD 124 by the photographer, an appropriate instruction line is detected by using the weights shown in FIG. 11 when setting the detection area. It can be set as an area. FIG. 12 is an explanatory diagram showing a case where a plurality of instruction lines are set on the screen imaged on the CCD 108 in the imaging apparatus 100 according to the embodiment of the present invention. FIG. 12 shows an instruction line 172a instructed by the first instruction and an instruction line 172b instructed by the second instruction. FIG. 12 also shows a detection area 174a set based on the instruction line 172a specified by the first instruction and a detection area 174b set based on the instruction line 172b specified by the second instruction. It shows. The detection areas 174a and 174b shown in FIG. 12 can be set using the detection area setting method shown in FIG.

図13は、本発明の一実施形態にかかる撮像装置100において、撮影者によって指示線が複数設定された場合の、コントラスト強度の検出方法について説明する流れ図である。図13は、図6に示したコントラスト強度の検出方法において、コントラスト強度を算出している箇所(ステップS106)を、図11に示した重みを考慮したもの(ステップS126)に置き換えた場合を示したものである。すなわち、コントラスト強度は、検出領域の各座標の輝度値に対して図5に示したフィルタの値を乗じたものを、上記ステップS102、ステップS103で指定した範囲において積分することで算出しているが、重みを考慮する場合には、図13のステップS126に示したように、検出領域の各座標の輝度値に対して、図5に示したフィルタの値と、当該検出領域における検出順の重みとを乗じる。   FIG. 13 is a flowchart illustrating a contrast intensity detection method when a plurality of instruction lines are set by the photographer in the imaging apparatus 100 according to the embodiment of the present invention. FIG. 13 shows the case where the contrast intensity detection method shown in FIG. 6 is replaced with the part (step S106) where the contrast intensity is calculated, in consideration of the weight shown in FIG. 11 (step S126). It is a thing. That is, the contrast intensity is calculated by integrating the brightness value of each coordinate of the detection area multiplied by the filter value shown in FIG. 5 in the range specified in steps S102 and S103. However, when considering the weight, as shown in step S126 of FIG. 13, the value of the filter shown in FIG. 5 and the detection order in the detection region are compared with the luminance value of each coordinate of the detection region. Multiply by weight.

図14は、図13に示したコントラスト強度の算出方法を用いて、図12に示した画像のコントラスト強度を算出した場合の、撮像装置100からの測距結果とコントラスト強度との関係をグラフで示す説明図である。同じような被写体に対してコントラスト強度を算出しているが、図14に示したように、指示線の検出順に応じて設定される、図11に示した重みによって、コントラスト強度のピークの値が異なる。従って、指示線が複数検出された場合であっても適切にコントラスト強度を算出し、被写体に合焦させることが可能となる。   FIG. 14 is a graph showing the relationship between the distance measurement result from the imaging apparatus 100 and the contrast intensity when the contrast intensity of the image shown in FIG. 12 is calculated using the contrast intensity calculation method shown in FIG. It is explanatory drawing shown. The contrast intensity is calculated for the same subject, but as shown in FIG. 14, the peak value of the contrast intensity is set by the weight shown in FIG. 11 set according to the detection order of the instruction lines. Different. Therefore, even when a plurality of instruction lines are detected, it is possible to appropriately calculate the contrast intensity and focus on the subject.

続いて、撮影者によって指示線が設定された際の押圧強度によってコントラスト強度を算出する際の重みを決定することで、コントラスト強度を算出する場合について説明する。図15は、本発明の一実施形態にかかる撮像装置100において、撮影者によって指示線が設定された際のLCD124に対する押圧強度と、当該押圧強度に応じて決定する重みとの関係の一例についてグラフで説明する説明図である。図15に示したグラフでは、横軸が押圧強度を正規化した値を示しており、縦軸は重みを示している。このように、指示線を設定した際のLCD124に対する押圧強度に応じて重みを設定することで、当該重みを用いてコントラスト強度を算出することが出来る。なお、押圧強度を検出するためには、LCD124に電磁誘導方式のタッチパネル部材を備えていることが望ましい。また、本発明においては、図15に示した押圧強度と重みとの関係に限られないことは言うまでも無く、また設定する重みは、図15に示したような不連続なもので無くてもよく、押圧強度の大きさに比例して増加するようなものであってもよい。   Next, a case where the contrast intensity is calculated by determining the weight for calculating the contrast intensity based on the pressing intensity when the instruction line is set by the photographer will be described. FIG. 15 is a graph showing an example of the relationship between the pressing strength against the LCD 124 when the instruction line is set by the photographer and the weight determined according to the pressing strength in the imaging apparatus 100 according to the embodiment of the present invention. FIG. In the graph shown in FIG. 15, the horizontal axis indicates a value obtained by normalizing the pressing strength, and the vertical axis indicates the weight. In this way, by setting the weight according to the pressure intensity on the LCD 124 when the instruction line is set, the contrast intensity can be calculated using the weight. In order to detect the pressing strength, it is desirable that the LCD 124 includes an electromagnetic induction type touch panel member. In the present invention, it goes without saying that the relationship between the pressure intensity and the weight shown in FIG. 15 is not limited, and the weight to be set is not discontinuous as shown in FIG. Alternatively, it may increase in proportion to the magnitude of the pressing strength.

図16は、本発明の一実施形態にかかる撮像装置100において、CCD108に結像された画面に対して指示線を設定する場合について示す説明図である。図16では、指示線172cに押圧強度を表す数値を併せて示している。また、図16には、指示線172cによって設定される検出領域174cも併せて示している。図16に示した検出領域174cは、図9に示した検出領域の設定方法を用いて設定することができる。   FIG. 16 is an explanatory diagram showing a case where an instruction line is set for the screen imaged on the CCD 108 in the imaging apparatus 100 according to the embodiment of the present invention. In FIG. 16, a numerical value representing the pressing strength is shown together with the instruction line 172c. FIG. 16 also shows a detection area 174c set by the instruction line 172c. The detection area 174c shown in FIG. 16 can be set using the detection area setting method shown in FIG.

図16では、遠側の被写体(植物)に近い位置では指示線172cを設定した際の押圧強度は弱く、近側の被写体(顔)に近い位置では指示線172cを設定した際の押圧強度が強くなるように、撮影者によって指示線172cが設定された場合を例示している。指示線172cに併記した数値は、正規化した押圧強度の値を示しており、数値が大きいほどその箇所の押圧強度が大きいことを示して。そして、図16では、図4に示した場合と同様に、検出領域174cに遠側の被写体と近側の被写体とが含まれている場合を示している。図16に示したように指示線172cを設定することで、検出領域174cに遠側の被写体と近側の被写体が含まれた場合であっても、近側の被写体に焦点を合わせられるようにコントラスト強度を算出することができる。   In FIG. 16, the pressing strength when the instruction line 172c is set is weak at a position close to the far subject (plant), and the pressing strength when the instruction line 172c is set at a position close to the near subject (face). The case where the instruction line 172c is set by the photographer so as to become stronger is illustrated. The numerical value written together with the instruction line 172c shows the value of the normalized pressing strength, and the larger the numerical value, the higher the pressing strength at that point. FIG. 16 shows a case where the far-side subject and the near-side subject are included in the detection region 174c, as in the case shown in FIG. By setting the instruction line 172c as shown in FIG. 16, even if the detection area 174c includes a far subject and a near subject, the near subject can be focused. The contrast intensity can be calculated.

図17は、本発明の一実施形態にかかる撮像装置100において、撮影者によって指示線が設定された場合に、押圧強度に応じた重みを設定するときの、コントラスト強度の検出方法について説明する流れ図である。図17は、図6に示したコントラスト強度の検出方法において、コントラスト強度を算出している箇所(ステップS106)を、図15に示した押圧強度に基づいた重みを考慮したもの(ステップS136)に置き換えた場合を示したものである。   FIG. 17 is a flowchart for explaining a contrast intensity detection method when setting a weight according to the pressing intensity when an instruction line is set by the photographer in the imaging apparatus 100 according to the embodiment of the present invention. It is. FIG. 17 shows a part (step S106) where the contrast intensity is calculated in the contrast intensity detection method shown in FIG. 6 in consideration of the weight based on the pressure intensity shown in FIG. 15 (step S136). The case where it replaced is shown.

図18は、図17に示したコントラスト強度の算出方法を用いて、図16に示した画像のコントラスト強度を算出した場合の、撮像装置100からの測距結果とコントラスト強度との関係をグラフで示す説明図である。指示線172cを設定する際の押圧強度に応じた重みを用いることで、検出領域174cに遠側の被写体と近側の被写体とが含まれている場合であっても、図18に示したように、近側の被写体のコントラスト強度が大きくなるようにコントラスト強度を算出することができる。   FIG. 18 is a graph showing the relationship between the distance measurement result from the imaging apparatus 100 and the contrast intensity when the contrast intensity of the image shown in FIG. 16 is calculated using the contrast intensity calculation method shown in FIG. It is explanatory drawing shown. As shown in FIG. 18, even when the detection area 174c includes a subject on the far side and a subject on the near side by using a weight corresponding to the pressure intensity when setting the instruction line 172c. In addition, the contrast intensity can be calculated so that the contrast intensity of the near subject increases.

以上説明したように本発明の一実施形態にかかる撮像装置100によれば、オートフォーカス領域を設定する際に、LCD124に対して撮影者の指やペン先などを用いて、オートフォーカス領域の決定に用いる指示線を設定することができる。そして、本発明の一実施形態にかかる撮像装置100は、設定された指示線を検出し、指示線を用いてオートフォーカス領域を設定する。これにより、本発明の一実施形態にかかる撮像装置100は、撮影者が指示した線の近傍をオートフォーカス領域に設定することができ、撮影者が合焦させたい被写体に適切に合焦させることが可能となる。   As described above, according to the imaging apparatus 100 according to the embodiment of the present invention, when the autofocus area is set, the determination of the autofocus area is performed on the LCD 124 using the photographer's finger or a pen tip. It is possible to set an instruction line used for the. And the imaging device 100 concerning one Embodiment of this invention detects the set instruction | indication line, and sets an auto-focus area | region using an instruction | indication line. Thereby, the imaging apparatus 100 according to the embodiment of the present invention can set the vicinity of the line designated by the photographer as the autofocus area, and appropriately focus on the subject that the photographer wants to focus on. Is possible.

また、本発明の一実施形態にかかる撮像装置100によれば、指示線を検出する際に、指示線の検出順や、指示線を設定する際の押圧強度に応じた重みを設定することで、より撮影者の希望に添ったオートフォーカス領域を設定することが可能となる。   In addition, according to the imaging apparatus 100 according to the embodiment of the present invention, when detecting an instruction line, by setting the weight according to the detection order of the instruction line and the pressing strength when setting the instruction line. Thus, it is possible to set an autofocus area that better meets the photographer's wishes.

なお、上述した撮像装置100の動作は、撮像装置100の内部に(例えばメモリ134に)コンピュータプログラムを記憶させ、記憶された当該コンピュータプログラムを制御部128が読み出して順次実行することによってなされるようにしてもよい。   The above-described operation of the imaging apparatus 100 is performed by storing a computer program inside the imaging apparatus 100 (for example, in the memory 134), and reading out the stored computer program and sequentially executing the stored computer program. It may be.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

本発明は、撮像装置および撮像方法に適用可能であり、特に被写体に自動的に合焦させることができる撮像装置および撮像方法に適用可能である。   The present invention can be applied to an imaging apparatus and an imaging method, and in particular, can be applied to an imaging apparatus and an imaging method that can automatically focus on a subject.

本発明の一実施形態にかかる撮像装置100の構成について示す説明図である。It is explanatory drawing shown about the structure of the imaging device 100 concerning one Embodiment of this invention. 本発明の一実施形態にかかる撮像装置100に含まれる、制御部128の構成について説明する説明図である。It is explanatory drawing explaining the structure of the control part 128 contained in the imaging device 100 concerning one Embodiment of this invention. 撮像装置の遠側と近側の両方に被写体が存在する場合を横方向から見たときの一例について示す説明図である。It is explanatory drawing which shows an example when the case where a to-be-photographed object exists in both the far side and near side of an imaging device is seen from a horizontal direction. 撮像装置100のCCD108で結像された画像の一例を示す説明図である。6 is an explanatory diagram illustrating an example of an image formed by the CCD of the imaging apparatus 100. FIG. コントラスト検出方式によってオートフォーカス処理を実行する際のフィルタの一例について示す説明図である。It is explanatory drawing shown about an example of the filter at the time of performing an autofocus process by a contrast detection system. 図5に示したフィルタを用いてコントラスト検出方式によってコントラスト強度を求める場合の一例について示す流れ図である。6 is a flowchart illustrating an example of obtaining contrast intensity by a contrast detection method using the filter illustrated in FIG. 5. 撮像装置からの距離とコントラスト強度との関係の一例をグラフで示す説明図である。It is explanatory drawing which shows an example of the relationship between the distance from an imaging device, and contrast intensity | strength by a graph. LCD124にライブビュー表示された画像に対してオートフォーカス領域を指定した場合について示す説明図である。It is explanatory drawing shown about the case where an auto-focus area | region is designated with respect to the image displayed on LCD124 by the live view. 検出領域174の設定方法について説明する流れ図である。5 is a flowchart illustrating a method for setting a detection region 174. コントラスト強度を算出した場合の一例をグラフで示す説明図である。It is explanatory drawing which shows an example at the time of calculating contrast intensity | strength with a graph. 指示線を検出した順番と、当該順番に応じて決定する重みとの関係の一例についてグラフで説明する説明図である。It is explanatory drawing explaining an example of the relationship between the order which detected the instruction | indication line, and the weight determined according to the said order with a graph. CCD108に結像された画面に対し、複数の指示線が設定された場合について示す説明図である。It is explanatory drawing shown about the case where a some instruction | indication line is set with respect to the screen image-formed on CCD108. 撮影者によって指示線が複数設定された場合の、コントラスト強度の検出方法について説明する流れ図である。It is a flowchart explaining the detection method of contrast intensity | strength when multiple instruction lines are set by the photographer. 撮像装置100からの測距結果とコントラスト強度との関係をグラフで示す説明図である。It is explanatory drawing which shows the relationship between the distance measurement result from the imaging device 100, and contrast intensity | strength with a graph. LCD124に対する押圧強度と、当該押圧強度に応じて決定する重みとの関係の一例についてグラフで説明する説明図である。It is explanatory drawing explaining an example of the relationship between the press intensity with respect to LCD124, and the weight determined according to the said press intensity with a graph. CCD108に結像された画面に対して指示線を設定する場合について示す説明図である。It is explanatory drawing shown about the case where an instruction line is set with respect to the screen image-formed on CCD108. 押圧強度に応じた重みを設定するときの、コントラスト強度の検出方法について説明する流れ図である。It is a flowchart explaining the detection method of contrast intensity | strength when setting the weight according to press intensity | strength. 撮像装置100からの測距結果とコントラスト強度との関係をグラフで示す説明図である。It is explanatory drawing which shows the relationship between the distance measurement result from the imaging device 100, and contrast intensity | strength with a graph.

符号の説明Explanation of symbols

100 撮像装置
102 ズームレンズ
104 絞り
106 フォーカスレンズ
108 CCD素子
110 CDS回路
112 A/D変換器
114 画像入力コントローラ
116 画像信号処理部
120 圧縮処理部
122 LCDドライバ
124 LCD
126 タイミングジェネレータ
128 制御部
132 操作部
134 メモリ
138 メディアコントローラ
140 記録メディア
142a、142b、142c モータドライバ
151 適正露光算出部
152 露光制御部
153 オートフォーカス動作制御部
154 オートフォーカス領域設定部
155 線検出部
172、172a、172b、172c 指示線
174、174a、174b、174c 検出領域
DESCRIPTION OF SYMBOLS 100 Imaging device 102 Zoom lens 104 Aperture 106 Focus lens 108 CCD element 110 CDS circuit 112 A / D converter 114 Image input controller 116 Image signal processing part 120 Compression processing part 122 LCD driver 124 LCD
126 Timing generator 128 Control unit 132 Operation unit 134 Memory 138 Media controller 140 Recording medium 142a, 142b, 142c Motor driver 151 Proper exposure calculation unit 152 Exposure control unit 153 Autofocus operation control unit 154 Autofocus area setting unit 155 Line detection unit 172 , 172a, 172b, 172c Indicator lines 174, 174a, 174b, 174c Detection area

Claims (7)

画像を表示する表示手段と、
前記表示手段の表示面に表示されている画像に対して線を指定する指定手段と、
前記指定手段によって指定された線を検出する検出手段と、
前記検出手段で検出した線を用いてオートフォーカス制御に用いる検出領域を設定する領域設定手段と、
を備える、撮像装置。
Display means for displaying an image;
Designating means for designating a line for an image displayed on the display surface of the display means;
Detection means for detecting a line designated by the designation means;
Area setting means for setting a detection area used for autofocus control using the line detected by the detection means;
An imaging apparatus comprising:
前記指定手段によって指定された線は、前記表示面の表面に設けられる線指定面に対して直接指定されたものである、請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the line designated by the designation unit is designated directly with respect to a line designation surface provided on a surface of the display surface. 前記領域設定手段は、前記検出手段が検出した押圧強度に応じて前記検出領域の設定の際の優先度を決定する、請求項2に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the area setting unit determines a priority in setting the detection area according to the pressure intensity detected by the detection unit. 前記領域設定手段は、前記検出手段が複数の線を検出した場合に、検出した順序に応じて前記検出領域の設定の際の優先度を決定する、請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein when the detection unit detects a plurality of lines, the region setting unit determines a priority in setting the detection region according to the detection order. 前記領域設定手段は、前記検出手段が複数の線を検出した場合に、検出した線の長さに応じて前記検出領域の設定の際の優先度を決定する、請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein when the detection unit detects a plurality of lines, the region setting unit determines a priority in setting the detection region according to a length of the detected line. . 前記指定手段によって指定された線は、前記表示面の表面に設けられる線指定面に対して間接的に指定されたものである、請求項1に記載の撮像装置。   The imaging device according to claim 1, wherein the line designated by the designation unit is indirectly designated with respect to a line designation surface provided on a surface of the display surface. 画像を表示する表示ステップと、
前記表示ステップの表示面に表示されている画像に対して線を指定する指定ステップと、
前記指定ステップによって指定された線を検出する検出ステップと、
前記検出ステップで検出した線の周囲の所定の近傍領域をオートフォーカス制御に用いる検出領域として設定する領域設定ステップと、
を備える、撮像方法。
A display step for displaying an image;
A designation step for designating a line for an image displayed on the display surface of the display step;
A detection step of detecting a line designated by the designation step;
A region setting step for setting a predetermined neighborhood region around the line detected in the detection step as a detection region used for autofocus control;
An imaging method comprising:
JP2008305691A 2008-11-28 2008-11-28 Imaging apparatus and imaging method Expired - Fee Related JP5205232B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008305691A JP5205232B2 (en) 2008-11-28 2008-11-28 Imaging apparatus and imaging method
KR1020090058314A KR20100061297A (en) 2008-11-28 2009-06-29 Apparatus and method for photographing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008305691A JP5205232B2 (en) 2008-11-28 2008-11-28 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2010128395A true JP2010128395A (en) 2010-06-10
JP5205232B2 JP5205232B2 (en) 2013-06-05

Family

ID=42328806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008305691A Expired - Fee Related JP5205232B2 (en) 2008-11-28 2008-11-28 Imaging apparatus and imaging method

Country Status (2)

Country Link
JP (1) JP5205232B2 (en)
KR (1) KR20100061297A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096395A1 (en) 2011-01-13 2012-07-19 Ricoh Company, Limited Image capturing device and image capturing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117490A (en) * 2002-09-24 2004-04-15 Fuji Photo Optical Co Ltd Autofocus system
JP2006171305A (en) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd Navigation device, and information retrieval method using speech recognition for the navigation device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117490A (en) * 2002-09-24 2004-04-15 Fuji Photo Optical Co Ltd Autofocus system
JP2006171305A (en) * 2004-12-15 2006-06-29 Nissan Motor Co Ltd Navigation device, and information retrieval method using speech recognition for the navigation device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096395A1 (en) 2011-01-13 2012-07-19 Ricoh Company, Limited Image capturing device and image capturing method
US9106837B2 (en) 2011-01-13 2015-08-11 Ricoh Company, Limited Image capturing device and image capturing method

Also Published As

Publication number Publication date
JP5205232B2 (en) 2013-06-05
KR20100061297A (en) 2010-06-07

Similar Documents

Publication Publication Date Title
JP5657343B2 (en) Electronics
JP4172507B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP4571617B2 (en) Imaging apparatus and imaging method
JP4843002B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP5380784B2 (en) Autofocus device, imaging device, and autofocus method
JP4730478B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
KR20150061277A (en) image photographing apparatus and photographing method thereof
US9277111B2 (en) Image capture apparatus and control method therefor
JP2010263439A (en) Electronic camera, image processing device, and image processing method
JP5709816B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND RECORDING MEDIUM
JP5949559B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5409483B2 (en) Imaging device
JP6431429B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
KR20100091844A (en) Photographing apparatus and photographing method
KR101663226B1 (en) Digital image processing apparatus and digital image processing method
JP5205232B2 (en) Imaging apparatus and imaging method
JP2012220890A (en) Focus adjustment device
JP2013210572A (en) Imaging device and control program of the same
JP4681899B2 (en) Imaging apparatus and imaging method
JP5180042B2 (en) Imaging apparatus and imaging method
JP2012023468A (en) Imaging device
JP5573311B2 (en) camera
KR101945028B1 (en) Terminal having camera and method for processing image thereof
KR101798019B1 (en) Terminal having camera and method for processing image thereof
KR101755520B1 (en) Terminal having camera and method for processing image thereof

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

R150 Certificate of patent or registration of utility model

Ref document number: 5205232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees