JP2014157044A - Distance detection camera - Google Patents
Distance detection camera Download PDFInfo
- Publication number
- JP2014157044A JP2014157044A JP2013027221A JP2013027221A JP2014157044A JP 2014157044 A JP2014157044 A JP 2014157044A JP 2013027221 A JP2013027221 A JP 2013027221A JP 2013027221 A JP2013027221 A JP 2013027221A JP 2014157044 A JP2014157044 A JP 2014157044A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- irradiation
- image
- lens
- distance measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、撮像画像に加え、画素に準じた単位で撮像装置から被写体までの距離情報を画像化した距離画像を取得するセンサを持つ撮像装置に関するものである。 The present invention relates to an imaging apparatus having a sensor that acquires a distance image obtained by imaging distance information from an imaging apparatus to a subject in units corresponding to pixels in addition to a captured image.
撮像装置から被写体までの測距の手法の一つに、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式と呼ばれる、被写体に向けて測距光を照射し、その反射光の時間差から距離を算出する方法がある。これは、所定の照射パターンにより強度変調された赤外光による測距光を被写体に向けて照射した後、被写体によって反射された測距光を赤外線用の撮像素子で受光し、前記照射パターンにより照射から受光までの時間差を画素ごとに検出、距離を算出するものである。算出された距離値は画素ごとにビットマップ状に集められ、“距離画像”として保存される。 As one of distance measurement methods from the imaging apparatus to the subject, there is a method called a TOF (Time of Flight) method in which distance measurement light is irradiated toward the subject and the distance is calculated from the time difference of the reflected light. This is because, after irradiating distance-measuring light by infrared light whose intensity is modulated by a predetermined irradiation pattern toward the subject, the distance-measuring light reflected by the subject is received by an infrared imaging device, A time difference from irradiation to light reception is detected for each pixel, and a distance is calculated. The calculated distance values are collected in a bitmap for each pixel and stored as a “distance image”.
距離画像の用途としては、同時に撮影した通常の可視光によるＲＧＢ画像に対して距離情報から被写体像を切り出し、背景部分を別の画像に置き換えることで、従来のクロマキー合成では青い背景が必要だった背景合成を特殊な背景なしに簡易に行ったり、被写体人物の動きを距離画像で検出し、特定のジェスチャー動作により機器の操作を行うジェスチャーＵＩの実現手段として使ったりというものがある。さらに、可視光を受光するＲＧＢ配列（ベイヤ配列）の受光画素の間に赤外光を受光する測距光受光画素を並べ、通常画像と距離画像が同時に得られるイメージセンサも、センサーメーカにより開発されている。 As a range image, the conventional chroma key composition required a blue background by cutting out the subject image from the distance information for the normal visible RGB image taken at the same time and replacing the background part with another image. Background synthesis can be easily performed without a special background, or the movement of a subject person can be detected from a distance image and used as means for realizing a gesture UI for operating a device by a specific gesture operation. A sensor manufacturer also developed an image sensor that arranges ranging light-receiving pixels that receive infrared light between light-receiving pixels in the RGB array (Bayer array) that receive visible light, and obtains a normal image and a distance image at the same time. Has been.
また、距離画像の取得においては、撮像素子でのスキャンタイミングと測距光の照射のタイミングを合わせる必要があるが、この方法が特許文献１において開示されている。この開示では、撮像素子の水平スキャンに対応するように水平スリット状に発光する測距光を、垂直同期に合わせて上下方向に移動させることで、撮像素子のスキャンタイミングと測距光の照射のタイミングを合わせている。 Further, in obtaining the distance image, it is necessary to match the scanning timing of the image sensor with the timing of irradiation of the distance measuring light. This method is disclosed in Patent Document 1. In this disclosure, the distance measurement light emitted in a horizontal slit shape corresponding to the horizontal scan of the image sensor is moved in the vertical direction in accordance with vertical synchronization, so that the scan timing of the image sensor and the irradiation of the distance measurement light are The timing is matched.
距離画像の取得においては、撮影範囲全域に測距光が行き届いていることが必要となる。一方、一般的なカメラでは、撮影レンズがズームレンズになっていたり、レンズ交換式となっていたりしており、さまざまな画角で撮影が可能となっている。また、前述の通常画像と距離画像が同時に得られるイメージセンサを一般的なカメラに搭載した場合、前記測距光の照射範囲と前記撮影レンズの撮影画角の対応を考慮する必要があり、前記撮影レンズの撮影範囲に対して、前記測距光が照射されない領域が出来ると、その範囲は測距光の受光が出来なくなるため、距離画像における距離情報としては、無限遠となってしまう。また、これに対応するために前記測距光の前に可変焦点のレンズを置き、照射範囲を広くすると、測距光が拡散されることになるため、測定可能な被写体距離が短くなってしまう。 In obtaining the distance image, it is necessary that the distance measuring light reaches the entire photographing range. On the other hand, in a general camera, the photographing lens is a zoom lens or is an interchangeable lens, and photography is possible at various angles of view. In addition, when an image sensor that can obtain the normal image and the distance image at the same time is mounted on a general camera, it is necessary to consider the correspondence between the irradiation range of the distance measuring light and the photographing field angle of the photographing lens, If there is a region where the distance measuring light is not irradiated with respect to the photographing range of the photographing lens, the range cannot receive the distance measuring light, and the distance information in the distance image becomes infinity. Further, in order to cope with this, if a variable focus lens is placed in front of the distance measuring light and the irradiation range is widened, the distance measuring light is diffused, so that the measurable subject distance is shortened. .
本発明の撮像装置は、以上の点に鑑みてなされたものであり、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られる撮像装置を提供することを目的とする。 The imaging apparatus of the present invention has been made in view of the above points, and provides an imaging apparatus that can correctly obtain a distance image of the entire captured image regardless of the imaging angle of view of the user. With the goal.
以上の目的を達成するため、本発明にかかる距離検出カメラは、所定の強度変調をかけた測距光を照射する照射手段と、撮影レンズを通じた被写体像を撮像して画像信号を生成する通常画素とともに、撮影レンズを通じて、被写体に反射して戻ってくる前記測距光を受光する測距画素を有するイメージセンサと、照射した強度変調パターンと前記イメージセンサの測距画素で受光した測距光の強度変調パターンを比較して、その遅れ時間から被写体の距離を前記測距画素ごとに検出する距離検出手段を有する距離検出カメラにおいて、照射手段の照射範囲と撮影画角を比較し、両者の大小関係に応じて、前記照射手段の照射動作が異なることを特徴とする。 In order to achieve the above object, a distance detection camera according to the present invention normally generates an image signal by imaging a subject image through a photographing lens and an irradiating means for irradiating distance measuring light with a predetermined intensity modulation. An image sensor having a distance measuring pixel that receives the distance measuring light reflected back to the subject through the photographing lens together with the pixel, and an intensity modulation pattern that has been irradiated and a distance measuring light received by the distance measuring pixel of the image sensor In the distance detection camera having the distance detection means for detecting the distance of the subject for each distance measuring pixel from the delay time, the irradiation range of the irradiation means and the shooting angle of view are compared. The irradiating operation of the irradiating means varies depending on the magnitude relationship.
本発明の距離検出カメラによれば、ユーザが設定したレンズ焦点距離またはユーザが装着したレンズの焦点距離に応じて、被写体距離の検出に用いる測距光の照射範囲を照射手段の角度を変更することによって制御するため、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られるとともに、前記測距可能な被写体距離が短くならない撮像装置を提供することができる。 According to the distance detection camera of the present invention, the angle of the irradiation unit is changed in the range of the distance measuring light used for detecting the subject distance according to the lens focal length set by the user or the focal length of the lens worn by the user. Therefore, it is possible to provide an imaging device capable of correctly obtaining a distance image of the entire captured image and not shortening the subject distance that can be measured regardless of the shooting angle of view of the user. it can.
以下、図面を参照しながら本発明の好適な実施の形態を説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
［実施例］
本発明をレンズ交換式デジタルカメラにて実施した実施例について、図面を用いて説明する。
[Example]
Embodiments in which the present invention is implemented with an interchangeable lens digital camera will be described with reference to the drawings.
図１は、本実施形態の構成例を示すブロック図であり、１００ａは交換レンズ、１００ｂはカメラ本体である。撮影レンズ１０１は、被写体像をとらえ、絞り１０２によって光量が所定量に制限された後、撮像素子１０７上に被写体像を結像させる。１０３は前記撮影レンズ１０１のフォーカス駆動、前記絞り１０２の駆動を行うとともに、フォーカス位置および設定絞り値の情報を出力するアクチュエータ／エンコーダ、１０４は前記アクチュエータの制御および前記エンコーダからの情報の取得、レンズ情報ＲＯＭ１０５に格納されているレンズ焦点距離、開放絞り値情報の取得を行うとともに、前記カメラ本体１００ｂに対して、レンズマウント１０６を通じて前記制御のための制御信号の受信および前記取得した情報の送信を行うレンズマイコンである。 FIG. 1 is a block diagram illustrating a configuration example of the present embodiment, in which 100a is an interchangeable lens and 100b is a camera body. The photographing lens 101 captures a subject image, and after the amount of light is limited to a predetermined amount by the diaphragm 102, the subject image is formed on the image sensor 107. Reference numeral 103 denotes an actuator / encoder for driving the focus of the photographing lens 101 and driving of the diaphragm 102 and outputting information of a focus position and a set aperture value. Reference numeral 104 denotes control of the actuator and acquisition of information from the encoder. The lens focal length and open aperture value information stored in the information ROM 105 are acquired, and the control signal for the control is received and the acquired information is transmitted to the camera body 100b through the lens mount 106. It is a lens microcomputer to perform.
前記撮像素子１０７で結像した被写体像は、Ａ／Ｄコンバータ１０８でデジタル化され、画像処理部１１０でガンマ補正やホワイトバランス補正、ノイズリダクション処理等が行われた後、画像データバス１１１に非圧縮画像データとして出力される。１１６は、被写体に向けて特定パターンで強度変調された赤外光を照射する測距光照射器であり、該赤外光は被写体で反射されたのちに後述する撮影素子の距離計測画素で受光され、前記特定パターンの出力から受光までの時間差により、該計測画素に撮像されている被写体の距離の算出に用いられる。照射器角度駆動アクチュエータ１１７は、前記測距光照射器１１６の角度を変更させ、後述のメインマイコン１２２により決定される所定の角度に移動する。 The subject image formed by the image sensor 107 is digitized by the A / D converter 108, subjected to gamma correction, white balance correction, noise reduction processing, and the like by the image processing unit 110, and then is not transferred to the image data bus 111. Output as compressed image data. Reference numeral 116 denotes a distance measuring light irradiator that irradiates infrared light whose intensity is modulated in a specific pattern toward the subject. The infrared light is reflected by the subject and then received by a distance measuring pixel of an imaging element described later. Then, it is used to calculate the distance of the subject imaged on the measurement pixel based on the time difference from the output of the specific pattern to the light reception. The irradiator angle drive actuator 117 changes the angle of the distance measuring light irradiator 116 and moves to a predetermined angle determined by the main microcomputer 122 described later.
距離画像作成部１０９は、前記算出されたすべての距離計測画素の距離データを画素配列通りに並べた距離画像の作成を行い、画像データバス１１１に距離画像データとして出力する。液晶パネル１１２は、画像や各種情報を表示する表示部である。ＳＤＲＡＭ１１４は、ＪＰＥＧコーデック１１５で生成されるＪＰＥＧ静止画データを、記録媒体１１８の書き込み状況に応じて書き込みまたは読み出しを行い、記録媒体１１８の記録速度との調停を行うためのバッファメモリ空間を提供する。また、ＳＤＲＡＭ１１４は画像表示用のメモリ（ビデオメモリ）を兼ねている。ＪＰＥＧコーデック１１５は、前記非圧縮画像データを静止画として圧縮符号化し、ＪＰＥＧ静止画データを生成する。液晶ドライバ１１３は、ＳＤＲＡＭ１１４に格納されている画像表示用のデータを液晶表示信号に変換して液晶パネル１１２に供給する。 The distance image creating unit 109 creates a distance image in which the calculated distance data of all the distance measurement pixels are arranged in accordance with the pixel array, and outputs the distance image data to the image data bus 111 as distance image data. The liquid crystal panel 112 is a display unit that displays images and various types of information. The SDRAM 114 provides a buffer memory space for writing or reading JPEG still image data generated by the JPEG codec 115 in accordance with the writing status of the recording medium 118 and arbitrating with the recording speed of the recording medium 118. . The SDRAM 114 also serves as an image display memory (video memory). The JPEG codec 115 compresses and encodes the uncompressed image data as a still image to generate JPEG still image data. The liquid crystal driver 113 converts the image display data stored in the SDRAM 114 into a liquid crystal display signal and supplies it to the liquid crystal panel 112.
こうして、ＳＤＲＡＭ１１４に書き込まれた表示用の画像データは液晶ドライバ１１２を介して液晶パネル１１２により表示される。Ａ／Ｄ変換器１０８によって一度Ａ／Ｄ変換され、ＳＤＲＡＭ１１４に蓄積されたデジタル信号を液晶ドライバ１１３において解像度を液晶パネルのドット数に削減した後液晶表示信号に変換し、液晶パネル１１２に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。記録媒体１１８は、カメラ本体に対して着脱が可能な、例えばＮＡＮＤ型フラッシュメモリ等で構成されているメモリカードであり、前記ＪＰＥＧ静止画データをＰＣ互換性を持つＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）ファイルシステムに則って記録する。 Thus, the display image data written in the SDRAM 114 is displayed on the liquid crystal panel 112 via the liquid crystal driver 112. The digital signal once A / D converted by the A / D converter 108 and stored in the SDRAM 114 is converted into a liquid crystal display signal after the resolution is reduced to the number of dots of the liquid crystal panel in the liquid crystal driver 113 and sequentially transferred to the liquid crystal panel 112. By displaying in this manner, it can function as an electronic viewfinder and display a through image. The recording medium 118 is a memory card that can be attached to and detached from the camera body, for example, a NAND flash memory, etc., and the JPEG still image data is a FAT (File Allocation Table) file system having PC compatibility. Record according to.
操作キー１１９は、ユーザからの各種操作を受け付ける各種スイッチであり、静止画の撮影操作を行うシャッターボタンや、撮影モードと再生モードを切り替えるモードスイッチを含む。制御バス１２０は、各ブロック間の制御信号の通信を行う信号経路であり、メインマイコン１２２からの制御信号を各ブロックに伝えるとともに、各ブロックからのレスポンス信号や各センサやエンコーダからの情報信号をメインマイコン１２２に伝える。フラッシュＲＯＭ１２３は、電気的に消去・記録可能な不揮発性メモリであって、メインマイコン１２２の動作用の定数、プログラム等が格納される。 The operation keys 119 are various switches that accept various operations from the user, and include a shutter button that performs a still image shooting operation and a mode switch that switches between a shooting mode and a playback mode. The control bus 120 is a signal path for communicating control signals between the blocks. The control bus 120 transmits a control signal from the main microcomputer 122 to each block, and also receives a response signal from each block and an information signal from each sensor or encoder. Tell the main microcomputer 122. The flash ROM 123 is an electrically erasable / recordable nonvolatile memory, and stores constants, programs, and the like for the operation of the main microcomputer 122.
ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。メインマイコン１２２は、デジタルカメラ全体を制御する。後述するフラッシュＲＯＭ１２３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１２１はシステムメモリであり、ＲＡＭが用いられる。前記ＲＡＭ１２１には、前記メインマイコン１２２の動作用の定数、変数、フラッシュＲＯＭ１２３から読み出したプログラム等を展開する。また、メインマイコン１２２は液晶ドライバ１１３等を制御することにより表示制御も行う。 Here, the program is a program for executing various flowcharts described later in the present embodiment. The main microcomputer 122 controls the entire digital camera. By executing a program recorded in a flash ROM 123 to be described later, each process of the present embodiment to be described later is realized. Reference numeral 121 denotes a system memory, which uses a RAM. In the RAM 121, constants and variables for operating the main microcomputer 122, a program read from the flash ROM 123, and the like are expanded. The main microcomputer 122 also performs display control by controlling the liquid crystal driver 113 and the like.
また図２は、前記撮像素子１０７の概要を示す図であり、２０１は前記撮像素子を示す。２０２乃至２０５は前記撮像素子の画素であり、２０２は被写体像のうち緑色成分を受光する緑色画素、２０３は被写体像のうち青色成分を受光する青色画素、２０４は被写体像のうち赤色成分を受光する赤色画素である。２０５は、被写体像のうち赤外領域を受光するよう構成されており、前記測距光照射器１１６により照射され、被写体によって反射されて戻ってきた赤外光を受光するための距離計測画素である。 FIG. 2 is a diagram showing an outline of the image sensor 107, and 201 indicates the image sensor. Reference numerals 202 to 205 denote pixels of the imaging device, 202 denotes a green pixel that receives a green component of a subject image, 203 denotes a blue pixel that receives a blue component of the subject image, and 204 denotes a red component of the subject image. This is a red pixel. Reference numeral 205 denotes a distance measurement pixel configured to receive an infrared region of a subject image, and to receive infrared light irradiated by the distance measuring light irradiator 116 and reflected by the subject. is there.
上記構成を持つ本実施例のデジタルカメラの動作を、フローチャートと図を用いて説明する。図３は、本発明のレンズ交換式デジタルカメラにおける撮影モード時の動作を示す、フローチャートである。 The operation of the digital camera of the present embodiment having the above configuration will be described with reference to flowcharts and diagrams. FIG. 3 is a flowchart showing the operation in the photographing mode in the interchangeable lens digital camera of the present invention.
Ｓ３０１にて、カメラの電源が撮影モードでＯＮになると、Ｓ３０２にて、シャッターボタンが半押しされているかが検出され、半押しされていれば、Ｓ３０３にて、レンズに設定されている焦点距離が検出され、Ｓ３０４にて、前記検出された焦点距離と撮像素子の大きさにより、撮影画角（Ｓａ）が算出される。次にＳ３０５にてオートフォーカス動作が開始され、Ｓ３０６にて測光が開始され、Ｓ３０７にて絞り値およびシャッタースピードが決定される。その後、Ｓ３０８ａにてシャッターボタンの全押しの待機状態となるが、ユーザがシャッターボタンを放し、シャッターボタンの半押し状態を解除した場合は、Ｓ３０８ｂを経てＳ３０１からの動作に戻る。 When the camera is turned on in the shooting mode in S301, it is detected in S302 whether the shutter button is half-pressed. If it is half-pressed, the focal length set for the lens in S303. In step S304, a shooting angle of view (Sa) is calculated based on the detected focal length and the size of the image sensor. Next, an autofocus operation is started in S305, photometry is started in S306, and an aperture value and a shutter speed are determined in S307. Thereafter, in S308a, the shutter button is fully pressed, but when the user releases the shutter button and releases the half-pressed state of the shutter button, the process returns to S301 through S308b.
前記Ｓ３０８にてシャッターボタンの全押しが検出されると、Ｓ３０９にて、前記撮像素子への露光が開始され、前記緑色画素２０２および青色画素２０３および赤色画素２０４によって捉えられる通常画像がキャプチャされる。その後Ｓ３１０にて、後述の測距光の照射が開始される。測距光は、前記測距光照射器１１６より照射される、特定の時間パターンで強度変調された赤外光である。次にＳ３１１にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光される。図５は前記照射される測距光および、戻ってきた測距光の時間パターンを示す図である。測距光は一定の周波数をもつ正弦波で変調されており、この正弦波と、受光した測距光の正弦波の位相差を測定することにより、測距光投光から受光までの時間差が検出できる。測距光の受光に当たっては、前記距離計測画素により、１フレームに１回の計測となるが、照射される測距光の強度パターンは正弦波と判っているので、破線で示すパターンが再現できる。 When the full press of the shutter button is detected in S308, exposure to the image sensor is started in S309, and a normal image captured by the green pixel 202, the blue pixel 203, and the red pixel 204 is captured. . Thereafter, in S310, irradiation of distance measuring light described later is started. The distance measuring light is infrared light that is irradiated from the distance measuring light irradiator 116 and is intensity-modulated with a specific time pattern. In step S <b> 311, the distance measuring light reflected by the subject and returned is received by the distance measuring pixel 205 of the image sensor 107. FIG. 5 is a diagram showing a time pattern of the irradiated distance measuring light and the returned distance measuring light. The distance measuring light is modulated by a sine wave having a constant frequency, and by measuring the phase difference between this sine wave and the sine wave of the received distance measuring light, the time difference from distance measuring light projection to light reception is It can be detected. When receiving the distance measuring light, the distance measuring pixel is measured once per frame, but since the intensity pattern of the irradiated distance measuring light is known as a sine wave, the pattern shown by the broken line can be reproduced. .
本実施例では、１５ＭＨｚの正弦波を用いるため、１０Ｍまでの距離計測が可能である。また、測距光の照射から所定時間内に測距光が受光できない場合は、距離は無限遠として扱われる。前記距離の算出は前記距離計測画素ごとに行われ、この画素ごとの距離数値を画素配列に従って並べてビットマップ化したものを距離画像とする。なお、測距光が検出できなかった前記距離計測画素２０５については、被写体距離は無限遠となる。次にＳ３１２にて、前記測距光照射器１１６が照射することが出来る範囲である測距光照射角（Ｅａ）と、前記撮影画角（Ｓａ）が比較され、Ｅａ＞＝Ｓａであった場合はＳ３１６に動作が移行し、Ｅａ＜Ｓａであった場合は、Ｓ３１３にて、前記測距光照射器１１６による前記測距光の角度が変更・照射され、再びＳ３１４にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光、前記距離画像の取得が行われる。 In this embodiment, since a 15 MHz sine wave is used, distance measurement up to 10M is possible. Further, when the distance measuring light cannot be received within a predetermined time from the distance measuring light irradiation, the distance is treated as infinity. The calculation of the distance is performed for each of the distance measurement pixels, and a distance image is obtained by arranging the distance numerical values for each pixel in accordance with the pixel arrangement to form a bitmap. Note that the subject distance is infinite for the distance measurement pixel 205 for which distance measurement light could not be detected. In step S312, the distance measuring light irradiation angle (Ea), which is a range that can be irradiated by the distance measuring light irradiator 116, is compared with the shooting angle of view (Sa), and Ea> = Sa. In this case, the operation shifts to S316, and if Ea <Sa, the angle of the distance measuring light is changed and irradiated by the distance measuring light irradiator 116 in S313, and the light is reflected on the subject again in S314. The distance measuring light that has been returned is received by the distance measuring pixel 205 of the image sensor 107 and the distance image is acquired.
次にＳ３１５にて画面の全領域に対して距離画像の取得が行われたかが後述する方法で確認され、距離画像の取得が全領域に対して行われていなければ、再びＳ３１３にて前記測距光照射器１１６による前記測距光の角度が変更・照射され、Ｓ３１４にて、被写体に反射されて戻ってきた前記測距光が前記撮像素子１０７の距離計測画素２０５によって受光、前記距離画像の取得が行われる。Ｓ３１５にて画面の全領域に対して距離画像の取得が行われた場合は、Ｓ３１６に動作が移行し、前記通常画像がＪＰＥＧ符号化、前記距離画像はロスレスであるＢＭＰ形式に変換され、Ｓ３１７にて両者が１つのファイルにまとめられる。このファイル形式としては、マルチピクチャフォーマット（ＣＩＰＡ ＤＣ−００７−２００９）に従って、前記通常画像を先頭画像とし、前記距離画像を個別画像（２）として格納することができる。その後Ｓ３１８にて前記ファイルが前記記録媒体１１８に記録され、Ｓ３１９にて一連の動作が終了する。以上の処理のうち、Ｓ３１０乃至Ｓ３１５に関して、図とともに説明する。 Next, in S315, it is confirmed by a method described later whether distance images have been acquired for all areas of the screen. If distance images have not been acquired for all areas, the distance measurement is again performed in S313. The angle light of the distance measuring light by the light irradiator 116 is changed / irradiated, and the distance measuring light reflected and returned by the subject is received by the distance measuring pixel 205 of the image sensor 107 in S314, and the distance image of the distance image is reflected. Acquisition is performed. If the distance image has been acquired for the entire area of the screen in S315, the operation shifts to S316, the normal image is converted to JPEG encoding, and the distance image is converted to the lossless BMP format. Both are combined into one file. As the file format, according to the multi-picture format (CIPA DC-007-2009), the normal image can be stored as a head image and the distance image can be stored as an individual image (2). Thereafter, the file is recorded on the recording medium 118 in S318, and a series of operations ends in S319. Of the above processing, S310 to S315 will be described with reference to the drawings.
図４は本実施例のレンズ交換式デジタルカメラを示す図であり、図４（ａ）は、前記測距光照射器の構成の概念図、図４（ｂ）は、Ｅａ＞＝Ｓａである場合の動作、図４（ｃ）はＥａ＜Ｓａである場合の動作の概念図である。なお、前記測距光照射器は円形の範囲を照射することが出来、その照射角度範囲がＥａ、撮影範囲の対角線の画角がＳａとなる。同図において、４０１は、前記測距光照射器１１６、４０２は、前記照射器角度駆動アクチュエータ１１７を構成する、前記測距光照射器１１６の照射方向を左右に振るＹ軸アクチュエータ、４０３は、前記照射器角度駆動アクチュエータ１１７を構成する、前記測距光照射器１１６の照射方向を上下に振るＸ軸アクチュエータである。 FIG. 4 is a diagram showing a lens-interchangeable digital camera according to the present embodiment. FIG. 4A is a conceptual diagram of the configuration of the distance measuring light irradiator, and FIG. 4B is Ea> = Sa. FIG. 4C is a conceptual diagram of the operation when Ea <Sa. The distance measuring light irradiator can irradiate a circular range, the irradiation angle range is Ea, and the diagonal field angle of the imaging range is Sa. In the figure, 401 is the distance measuring light irradiator 116, 402 is the Y-axis actuator that swings the irradiation direction of the distance measuring light irradiator 116 left and right, constituting the illuminator angle drive actuator 117, It is an X-axis actuator that constitutes the irradiator angle drive actuator 117 and swings the irradiation direction of the distance measuring light irradiator 116 up and down.
Ｓ３１０にて前記測距光の照射が行われ、Ｓ３１１にて照射光が受光され、画素ごとの被写体距離が算出されるが、この時の測距光の照射は、Ｅａ＞＝Ｓａである場合は図４（ｂ）の丸１に示す範囲への照射となり、全撮影範囲がカバーされる。またＥａ＜Ｓａである場合は図４（ｃ）の丸５に示す範囲への照射となり、全撮影範囲の内、中心部付近のみがカバーされることになる。Ｓ３１２ではＥａとＳａの大小関係が比較されるが、Ｅａ＞＝Ｓａである場合は、前述のようにＳ３１０の照射で全撮影範囲がカバーされるため、Ｓ３１６以降の処理に分岐するが、Ｅａ＜Ｓａである場合は、Ｓ３１３にて、前記Ｙ軸アクチュエータ４０２およびＸ軸アクチュエータ４０３によって前記測距光照射器４０１の向きを変更し、Ｓ３１４にて図４（ｃ）の丸１に示す範囲への照射が行われ、Ｓ３１４にて照射光が受光され、画素ごとの被写体距離が算出される。 In step S310, the distance measuring light is emitted. In step S311, the irradiated light is received, and the subject distance for each pixel is calculated. In this case, the distance measuring light is emitted when Ea> = Sa. Irradiates the range indicated by circle 1 in FIG. 4B, and covers the entire imaging range. When Ea <Sa, irradiation is performed on a range indicated by a circle 5 in FIG. 4C, and only the vicinity of the center portion is covered in the entire imaging range. In S312, the magnitude relationship between Ea and Sa is compared. If Ea> = Sa, the entire imaging range is covered by the irradiation of S310 as described above, and therefore the process branches to S316 and subsequent steps. If <Sa, the direction of the distance measuring light irradiator 401 is changed by the Y-axis actuator 402 and the X-axis actuator 403 in S313, and the range indicated by circle 1 in FIG. Is irradiated, the irradiated light is received in S314, and the subject distance for each pixel is calculated.
次に、Ｓ３１５にて全撮影範囲への照射が終了したかが検出されるが、これは前記Ｓ３０４で求められるＳａと前記測距光照射器４０２の照射角である固定値Ｅａとの比較により決められる測距光の照射回数Ｎが終了したかで判断される。本実施例においては、照射回数は下記の式で決定する。 Next, in S315, it is detected whether or not the irradiation to the entire photographing range is completed. This is based on a comparison between Sa obtained in S304 and a fixed value Ea that is an irradiation angle of the distance measuring light illuminator 402. It is determined whether or not the determined distance measurement light irradiation number N has ended. In this embodiment, the number of irradiations is determined by the following formula.
Ｎ＝（（（Ｓａ／Ｅａ）の整数部）＋１）＾２
図４（ｃ）では丸１乃至丸９の９回の照射回数となっているが、さらに広い撮影画角Ｓａが設定されている、例えば図６に示す状態では、照射回数は１６回となる。Ｓ３１５にて全撮影範囲への照射が終了したと判定されれば、Ｓ３１６以降の処理となる。なお、本実施例のカメラは撮影画像のアスペクト比が３：２なので、１回ごとの撮影で、前記Ｘ軸アクチュエータはＥａ＊３／√１３、前記Ｙ軸アクチュエータはＥａ＊２／Ｓｑｒｔ（１３）の角度ステップで照射角度を変更する。
N = ((integer part of (Sa / Ea)) + 1) ^ 2
In FIG. 4 (c), the number of times of irradiation is 9 times from round 1 to round 9. However, in the state shown in FIG. 6, for example, in the state shown in FIG. 6, the number of times of irradiation is 16 times. . If it is determined in S315 that the irradiation of the entire photographing range has been completed, the processing from S316 is performed. Since the camera of this embodiment has an aspect ratio of 3: 2, the X-axis actuator is Ea * 3 / √13, and the Y-axis actuator is Ea * 2 / Sqrt (13). ) Change the irradiation angle in the angle step.
なお、前記距離の算出は前記照射ごとに全ての距離計測画素２０５において行われるが、それぞれの距離計測画素において、無限遠以外の距離が算出された場合はその距離が採用され、無限遠以外の距離が複数回算出された場合は、後の照射で算出された距離が採用される。無論、全ての照射において無限遠が算出された画素については、無限遠の距離が採用される。 Note that the calculation of the distance is performed in all the distance measurement pixels 205 for each irradiation, but in each distance measurement pixel, when a distance other than infinity is calculated, the distance is adopted, and other than infinity When the distance is calculated a plurality of times, the distance calculated in the subsequent irradiation is adopted. Of course, a distance at infinity is adopted for a pixel for which infinity was calculated for all irradiations.
以上の構成により、ユーザがどのような撮影画角で撮影を行っても、撮影画像全域の距離画像が正しく得られる撮像装置を提供することができる。 With the above configuration, it is possible to provide an imaging apparatus that can correctly obtain a distance image of the entire captured image regardless of the shooting angle of view of the user.
なお、本実施例のレンズ交換式デジタルカメラでは、所定の照射範囲を照射する前記測距光照射器の照射方向をアクチュエータにより可動させ、全撮影範囲への測距光の照射を行っているが、複数の前記測距光照射器を、交換レンズシステムにおいては、装着できるレンズのうち最大の撮影範囲、またはズームレンズを装備するカメラにおいてはズームのワイド端の撮影範囲をカバーするよう配置する。そのうえで前記撮影画角Ｓａの大きさに応じて、該画角がカバーできる最小限の前記測距光照射器を稼働させる構成としてもよい。この場合は、各測距光照射器を一斉に照射させることにより、広い画角をカバーする場合でも、狭い画角の場合と同一の時間で全撮影範囲の距離画像のキャプチャが行える、という効果がある。 In the interchangeable lens digital camera of this embodiment, the irradiation direction of the distance measuring light irradiator that irradiates a predetermined irradiation range is moved by an actuator to irradiate distance measuring light to the entire photographing range. In the interchangeable lens system, the plurality of distance measuring light irradiators are arranged so as to cover the maximum photographing range among the lenses that can be mounted, or in the camera equipped with the zoom lens, the photographing range at the wide end of the zoom. In addition, a minimum distance-measuring light irradiator that can cover the angle of view may be operated according to the size of the shooting angle of view Sa. In this case, by irradiating each distance measuring light irradiator at the same time, even when covering a wide angle of view, it is possible to capture a distance image of the entire shooting range in the same time as in the case of a narrow angle of view. There is.
１００ａ 交換レンズ
１００ｂ カメラ本体
１０１ 撮影レンズ
１０２ 絞り
１０３ アクチュエータ／エンコーダ
１０４ レンズマイコン
１０５ レンズ情報ＲＯＭ
１０６ レンズマウント
１０７ 撮像素子
１０８ Ａ／Ｄコンバータ
１０９ 距離画像作成部
１１０ 画像処理回路
１１１ 画像データバス
１１２ 液晶パネル
１１３ 液晶ドライバ
１１４ ＳＤＲＡＭ
１１５ ＪＰＥＧコーデック
１１６ 測距光照射器
１１７ 照射器角度駆動アクチュエータ
１１８ 記録媒体
１１９ 操作キー
１２０ 制御バス
１２１ ＲＡＭ
１２２ メインマイコン
１２３ フラッシュＲＯＭ
100a Interchangeable lens 100b Camera body 101 Shooting lens 102 Aperture 103 Actuator / encoder 104 Lens microcomputer 105 Lens information ROM
106 Lens mount 107 Image sensor 108 A / D converter 109 Distance image creation unit 110 Image processing circuit 111 Image data bus 112 Liquid crystal panel 113 Liquid crystal driver 114 SDRAM
115 JPEG codec 116 Ranging light irradiator 117 Irradiator angle drive actuator 118 Recording medium 119 Operation key 120 Control bus 121 RAM
122 Main microcomputer 123 Flash ROM
Claims (7)
撮影画角が前記照射手段の照射範囲より大きい場合に、前記照射方向設定手段は、前記撮影画角と前記照射手段の照射範囲から複数個の照射方向を計算し、計算された照射方向毎に前記照射手段で照射することを特徴とする請求項１又は請求項２に記載の距離検出カメラ。 Having irradiation direction setting means for changing the irradiation direction by the irradiation means;
When the shooting field angle is larger than the irradiation range of the irradiation unit, the irradiation direction setting unit calculates a plurality of irradiation directions from the shooting field angle and the irradiation range of the irradiation unit, and for each calculated irradiation direction. The distance detection camera according to claim 1 or 2, wherein the irradiation unit performs irradiation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013027221A JP2014157044A (en) | 2013-02-15 | 2013-02-15 | Distance detection camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013027221A JP2014157044A (en) | 2013-02-15 | 2013-02-15 | Distance detection camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014157044A true JP2014157044A (en) | 2014-08-28 |
Family
ID=51577998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013027221A Pending JP2014157044A (en) | 2013-02-15 | 2013-02-15 | Distance detection camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014157044A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019152616A (en) * | 2018-03-06 | 2019-09-12 | オムロン株式会社 | Optical distance measuring sensor |
| EP3712646A1 (en) | 2019-03-19 | 2020-09-23 | Ricoh Company, Ltd. | Distance measurement apparatus and distance measurement method |
| EP3783386A2 (en) | 2019-07-31 | 2021-02-24 | Canon Kabushiki Kaisha | Distance detection device and imaging apparatus |
| JP2022105771A (en) * | 2017-12-22 | 2022-07-14 | 株式会社デンソー | Distance measuring device |
| US11846731B2 (en) | 2019-07-31 | 2023-12-19 | Canon Kabushiki Kaisha | Distance detection device and imaging apparatus |
-
2013
- 2013-02-15 JP JP2013027221A patent/JP2014157044A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022105771A (en) * | 2017-12-22 | 2022-07-14 | 株式会社デンソー | Distance measuring device |
| JP7347585B2 (en) | 2017-12-22 | 2023-09-20 | 株式会社デンソー | distance measuring device |
| JP2019152616A (en) * | 2018-03-06 | 2019-09-12 | オムロン株式会社 | Optical distance measuring sensor |
| CN110231629A (en) * | 2018-03-06 | 2019-09-13 | 欧姆龙株式会社 | Ligh-ranging sensor |
| EP3712646A1 (en) | 2019-03-19 | 2020-09-23 | Ricoh Company, Ltd. | Distance measurement apparatus and distance measurement method |
| US11703592B2 (en) | 2019-03-19 | 2023-07-18 | Ricoh Company, Ltd. | Distance measurement apparatus and distance measurement method |
| EP3783386A2 (en) | 2019-07-31 | 2021-02-24 | Canon Kabushiki Kaisha | Distance detection device and imaging apparatus |
| US11846731B2 (en) | 2019-07-31 | 2023-12-19 | Canon Kabushiki Kaisha | Distance detection device and imaging apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8102465B2 (en) | Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject | |
| KR100851477B1 (en) | Projecting apparatus and method and recording medium recording the program of the projecting method | |
| KR101643321B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable medium | |
| US20150185434A1 (en) | Image pickup apparatus, control method thereof, and program | |
| KR101777354B1 (en) | Digital photographing apparatus, method for controlling the same, and computer-readable storage medium | |
| KR102266649B1 (en) | Image processing method and device | |
| KR101605419B1 (en) | Photographing apparatus and method of photographing | |
| US20120307102A1 (en) | Video creation device, video creation method and non-transitory computer-readable storage medium | |
| CN102457692A (en) | Projector and method of controlling projector | |
| CN102959943A (en) | Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program | |
| EP2461592A2 (en) | A timing solution for projector camera devices and systems | |
| CN102316327A (en) | Image processing device, imaging method, and image processing method | |
| JP2011087128A (en) | Pantoscopic camera and method for discrimination of object | |
| JP2014157044A (en) | Distance detection camera | |
| CN107872631B (en) | Image shooting method and device based on double cameras and mobile terminal | |
| US9894339B2 (en) | Image processing apparatus, image processing method and program | |
| KR101795600B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium for performing the method | |
| US11209262B2 (en) | Electronic apparatus, control method thereof and computer readable storage medium | |
| CN103139472A (en) | Digital photographing apparatus and control method thereof | |
| JP2011113174A (en) | Image synthesizer, image reproduction device and imaging device | |
| JP4717867B2 (en) | Imaging apparatus and imaging method | |
| JP2012074962A (en) | Imaging apparatus | |
| JP2021127998A (en) | Distance information acquisition device and distance information acquisition method | |
| JP4453540B2 (en) | Imaging apparatus and program | |
| KR20110020521A (en) | Digital photographing apparatus |