JP2005109622A - Multiple-lens imaging apparatus and mobile communication terminal - Google Patents
Multiple-lens imaging apparatus and mobile communication terminal Download PDFInfo
- Publication number
- JP2005109622A JP2005109622A JP2003337096A JP2003337096A JP2005109622A JP 2005109622 A JP2005109622 A JP 2005109622A JP 2003337096 A JP2003337096 A JP 2003337096A JP 2003337096 A JP2003337096 A JP 2003337096A JP 2005109622 A JP2005109622 A JP 2005109622A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- photographing
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Cameras In General (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の撮影レンズによって被写体を撮像する多眼式撮像装置及び移動体通信端末に関するものである。 The present invention relates to a multi-view imaging apparatus and a mobile communication terminal that capture an image of a subject with a plurality of photographing lenses.
従来、複数のレンズによって被写体を撮影する多眼式カメラが知られている(例えば、特許文献1参照)。この特許文献1の多眼式カメラは、被写体像の光束を受光して撮影するCCDと、CCDに被写体像を導くための複数の撮影光学系とを備え、複数の撮影光学系にそれぞれ異なる可視光透過率の光学フィルタが装着され、複数の撮影光学系からの複数の被写体像が同時に撮影される。そして、得られた複数の被写体像を合成することにより、ダイナミックレンジの高い被写体像を得る。 2. Description of the Related Art Conventionally, a multi-lens camera that captures a subject with a plurality of lenses is known (for example, see Patent Document 1). The multi-lens camera disclosed in Patent Document 1 includes a CCD that receives and shoots a light beam of a subject image, and a plurality of photographing optical systems that guide the subject image to the CCD, and each of the plurality of photographing optical systems has a different visible. A light transmittance optical filter is attached, and a plurality of subject images from a plurality of photographing optical systems are photographed simultaneously. Then, a plurality of subject images obtained are combined to obtain a subject image with a high dynamic range.
また、近年、小型のカメラが内蔵された携帯電話機が普及してきている。この携帯電話機に内蔵される小型のカメラでは、より望遠、より高画素が求められている。
しかしながら、従来の携帯電話機に内蔵される小型のカメラにおいて、より望遠、より高画素化を実現しようとすると、パンフォーカスにすることが困難であり、さらにフォーカスのための機構が必要である。フォーカスのための機構を小型のカメラに組み込んだ場合、装置の大型化、コストアップを招き、さらに機構の可動部の信頼性といった問題が生じる。 However, in a small camera built in a conventional mobile phone, it is difficult to achieve pan-focusing if it is desired to achieve more telephoto and higher pixels, and a mechanism for focusing is required. When the focusing mechanism is incorporated in a small camera, the apparatus becomes large and the cost is increased, and the problem of reliability of the movable part of the mechanism arises.
特許文献1の多眼式カメラは、ダイナミックレンジの高い被写体像を得ることを目的としているため、フォーカスに関する記述は一切されておらず、示唆もされていない。 Since the multi-lens camera of Patent Document 1 is intended to obtain a subject image with a high dynamic range, there is no description or suggestion regarding the focus.
本発明は、上記の問題を解決するためになされたもので、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要であり、小型化、低価格及び高信頼性を確保することができる多眼式撮像装置及び移動体通信端末を提供することを目的とするものである。 The present invention has been made to solve the above-described problem, and does not require a driving mechanism for focusing even with a telephoto or a higher pixel, and ensures downsizing, low cost, and high reliability. It is an object of the present invention to provide a multi-lens imaging device and a mobile communication terminal that can be used.
本発明に係る多眼式撮像装置は、被写体との合焦位置がそれぞれ異なる複数の撮影レンズと、前記複数の撮影レンズによって合焦された各被写体像が結像され、結像された複数の被写体像を光電変換する撮像素子と、前記撮像素子によって光電変換された複数の被写体像の画像の中から焦点が合っている画像を選択する画像選択部とを備える。 The multi-lens imaging device according to the present invention is configured such that a plurality of photographing lenses each having a different focus position with a subject and each subject image focused by the plurality of photographing lenses are formed, An image sensor that photoelectrically converts a subject image, and an image selection unit that selects an in-focus image from a plurality of subject image images photoelectrically converted by the image sensor.
この構成によれば、被写体との合焦位置がそれぞれ異なる複数の撮影レンズによって合焦された各被写体像が結像され、撮像素子によって、結像された複数の被写体像が光電変換され、画像選択部によって、撮像素子によって光電変換された複数の被写体像の画像の中から焦点が合っている画像が選択される。したがって、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、小型化、低価格及び高信頼性を確保することができる。 According to this configuration, each subject image focused by a plurality of photographing lenses having different focus positions with respect to the subject is formed, and the plurality of formed subject images are photoelectrically converted by the imaging element, The selection unit selects an in-focus image from among a plurality of subject image images photoelectrically converted by the image sensor. Therefore, a driving mechanism for focusing is not required even when the pixels are more telephoto and higher in size, and downsizing, low cost, and high reliability can be ensured.
また、上記の多眼式撮像装置において、各画像内における所定の領域内の鮮鋭度を算出する鮮鋭度算出部をさらに備え、前記画像選択部は、前記鮮鋭度検出部によって算出された鮮鋭度が最も高い画像を各画像の中から選択することが好ましい。 The multi-lens imaging device may further include a sharpness calculation unit that calculates a sharpness in a predetermined region in each image, and the image selection unit may calculate the sharpness calculated by the sharpness detection unit. It is preferable to select an image having the highest value from each image.
この構成によれば、各画像内における所定の領域内の鮮鋭度が算出され、算出された鮮鋭度が最も高い画像が各画像の中から選択されるので、複数の撮影レンズによって撮像された複数の画像の中から焦点が合っている画像を容易に選択することができる。 According to this configuration, the sharpness in a predetermined area in each image is calculated, and an image having the highest calculated sharpness is selected from each image. Therefore, a plurality of images captured by a plurality of photographing lenses are used. It is possible to easily select a focused image from among the images.
また、上記の多眼式撮像装置において、前記複数の撮影レンズは、所定の焦点距離を有する第1撮影レンズと、前記第1撮影レンズよりも焦点距離が長い第2撮影レンズと、前記第2撮影レンズよりも焦点距離が長い第3撮影レンズと、前記第3撮影レンズと焦点距離が略同じであり、焦点深度内に入る撮影距離範囲が前記第3撮影レンズよりも近距離である第4撮影レンズとを含むことが好ましい。 In the multi-lens imaging device, the plurality of photographing lenses may include a first photographing lens having a predetermined focal length, a second photographing lens having a focal length longer than the first photographing lens, and the second photographing lens. A third photographic lens having a focal length longer than that of the photographic lens is substantially the same as that of the third photographic lens, and a photographic distance range that falls within the depth of focus is shorter than the third photographic lens. It is preferable to include a photographic lens.
この構成によれば、複数の撮影レンズは、所定の焦点距離を有する第1撮影レンズと、第1撮影レンズよりも焦点距離が長い第2撮影レンズと、第2撮影レンズよりも焦点距離が長い第3撮影レンズと、第3撮影レンズと焦点距離が略同じであり、焦点深度内に入る撮影距離範囲が第3撮影レンズよりも近距離である第4撮影レンズとを含んでおり、画像選択部によって、第1撮影レンズ、第2撮影レンズ、第3撮影レンズ及び第4撮影レンズの各撮影レンズによって結像され、光電変換された画像の中から、焦点が合っている画像が選択される。したがって、焦点距離が異なるとともに、焦点深度内に入る撮影距離範囲が異なる第1撮影レンズ、第2撮影レンズ、第3撮影レンズ及び第4撮影レンズを用いることによって、より望遠、より高画素を確保した上で焦点を合わせるための駆動機構が不要となり、小型化、低価格及び高信頼性を確保することができる。 According to this configuration, the plurality of photographing lenses have the first photographing lens having a predetermined focal length, the second photographing lens having a longer focal length than the first photographing lens, and the focal length longer than the second photographing lens. The third photographic lens includes a fourth photographic lens having a focal length substantially the same as that of the third photographic lens and having a photographic distance range within the focal depth that is shorter than the third photographic lens. The first imaging lens, the second imaging lens, the third imaging lens, and the fourth imaging lens form an image, and a focused image is selected from the photoelectrically converted images. . Accordingly, by using the first photographing lens, the second photographing lens, the third photographing lens, and the fourth photographing lens that have different focal lengths and different photographing distance ranges within the focal depth, more telephoto and higher pixels can be secured. In addition, a driving mechanism for focusing is not necessary, and it is possible to ensure downsizing, low cost, and high reliability.
また、上記の多眼式撮像装置において、前記複数の撮影レンズは、1つの撮像素子上にそれぞれの被写体像を結像させ、前記画像選択部は、前記撮像素子によって光電変換された複数の被写体像の画像の中から1の画像を選択することが好ましい。 In the multi-lens imaging device, the plurality of photographing lenses may form respective subject images on a single imaging device, and the image selection unit may be a plurality of subjects photoelectrically converted by the imaging device. It is preferable to select one image from the images.
この構成によれば、1つの撮像素子上に複数の撮影レンズによる被写体像が結像され、撮像素子によって光電変換された複数の被写体像の画像の中から1の画像が選択されるので、複数の撮影レンズの数に応じて撮像素子を設ける必要がなく、小型化及び低価格化を確保することができる。 According to this configuration, a subject image is formed by a plurality of photographing lenses on one image pickup device, and one image is selected from a plurality of subject image images photoelectrically converted by the image pickup device. There is no need to provide an image sensor according to the number of photographing lenses, and it is possible to ensure downsizing and cost reduction.
本発明に係る移動体通信端末は、カメラを備えた移動体通信端末であって、前記カメラは、請求項1〜4のいずれかに記載の多眼式撮像装置である。 The mobile communication terminal which concerns on this invention is a mobile communication terminal provided with the camera, Comprising: The said camera is the multiview imaging device in any one of Claims 1-4.
この構成によれば、移動体通信端末のカメラとして上記の多眼式撮像装置を採用することによって、カメラを、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、駆動機構により焦点を合わせる場合に比して消費電力を抑えることができる。 According to this configuration, by adopting the above multi-lens imaging device as a camera of a mobile communication terminal, a driving mechanism for focusing is not required even if the camera is made more telephoto and higher in pixel, and driving The power consumption can be suppressed as compared with the case of focusing by the mechanism.
請求項1に記載の発明によれば、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要であり、小型化、低価格及び高信頼性を確保することができる。 According to the first aspect of the present invention, there is no need for a drive mechanism for focusing even when the telephoto and the number of pixels are higher, and it is possible to ensure downsizing, low cost, and high reliability.
請求項2に記載の発明によれば、各画像内における所定の領域内の鮮鋭度が算出され、算出された鮮鋭度が最も高い画像が各画像の中から選択されるので、複数の撮影レンズによって撮像された複数の画像の中から焦点が合っている画像を容易に選択することができる。 According to the second aspect of the present invention, the sharpness in a predetermined area in each image is calculated, and the image having the highest calculated sharpness is selected from each image, so that a plurality of photographing lenses It is possible to easily select an image in focus from among a plurality of images taken by the above method.
請求項3に記載の発明によれば、焦点距離が異なるとともに、焦点深度内に入る撮影距離範囲が異なる第1撮影レンズ、第2撮影レンズ、第3撮影レンズ及び第4撮影レンズを用いることによって、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要であり、小型化、低価格及び高信頼性を確保することができる。 According to the third aspect of the present invention, by using the first photographing lens, the second photographing lens, the third photographing lens, and the fourth photographing lens that have different focal lengths and different photographing distance ranges that fall within the focal depth. Therefore, a driving mechanism for focusing is not required even if the pixel is more telephoto and higher in size, and downsizing, low cost, and high reliability can be ensured.
請求項4に記載の発明によれば、1つの撮像素子上に複数の撮影レンズによる被写体像が結像され、撮像素子によって光電変換された複数の被写体像の画像の中から1の画像が選択されるので、複数の撮影レンズの数に応じて撮像素子を設ける必要がなく、小型化及び低価格化を確保することができる。 According to the fourth aspect of the present invention, a subject image is formed by a plurality of photographing lenses on one image sensor, and one image is selected from among a plurality of subject images photoelectrically converted by the image sensor. Therefore, it is not necessary to provide an image sensor according to the number of a plurality of photographing lenses, and it is possible to ensure downsizing and cost reduction.
請求項5に記載の発明によれば、移動体通信端末のカメラとして上記の多眼式撮像装置を採用することによって、カメラを、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、駆動機構により焦点を合わせる場合に比して消費電力を抑えることができる。
According to the invention described in
以下、本発明に係る実施形態を図面に基づいて説明する。 Embodiments according to the present invention will be described below with reference to the drawings.
図1は、本発明の多眼式撮像装置が適用される携帯電話機の一例を示す外観図である。図1に示す携帯電話機(移動体通信端末)1は、カメラユニット2、表示部3、操作部4、スピーカ5及びマイクロフォン6を備えて構成される。
FIG. 1 is an external view showing an example of a mobile phone to which the multi-lens imaging device of the present invention is applied. A mobile phone (mobile communication terminal) 1 shown in FIG. 1 includes a
カメラユニット2は、被写体との合焦位置がそれぞれ異なる複数の撮影レンズと、複数の撮影レンズによって合焦された各被写体像が結像され、結像された複数の被写体像を光電変換する撮像素子等で構成され、被写体を撮像する。なお、カメラユニット2については、図3を用いて後述する。表示部3は、例えばLCD(液晶ディスプレイ)等で構成され、カメラユニット2によって撮影された画像を表示する。
The
操作部4は、シャッタボタン41、テンキー42及びズームボタン43を備えて構成される。シャッタボタン41は、ユーザにより押下されることによって、撮影を受け付ける。テンキー42は、0〜9までの番号等が対応付けられた複数のボタンで構成され、ユーザにより押下されることによって、相手方の電話番号の入力を受け付ける。ズームボタン43は、ユーザによるズーミング操作を受け付けるものであり、ズームアップボタン43aが押下されることによってズームアップが可能となり、ズームダウンボタン43bが押下されることによってズームダウンが可能となる。スピーカ5は相手方から送信されてきた音声等を外部に出力する。マイクロフォン6は、相手方に送信する音声等を入力する。
The
図2は、本発明の多眼式撮像装置が適用される携帯電話機の電気的構成を示すブロック図である。携帯電話機1は、カメラユニット2、表示部3、操作部4、画像処理部7、画像メモリ8、CPU(中央演算処理装置)9、メモリ10、無線通信部11及び音声入出力部12を備えて構成される。カメラユニット2、表示部3、操作部4、画像処理部7、画像メモリ8、CPU9、メモリ10、無線通信部11及び音声入出力部12はデータバス14によって接続されている。
FIG. 2 is a block diagram showing an electrical configuration of a mobile phone to which the multi-lens imaging device of the present invention is applied. The mobile phone 1 includes a
画像処理部7は、例えば、DSP(Digital Signal Processor)等で構成され、カメラユニット2から出力される画像信号に対して所定のデジタル信号処理を施す。なお、このデジタル信号処理については後述する。
The image processing unit 7 is configured by, for example, a DSP (Digital Signal Processor) or the like, and performs predetermined digital signal processing on the image signal output from the
画像メモリ8は、撮影した画像をデジタルズームなどの画像処理を行うために一時的に記憶する。メモリ10は、CPU9によって実行されるプログラムを格納したROM(Read Only Memory)、CPU9の作業領域等として用いられるRAM(Random Access Memory)及びユーザが入力したアドレス帳等のデータや撮像した画像等を保存する書き換え可能なEEPROM(Electrically Erasable Programmable Read-Only Memory)等で構成される。CPU9は、メモリ10のROMに記憶されているプログラムを実行することによって、全体の動作を制御する。無線通信部11は、アンテナ13により基地局を介して相手方との間で通信を行う。
The
音声入出力部12は、相手方に送信する音声を入力するためのマイクロフォン6と、相手方から送信されてきた音声等を出力するためのスピーカ5とが接続され、音声の入出力を行う。
The voice input /
図3は、図2のカメラユニット2の構成を示すブロック図である。カメラユニット2は、撮影光学系21、撮像素子22、AGC(オートゲインコントロール)部23、ADC(アナログ/デジタル変換)24を備えて構成される。
FIG. 3 is a block diagram showing the configuration of the
撮影光学系21は、撮像素子22に被写体光像を結像させる。撮像素子22は、例えば、CCD(Charge Coupled Device)等で構成され、被写体光像を所定の露光時間だけ受光して画像信号(電荷蓄積信号)に変換する。
The photographing
AGC部23は、撮像素子22から出力される画像信号のレベル調整を行う。なお、AGC部23は、適正露出が得られなかった場合(例えば非常に低輝度の被写体を撮影する場合等)の撮影画像のレベル不足を補償する機能も有する。
The
ADC24は、AGC部23によってレベル調整が行われたアナログの画像信号をデジタル信号に変換する。デジタル信号に変換された画像信号は、画像メモリ8に出力され、記憶される。
The
図4は、本発明の多眼式撮像装置の概念図である。被写体像を結像させる撮影光学系21は、合焦位置がそれぞれ異なり、焦点距離がそれぞれ異なる複数の撮影レンズで構成される。本実施形態における撮影光学系21は、所定の焦点距離を有する第1撮影レンズ211と、第1撮影レンズ211よりも焦点距離が長い第2撮影レンズ212と、第2撮影レンズ212よりも焦点距離が長い第3撮影レンズ213と、第3撮影レンズ213と焦点距離が略同じであり、焦点深度内に入る撮影距離範囲が第3撮影レンズ213よりも近距離である第4撮影レンズ214で構成される。
FIG. 4 is a conceptual diagram of the multi-lens imaging device of the present invention. The photographing
例えば、第1撮影レンズ211は、35mmカメラで30mm程度の焦点距離のレンズに相当する画角で撮影できるレンズである。第2撮影レンズ212は、第1撮影レンズ211の2倍の35mmカメラで60mm程度の焦点距離のレンズに相当する画角で撮影できるレンズである。第3撮影レンズ213は、第2撮影レンズ212の2倍の35mmカメラで120mm程度の焦点距離のレンズに相当する画角で撮影できるレンズである。第4撮影レンズ214は、第3撮影レンズ213と同じ焦点距離であるが、被写体側にわずかに繰り出した位置に設けられるレンズである。このように、第1撮影レンズ211では35mmカメラで30mm相当、第2撮影レンズ212では35mmカメラで60mm相当、第3撮影レンズ213及び第4撮影レンズ214では35mmカメラで120mm相当の画角で撮影することができる。
For example, the first photographing
また、Fナンバー(絞り値)は、第1撮影レンズ211及び第2撮影レンズ212がF2であり、第3撮影レンズ213及び第4撮影レンズ214がF4である。この場合、各撮影レンズで焦点深度内に入る撮影距離範囲は、第1撮影レンズ211では無限遠から約15cmまで、第2撮影レンズ212では無限遠から約60cmまでであり、第1撮影レンズ211と第2撮影レンズ212とは一般的な距離の被写体であればピント合わせをしなくても撮影することができる。第3撮影レンズ213では無限遠から約1mまで、第4撮影レンズ214では約1mから約50cmまででピントの合った撮影が可能である。したがって、第3撮影レンズ213及び第4撮影レンズ214の画角で撮影する場合、被写体距離によってより鮮明に撮影することが可能な方が選択される。
The F number (aperture value) is F2 for the first photographing
撮像素子22は、複数の領域に分割され、分割された各領域には、画像を生成するための撮影レンズが設けられている。本実施形態における撮像素子22は、第1領域221、第2領域222、第3領域223及び第4領域224の4つの領域に分割されている。また、本実施形態における撮像素子22の画素数は、例えば1280×960画素である。
The
第1撮影レンズ211は、第1領域221に被写体像を形成する。第2撮影レンズ212は、第2領域222に被写体像を形成する。第3撮影レンズ213は、第3領域223に被写体像を形成する。第4撮影レンズ214は、第4領域224に被写体像を形成する。
The first photographing
図5は、本発明の多眼式撮像装置の外観図であり、図6は、本発明の多眼式撮像装置の内部構成を示す分解図である。図6に示すように、多眼式撮像装置は、本体30の内部に、被写体側から順に視野絞り31、第1レンズ部32、第1遮光板33、第2レンズ部34、第2遮光板35及び撮像素子22が設けられている。
FIG. 5 is an external view of the multi-lens imaging device of the present invention, and FIG. 6 is an exploded view showing the internal configuration of the multi-lens imaging device of the present invention. As shown in FIG. 6, the multi-lens imaging device includes a
視野絞り31は、入射する余分な光を除去する絞りであり、不透明な板に4つの穴が形成されている。なお、この穴には、撮像素子22にCCDが用いられる場合にCCDが赤外光に感度を持つため、IRカットフィルタが貼り付けられており、IRカットフィルタによって不要な赤外光が除去される。
The
第1レンズ部32及び第2レンズ部34は、それぞれ透明な樹脂製で4つのレンズが一体成型で作成され、撮像素子22の所定の位置に結像されるように、第1レンズ部32及び第2レンズ部34の曲率と光軸方向の位置とが決められている。
The
第1遮光板33及び第2遮光板35は、それぞれ光を透過させない不透明な材料で成型され、隣り合うレンズ間の仕切りであり、隣接するレンズから洩れる不要な光を除去するものである。
The first light-shielding
図7は、多眼式撮像装置のズーミング及びフォーカシングに係る構成を示すブロック図である。図7に示す多眼式撮像装置は、撮像部15、画像メモリ8、CPU9及び画像処理部7を備えて構成される。
FIG. 7 is a block diagram illustrating a configuration related to zooming and focusing of the multi-lens imaging device. The multi-lens imaging device shown in FIG. 7 includes an
撮像部15は、上述のカメラユニット2の撮像素子22、AGC23及びADC24により構成される。
The
画像処理部7は、撮像部15のADC24によってデジタル信号に変換された画像信号に所定のデジタル信号処理を施すもので、このデジタル信号処理は当該画像信号を構成する各画素信号ごとに行われる。画像処理部7は、所定のデジタル信号処理として黒レベル補正、ホワイトバランス調整及びγ補正等を行う。黒レベル補正は、AD変換された各画素データの黒レベルを基準の黒レベルに補正するものである。ホワイトバランス調整は、撮影画像のホワイトバランスを調整するものである。γ補正は、各画素データのγ特性を補正することにより階調補正を行うものである。
The image processing unit 7 performs predetermined digital signal processing on the image signal converted into a digital signal by the
画像メモリ8は、撮像部15によって撮像され、画像処理部7によって画像処理が施された画像を記憶する。
The
CPU9は、画像抽出部61、AF(オートフォーカス)部62及びデジタルズーム部63を備えて構成される。
The
画像抽出部61は、画像メモリ8に記憶されている画像を読み出し、複数に分割されている画像から1の画像を切り出す。画像抽出部61は、ズーム比に応じて予め設定されている値(ここでは、N値とする)に応じて、複数に分割されている画像から1の画像を切り出す。
The
デジタルズーム部63は、デジタルズーム比を決定し、画像抽出部61によって切り出された画像を拡大する。デジタルズーム部63は、予め設定されている値(ここでは、M値とする)に応じて、デジタルズーム比を決定する。ここで、画像の拡大率(ズーム比)をKMとしている。ただし、K=4√2である。したがって、M=4で拡大率は2となり、画像は2倍に拡大される。なお、デジタルズームとは、ズーム比に応じて画像の中央部分の領域をトリミングし、トリミングした領域を拡大することによってズーム効果を得ることである。
The
なお、画像抽出部61において複数に分割されている画像から1の画像を切り出すN値と、デジタルズーム部63においてデジタルズーム比を決定するM値とは、メモリ10に記憶されている。画像抽出部61は、メモリ10からN値を読み出して複数に分割されている画像から1の画像を切り出す。デジタルズーム部63は、メモリ10からM値を読み出してデジタルズーム比を決定し、画像抽出部61によって切り出された画像に対してデジタルズームを施す。
The N value for cutting out one image from the plurality of images divided by the
AF部62は、焦点距離が同じで合焦位置が異なる複数の画像のうち、各画像内における所定の領域内の鮮鋭度を算出し、算出された鮮鋭度が最も高い画像を各画像の中から選択する。なお、鮮鋭度は、画像の明暗の差を表すコントラスト値を求めることで算出することができる。つまり、焦点が合っていない場合、画像のコントラスト値は低くなり、焦点が合っている場合、コントラスト値は高くなるので、AF部62は、各画像内における所定の領域内のコントラスト値を算出し、算出されたコントラスト値を比較し、最も高いコントラスト値を示す画像を各画像の中から選択する。
The
下記の表1は、本実施形態におけるN値及びM値の組み合わせとズーム比とを示している。表1では、右に行くほどズームアップし、左に行くほどズームダウンする。ここで、N値=1の場合、図4に示す第1領域221の画像が選択され、N値=2の場合、図4に示す第2領域222の画像が選択され、N値=3の場合、図4に示す第3領域223の画像が選択され、N値=4の場合、図4に示す第4領域224の画像が選択される。表1に示すように、ズーム比が「1×」のとき、N値は1であり、M値は0であり、ズーム比が「K×」のとき、N値は1であり、M値は1であり、ズーム比が「K3×」のとき、N値は1であり、M値は3である。すなわち、ズーム比が1倍からK3倍までは、第1領域221の画像が切り出される。
そして、ズーム比を「2×」、つまり2倍にする場合、N値を2とし、M値を0とすることで、第1領域221の画像の2倍の焦点距離で撮像された第2領域222の画像に切り換える。ズーム比が2倍から2K3倍までは、第2領域222の画像が切り出されることとなる。
When the zoom ratio is “2 ×”, that is, when the zoom ratio is doubled, the N value is set to 2 and the M value is set to 0, so that the second image captured at the focal length twice that of the image of the
同様に、ズーム比を「4×」、つまり4倍にする場合、N値を3又は4とし、M値を0とすることで、第1領域221の画像の4倍の焦点距離で撮像された第3領域223の画像又は第4領域224の画像に切り換える。ズーム比が4倍から8倍までは、第3領域223の画像又は第4領域224の画像が切り出されることとなる。
Similarly, when the zoom ratio is set to “4 ×”, that is, 4 times, by setting the N value to 3 or 4 and the M value to 0, the image is picked up with a focal length that is four times that of the image of the
ユーザは、ズームアップ操作のために割り当てられたズームアップボタン43a及びズームダウン操作のために割り当てられたズームダウンボタン43bを操作することによって、N値とM値とを切り換えてズームを行う。すなわち、ズームアップ操作では、表1の右方向へのN値とM値との組み合わせが選択され、ズームダウン操作では、表1の左方向へのN値とM値との組み合わせが選択されることで、K倍(1/K倍)ごとにズームができる。
The user operates the zoom-up
また、表1に示すズーム比が「4×」以上の領域では、無限遠よりの被写体に焦点が合っている第3領域223の画像と、近接よりに焦点が合っている第4領域224の画像とのうちのいずれか一方を選択することによって、焦点を合わせる。AF部62は、4倍以上のズーム比でズームを行う場合、第3領域223の画像のコントラストと第4領域224の画像のコントラストとを比較し、コントラストの高いほうの画像を選択し、選択された画像に対応する番号をN値に代入する。例えば、AF部62は、第3領域223の画像のコントラストと第4領域224の画像のコントラストとを比較して、第3領域223の画像のコントラストが第4領域224の画像のコントラストよりも高い場合、第3領域223の画像を選択し、選択された画像に対応する番号である「3」をN値に代入する。
Further, in the region where the zoom ratio shown in Table 1 is “4 ×” or more, the image of the
図8は、撮像素子で撮像した元画像におけるコントラストを比較するコントラスト比較領域を示す図である。撮像素子22によって撮像された元画像GMは、複数の画像に分割され、撮像素子22の第1領域221に対応する第1分割画像G1と、撮像素子22の第2領域222に対応する第2分割画像G2と、撮像素子22の第3領域223に対応する第3分割画像G3と、撮像素子22の第4領域224に対応する第4分割画像G4とに分割される。そして、第3分割画像G3及び第4分割画像G4のそれぞれの中央の長方形部分がコントラスト比較領域C3及びコントラスト比較領域C4である。AF部62は、第3分割画像G3におけるコントラスト比較領域C3のコントラスト値を計算するとともに、第4分割画像G4におけるコントラスト比較領域C4のコントラスト値を計算し、それぞれの領域におけるコントラスト値を比較する。ここで、コントラスト値の計算は、下記の(1)式に基づいて行われる。
なお、上記(1)式において、Cはコントラスト値を表し、aはコントラスト比較領域における垂直方向の画素数を表し、bはコントラスト比較領域における水平方向の画素数を表し、Pjkはコントラスト比較領域における垂直方向j番目水平方向k番目の画素値を表している。 In the above equation (1), C represents the contrast value, a represents the number of pixels in the vertical direction in the contrast comparison area, b represents the number of pixels in the horizontal direction in the contrast comparison area, and P jk represents the contrast comparison area. Represents the j-th pixel value in the j-th horizontal direction in the vertical direction.
このように、被写体との合焦位置がそれぞれ異なる複数の撮影レンズ211,212,213,214によって合焦された各被写体像が撮像素子22上に結像され、撮像素子22によって、結像された複数の被写体像が光電変換され、画像抽出部61によって、撮像素子22によって光電変換された複数の被写体像の画像の中から焦点が合っている画像が選択される。したがって、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、小型化、低価格及び高信頼性を確保することができる。
In this way, each subject image focused by a plurality of photographing
また、AF部62によって、各画像内における所定の領域(コントラスト比較領域)内のコントラスト値が算出され、算出されたコントラスト値の最も高い画像が各画像の中から選択されるので、複数の撮影レンズによって撮像された複数の画像の中から焦点が合っている画像を容易に選択することができる。
Further, the
また、複数の撮影光学系21は、所定の焦点距離を有する第1撮影レンズ211と、第1撮影レンズ211よりも焦点距離が長い第2撮影レンズ212と、第2撮影レンズ212よりも焦点距離が長い第3撮影レンズ213と、第3撮影レンズ213と焦点距離が略同じであり、焦点深度内に入る撮影距離範囲が第3撮影レンズ213よりも近距離である第4撮影レンズ214とを含んでおり、画像抽出部61によって、第1撮影レンズ211、第2撮影レンズ212、第3撮影レンズ213及び第4撮影レンズ214の各撮影レンズによって結像され、光電変換された画像の中から、焦点が合っている画像が選択される。したがって、焦点距離が異なるとともに、焦点深度内に入る撮影距離範囲が異なる第1撮影レンズ211、第2撮影レンズ212、第3撮影レンズ213及び第4撮影レンズ214を用いることによって、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、小型化、低価格及び高信頼性を確保することができる。
The plurality of photographing
また、1つの撮像素子22上に複数の撮影レンズによる被写体像が結像され、撮像素子22によって光電変換された複数の被写体像の画像の中から1の画像が選択されるので、複数の撮影レンズの数に応じて撮像素子を設ける必要がなく、小型化及び低価格化を確保することができる。
Further, a subject image is formed by a plurality of photographing lenses on one
さらに、焦点距離が異なるとともに、焦点深度内に入る撮影距離範囲が異なる第1撮影レンズ211、第2撮影レンズ212、第3撮影レンズ213及び第4撮影レンズ214を用いることによって、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、小型化、低価格及び高信頼性を確保することができる。
Furthermore, by using the first photographing
さらにまた、移動体通信端末である携帯電話機1のカメラとして上記の多眼式撮像装置を採用することによって、カメラを、より望遠、より高画素にしても焦点を合わせるための駆動機構が不要となり、駆動機構により焦点を合わせる場合に比して消費電力を抑えることができる。 Furthermore, by adopting the above multi-lens imaging device as the camera of the mobile phone 1 which is a mobile communication terminal, a driving mechanism for focusing is not required even if the camera is made more telephoto and higher in pixel. The power consumption can be suppressed as compared with the case of focusing by the drive mechanism.
なお、本実施形態では、複数の撮影レンズによって得られる複数の像を1つの撮像素子で撮像しているが、本発明は特にこれに限定されず、撮影レンズの数に応じた撮像素子を設け、複数の撮影レンズによって得られる複数の像を各撮像素子で撮像してもよい。 In the present embodiment, a plurality of images obtained by a plurality of photographing lenses are picked up by one image pickup device. However, the present invention is not particularly limited to this, and image pickup devices corresponding to the number of photographing lenses are provided. A plurality of images obtained by a plurality of photographing lenses may be captured by each image sensor.
また、本実施形態では、移動体通信端末である携帯電話機に内蔵される多眼式撮像装置として説明しているが、本発明は特にこれに限定されず、他の機器、例えば、PDA(携帯情報端末)、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ及びPCカメラ等に内蔵してもよい。 In this embodiment, the multi-view imaging device is described as being built in a mobile phone that is a mobile communication terminal. However, the present invention is not particularly limited to this, and other devices such as a PDA (mobile phone) (Information terminal), notebook personal computer, desktop personal computer, PC camera, and the like.
1 携帯電話機
2 カメラユニット
3 表示部
4 操作部
5 スピーカ
6 マイクロフォン
7 画像処理部
8 画像メモリ
9 CPU
10 メモリ
11 無線通信部
12 音声入力部
13 アンテナ
14 データバス
15 撮像部
22 撮像素子
61 画像抽出部
62 AF部
63 デジタルズーム部
211 第1撮影レンズ
212 第2撮影レンズ
213 第3撮影レンズ
214 第4撮影レンズ
DESCRIPTION OF SYMBOLS 1
DESCRIPTION OF
Claims (5)
前記複数の撮影レンズによって合焦された各被写体像が結像され、結像された複数の被写体像を光電変換する撮像素子と、
前記撮像素子によって光電変換された複数の被写体像の画像の中から焦点が合っている画像を選択する画像選択部とを備えることを特徴とする多眼式撮像装置。 A plurality of photographic lenses with different focus positions with the subject;
An image sensor that forms each of the subject images focused by the plurality of photographing lenses, and photoelectrically converts the plurality of formed subject images;
A multi-lens imaging apparatus comprising: an image selection unit that selects an image in focus from a plurality of subject image photoelectrically converted by the imaging element.
前記画像選択部は、前記鮮鋭度検出部によって算出された鮮鋭度が最も高い画像を各画像の中から選択することを特徴とする請求項1記載の多眼式撮像装置。 A sharpness calculation unit for calculating the sharpness in a predetermined area in each image;
The multi-view imaging apparatus according to claim 1, wherein the image selection unit selects an image having the highest sharpness calculated by the sharpness detection unit from each image.
前記画像選択部は、前記撮像素子によって光電変換された複数の被写体像の画像の中から1の画像を選択することを特徴とする請求項1〜3のいずれかに記載の多眼式撮像装置。 The plurality of photographing lenses form respective subject images on one image sensor,
The multi-lens imaging device according to claim 1, wherein the image selection unit selects one image from among a plurality of subject image photoelectrically converted by the imaging device. .
前記カメラは、請求項1〜4のいずれかに記載の多眼式撮像装置であることを特徴とする移動体通信端末。 A mobile communication terminal equipped with a camera,
A mobile communication terminal, wherein the camera is the multi-lens imaging device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003337096A JP2005109622A (en) | 2003-09-29 | 2003-09-29 | Multiple-lens imaging apparatus and mobile communication terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003337096A JP2005109622A (en) | 2003-09-29 | 2003-09-29 | Multiple-lens imaging apparatus and mobile communication terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005109622A true JP2005109622A (en) | 2005-04-21 |
Family
ID=34533008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003337096A Withdrawn JP2005109622A (en) | 2003-09-29 | 2003-09-29 | Multiple-lens imaging apparatus and mobile communication terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005109622A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158825A (en) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | Image input device |
JP2011113420A (en) * | 2009-11-28 | 2011-06-09 | Oki Electric Industry Co Ltd | Image processor and image processing method |
WO2012057622A1 (en) * | 2010-10-24 | 2012-05-03 | Ziv Attar | System and method for imaging using multi aperture camera |
WO2014046184A1 (en) * | 2012-09-24 | 2014-03-27 | 富士フイルム株式会社 | Device and method for measuring distances of multiple subjects |
US8964110B2 (en) | 2011-11-30 | 2015-02-24 | Fujifilm Corporation | Imaging apparatus |
WO2017121762A1 (en) * | 2016-01-13 | 2017-07-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging devices, method for producing same, and imaging system |
WO2017154847A1 (en) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | Imaging apparatus |
WO2017154827A1 (en) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | Imaging apparatus |
-
2003
- 2003-09-29 JP JP2003337096A patent/JP2005109622A/en not_active Withdrawn
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158825A (en) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | Image input device |
JP4673202B2 (en) * | 2005-12-06 | 2011-04-20 | 株式会社リコー | Image input device |
JP2011113420A (en) * | 2009-11-28 | 2011-06-09 | Oki Electric Industry Co Ltd | Image processor and image processing method |
US9654696B2 (en) | 2010-10-24 | 2017-05-16 | LinX Computation Imaging Ltd. | Spatially differentiated luminance in a multi-lens camera |
EP2630784A1 (en) * | 2010-10-24 | 2013-08-28 | Opera Imaging B.V. | System and method for imaging using multi aperture camera |
US9025077B2 (en) | 2010-10-24 | 2015-05-05 | Linx Computational Imaging Ltd. | Geometrically distorted luminance in a multi-lens camera |
US9413984B2 (en) | 2010-10-24 | 2016-08-09 | Linx Computational Imaging Ltd. | Luminance source selection in a multi-lens camera |
US9578257B2 (en) | 2010-10-24 | 2017-02-21 | Linx Computational Imaging Ltd. | Geometrically distorted luminance in a multi-lens camera |
US9615030B2 (en) | 2010-10-24 | 2017-04-04 | Linx Computational Imaging Ltd. | Luminance source selection in a multi-lens camera |
WO2012057622A1 (en) * | 2010-10-24 | 2012-05-03 | Ziv Attar | System and method for imaging using multi aperture camera |
US9681057B2 (en) | 2010-10-24 | 2017-06-13 | Linx Computational Imaging Ltd. | Exposure timing manipulation in a multi-lens camera |
US8964110B2 (en) | 2011-11-30 | 2015-02-24 | Fujifilm Corporation | Imaging apparatus |
WO2014046184A1 (en) * | 2012-09-24 | 2014-03-27 | 富士フイルム株式会社 | Device and method for measuring distances of multiple subjects |
CN104620075A (en) * | 2012-09-24 | 2015-05-13 | 富士胶片株式会社 | Device and method for measuring distances of multiple subjects |
JP5750551B2 (en) * | 2012-09-24 | 2015-07-22 | 富士フイルム株式会社 | Apparatus and method for measuring distance of multiple subjects |
US9386215B2 (en) | 2012-09-24 | 2016-07-05 | Fujifilm Corporation | Device and method for measuring distances to multiple subjects |
WO2017121762A1 (en) * | 2016-01-13 | 2017-07-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-aperture imaging devices, method for producing same, and imaging system |
KR20190125532A (en) * | 2016-01-13 | 2019-11-06 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Multi-aperture imaging devices, method for producing same, and imaging system |
KR102286191B1 (en) * | 2016-01-13 | 2021-08-06 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Multi-aperture imaging devices, method for producing same, and imaging system |
KR20180102126A (en) * | 2016-01-13 | 2018-09-14 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Multi-aperture imaging devices, methods for generating the same, and imaging system |
KR102219527B1 (en) * | 2016-01-13 | 2021-02-24 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | Multi-aperture imaging devices, methods and imaging system for creating the same |
CN108781249A (en) * | 2016-01-13 | 2018-11-09 | 弗劳恩霍夫应用研究促进协会 | Multiple aperture imaging device, method and imaging system for manufacturing multiple aperture imaging device |
CN108781249B (en) * | 2016-01-13 | 2020-11-27 | 弗劳恩霍夫应用研究促进协会 | Multi-aperture imaging device, method for manufacturing multi-aperture imaging device, and imaging system |
US10652438B2 (en) | 2016-01-13 | 2020-05-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-aperture imaging devices, methods for producing same and imaging system |
JPWO2017154827A1 (en) * | 2016-03-11 | 2019-02-14 | 富士フイルム株式会社 | Imaging device |
WO2017154847A1 (en) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | Imaging apparatus |
US10823935B2 (en) | 2016-03-11 | 2020-11-03 | Fujifilm Corporation | Imaging device |
CN108780263A (en) * | 2016-03-11 | 2018-11-09 | 富士胶片株式会社 | Photographic device |
JPWO2017154847A1 (en) * | 2016-03-11 | 2018-09-27 | 富士フイルム株式会社 | Imaging device |
WO2017154827A1 (en) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | Imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9749563B2 (en) | Focal point detection device and focal point detection method | |
JP4528235B2 (en) | Digital camera | |
JP5486317B2 (en) | Operation of double lens camera to expand image | |
KR100806690B1 (en) | Auto focusing method and auto focusing apparatus therewith | |
JP2007041046A (en) | Imaging apparatus | |
JP5779726B2 (en) | Imaging apparatus and exposure determination method | |
JP6833498B2 (en) | Imaging device, imaging method and computer program | |
JP4509081B2 (en) | Digital camera and digital camera program | |
JP2016213582A (en) | Observation device | |
US9456121B2 (en) | Focus adjusting apparatus | |
JP2012037574A (en) | Electronic imaging apparatus | |
JP4210189B2 (en) | Imaging device | |
JP6188407B2 (en) | interchangeable lens | |
JP2005109623A (en) | Multiple-lens imaging apparatus and mobile communication terminal | |
US10051190B2 (en) | Interchangeable lens, camera system, imaging apparatus, control method of camera system, and control method of imaging apparatus in which the size of an image circle varies inversely to the focal distance | |
JP2005109622A (en) | Multiple-lens imaging apparatus and mobile communication terminal | |
JP4257508B2 (en) | Electronic camera | |
JP4850442B2 (en) | Imaging apparatus and focus adjustment method | |
JP4298752B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007114414A (en) | Imaging apparatus | |
JP2007249238A (en) | Imaging apparatus, automatic focusing method, and recording medium with recorded focusing procedure | |
KR101058036B1 (en) | Defocusing method and digital image processing device performing the same | |
JP3619541B2 (en) | Electronic imaging device | |
JP2021073813A (en) | Imaging apparatus, control method of the same, and computer program | |
KR100860700B1 (en) | Realizing method of depth of field and digital camera using thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061205 |