JP2011149901A - Light receiving device and mobile apparatus - Google Patents
Light receiving device and mobile apparatus Download PDFInfo
- Publication number
- JP2011149901A JP2011149901A JP2010013170A JP2010013170A JP2011149901A JP 2011149901 A JP2011149901 A JP 2011149901A JP 2010013170 A JP2010013170 A JP 2010013170A JP 2010013170 A JP2010013170 A JP 2010013170A JP 2011149901 A JP2011149901 A JP 2011149901A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- sensor
- infrared
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Light Receiving Elements (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本発明は、受光装置およびモバイル機器に関する。 The present invention relates to a light receiving device and a mobile device.
光学的情報を取得するための受光装置に関しては種々の提案がなされており、例えば、特開2005−308648号公報(特許文献1)には、紫外線受光素子により紫外線量の実測値を取得し、紅斑紫外線強度から紅斑紫外線強度やUV指数を求めることが提案されている。また、携帯電話等のモバイル機器に関しても種々の機能の搭載が提案されている。例えば、特開2003−42842号公報(特許文献2)には、携帯モバイル装置に紫外線センサ素子を装着し、その紫外線センサ素子で測定された紫外線強度や紫外線被爆量などの紫外線情報を当該携帯モバイル装置から出力することが提案されている。 Various proposals have been made regarding a light receiving device for acquiring optical information. For example, JP 2005-308648 A (Patent Document 1) acquires an actual measurement value of an ultraviolet ray amount by an ultraviolet light receiving element, It has been proposed to obtain erythema ultraviolet intensity and UV index from erythema ultraviolet intensity. Various functions have also been proposed for mobile devices such as mobile phones. For example, in Japanese Patent Application Laid-Open No. 2003-42842 (Patent Document 2), an ultraviolet sensor element is attached to a portable mobile device, and ultraviolet information such as ultraviolet intensity and ultraviolet exposure amount measured by the ultraviolet sensor element is included in the portable mobile device. It has been proposed to output from the device.
しかしながら、目的に合った受光装置の提供、または種々の機能が使い易い形で搭載されたモバイル機器の提供のためにはさらに検討すべき課題が多い。 However, there are many problems that need to be further studied in order to provide a light-receiving device suitable for the purpose or to provide a mobile device in which various functions are easily used.
本発明の課題は、上記に鑑み、有用な受光装置および使い易い機能を備えたモバイル機器を提案することにある。 In view of the above, an object of the present invention is to propose a useful light receiving device and a mobile device having an easy-to-use function.
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において60%以上の量子効率を有するとともに長波長の紫外域にも所定の量子効率を有する光電変換部と、光電変換部の出力に基づいて紫外光情報を算出する処理部とを有することを特徴とする受光装置を提供する。これによって、光電変換部の広い感度領域を活用した紫外光情報の取得が可能となる。本発明の具体的な特徴によれば、光電変換部の出力に基づいて可視光域および赤外光域の出力が得られる。さらに具体的な特徴によれば、この可視光域および赤外光域の出力に基づいて肌情報が得られるとともに紫外光情報が肌情報とともに表示される。これによって紫外線情報と肌情報をスキンケアの情報として対比して提供することができる。また、本発明の他の特徴によれば、光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有する。これによって、肌情報などを画像としても取得することが可能となる。 In order to achieve the above object, the present invention provides a photoelectric conversion unit having a quantum efficiency of 60% or more in the visible light region and the infrared light region and having a predetermined quantum efficiency in the ultraviolet region of a long wavelength, and photoelectric conversion, respectively. And a processing unit that calculates ultraviolet light information based on the output of the unit. This makes it possible to acquire ultraviolet light information using a wide sensitivity region of the photoelectric conversion unit. According to a specific feature of the present invention, outputs in the visible light region and the infrared light region are obtained based on the output of the photoelectric conversion unit. According to a more specific feature, skin information is obtained based on the output in the visible light region and the infrared light region, and the ultraviolet light information is displayed together with the skin information. This makes it possible to provide UV information and skin information as skin care information. According to another aspect of the invention, the photoelectric conversion unit includes a plurality of light receiving units arranged regularly to capture an image of light in a plurality of wavelength ranges. Thereby, it is possible to acquire skin information and the like as an image.
本発明の他の特徴によれば、それぞれ可視光域および赤外光域において60%以上の量子効率を有する光電変換部と、紫外光に感度を持つ紫外光センサを有し、紫外光センサの出力に基づいて紫外光情報を得るとともに、少なくとも光電変換部の出力に基づいて肌情報を得、紫外光情報を肌情報とともに表示する受光装置が提供される。これによって紫外線情報と肌情報をスキンケアの情報として対比して提供することができる。また、本発明の他の特徴によれば、光電変換部は、複数の波長域の光による像を撮像するため規則的に配列された複数の受光部を有する。これによって、肌情報などを画像としても取得することが可能となる。 According to another aspect of the present invention, the photoelectric conversion unit having a quantum efficiency of 60% or more in each of the visible light region and the infrared light region, and an ultraviolet light sensor sensitive to ultraviolet light, Provided is a light receiving device that obtains ultraviolet light information based on the output, obtains skin information based on at least the output of the photoelectric conversion unit, and displays the ultraviolet light information together with the skin information. This makes it possible to provide UV information and skin information as skin care information. According to another aspect of the invention, the photoelectric conversion unit includes a plurality of light receiving units arranged regularly to capture an image of light in a plurality of wavelength ranges. Thereby, it is possible to acquire skin information and the like as an image.
上記本発明のさらに具体的な特徴によれば、紫外光センサは、光電変換部における複数の受光部に対応する部分に紫外光の感度を付加するものである。これによって、光電変換部の受光部と同じ位置に紫外光の感度を持った紫外光センサを配置することができる。より具体的な特徴によれば、受光装置には、光電変換部に像を結像させるための撮像レンズが設けられる。そして、さらに具体的な特徴によれば、この撮像レンズは赤外から長波長の紫外光までの光が透過可能な分光透過率を有するとともに紫外光センサは撮像レンズを透過する領域と透過しない領域にまたがる広い紫外光感度を有する。この構成により、結像レンズをローパスフィルタとして機能させ、紫外光センサの受光波長域を肌のシミやしわの原因となる長波長の紫外領域に限定することができる。より具体的な特徴によれば、撮像レンズは、光電変換部への結像光路から退避可能であり、紫外光センサはUVインデックスの算出等に有用な広い領域の紫外線を受光することもできる。なお、上記における肌情報の好適な例は肌水分情報である。 According to the more specific feature of the present invention, the ultraviolet light sensor adds sensitivity of ultraviolet light to portions corresponding to the plurality of light receiving portions in the photoelectric conversion portion. Accordingly, an ultraviolet light sensor having ultraviolet light sensitivity can be disposed at the same position as the light receiving portion of the photoelectric conversion portion. According to a more specific feature, the light receiving device is provided with an imaging lens for forming an image on the photoelectric conversion unit. According to a more specific feature, the imaging lens has a spectral transmittance capable of transmitting light from infrared to long-wavelength ultraviolet light, and the ultraviolet light sensor transmits and does not transmit the imaging lens. It has a wide ultraviolet light sensitivity across. With this configuration, the imaging lens can function as a low-pass filter, and the light receiving wavelength region of the ultraviolet light sensor can be limited to a long wavelength ultraviolet region that causes skin spots and wrinkles. According to a more specific feature, the imaging lens can be retracted from the imaging optical path to the photoelectric conversion unit, and the ultraviolet light sensor can receive a wide range of ultraviolet rays useful for calculating the UV index. In addition, the suitable example of the skin information in the above is skin moisture information.
本発明の他の特徴によれば、赤外から長波長の紫外光までの光が透過可能な分光透過率を有する撮像レンズと、撮像レンズの結像位置に設けられ、撮像レンズを透過する領域と透過しない領域にまたがる紫外光感度を有するとともに撮像のために規則的に配列された複数の受光部をもつ紫外光センサを有する受光装置が提供される。これによって長波長の紫外領域における画像を取得することが可能となり、例えばシミやしわの診断のための肌の撮像等に好適である。具体的な特徴によれば、撮像レンズは、紫外光センサへの結像光路から退避可能であり、紫外光センサはUVインデックスの算出等に有用な広い領域の紫外線を受光することもできる。 According to another aspect of the present invention, an imaging lens having a spectral transmittance capable of transmitting light from infrared light to long-wavelength ultraviolet light, and a region provided at an imaging position of the imaging lens and transmitting through the imaging lens There is provided a light receiving device having an ultraviolet light sensor having a plurality of light receiving portions regularly arranged for imaging while having ultraviolet light sensitivity over a non-transmitting region. This makes it possible to acquire an image in the ultraviolet region of a long wavelength, and is suitable for, for example, imaging of the skin for diagnosing spots and wrinkles. According to a specific feature, the imaging lens can be retracted from the imaging optical path to the ultraviolet light sensor, and the ultraviolet light sensor can also receive a wide range of ultraviolet light useful for calculating the UV index.
本発明の他の特徴によれば、撮像レンズと、紫外光域から赤外光域までの広範囲に渡る複数の波長域の光による撮像レンズによる像を撮像するために規則的に配列された複数の受光部を有する光電変換部と、波長による像の差の情報を予め記憶した記憶部と、記憶部の記憶情報に基づき、異なる波長域に対応する受光部の像を補正する処理部とを有する受光装置が提供される。これにより対象物を広い波長域にわたる複数の波長の光により撮像することができる。なお、上記における波長による像の差の代表的な例は、波長による結像位置に従って撮像レンズの焦点位置を微調整することに伴う結像倍率の差である。 According to another aspect of the invention, the imaging lens and a plurality of regularly arranged to capture an image by the imaging lens with light in a plurality of wavelength ranges ranging from an ultraviolet light region to an infrared light region. A photoelectric conversion unit having a light receiving unit, a storage unit that stores in advance information on the difference in image according to wavelength, and a processing unit that corrects the image of the light receiving unit corresponding to a different wavelength range based on the storage information in the storage unit. A light receiving device is provided. Thereby, an object can be imaged with light of a plurality of wavelengths over a wide wavelength range. A typical example of the image difference due to the wavelength in the above is a difference in imaging magnification accompanying fine adjustment of the focal position of the imaging lens in accordance with the imaging position depending on the wavelength.
本発明の他の特徴によれば、紫外線情報の取得手段と、肌情報の取得手段を有し、紫外線情報が所定以上であるときに肌情報の取得を自動的に行うモバイル装置が提供される。これによって原因と結果が有機的に結びついたスキンケアの情報を自動的に得ることができる。具体的な特徴によれば、紫外線情報と肌情報は同時に表示され、両者を対比しながら理解することができる。本発明の他の特徴によれば、紫外線情報の取得手段と、肌情報の取得手段と、紫外線情報と肌情報を同時に表示する表示部とを有するモバイル装置が提供される。これによって、両者を対比しながら理解することができる。 According to another aspect of the present invention, there is provided a mobile device that has an ultraviolet information acquisition means and a skin information acquisition means, and automatically acquires skin information when the ultraviolet information is greater than or equal to a predetermined value. . This makes it possible to automatically obtain skin care information in which causes and results are organically linked. According to a specific feature, ultraviolet information and skin information are displayed at the same time, and can be understood by comparing the two. According to another aspect of the present invention, there is provided a mobile device having ultraviolet information acquisition means, skin information acquisition means, and a display unit for simultaneously displaying ultraviolet information and skin information. Thereby, it is possible to understand while comparing the two.
上記のように、本発明によれば、有用な紫外線情報が得られる受光装置および使い易い機能を備えたモバイル機器を提供することができる。 As described above, according to the present invention, it is possible to provide a light receiving device capable of obtaining useful ultraviolet information and a mobile device having an easy-to-use function.
図1は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第1実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ2およびこれに交換可能に着脱される交換レンズ4を有している。交換レンズ4のレンズ光学系6から入射した被写体光は、観察位置にあるミラー8で上方に反射され、焦点板10の位置に結像する。この像はペンタリズム12で反射された後、アイピース14で観察され、撮像ための構図決めなどが行われる。
FIG. 1 is a block diagram showing a first example of an autofocus digital single-lens reflex camera according to an embodiment of the present invention. The autofocus digital single-lens reflex camera has a
撮影の際には、操作部15のシャッタレリーズボタンを操作することによって、ミラー8がオートフォーカス用サブミラー16とともに撮影位置に退避するとともにフォーカルプレーンシャッタ18が開き、交換レンズ4のレンズ光学系6から入射した被写体光が撮像部20に結像して撮像される。撮像部20によって撮像された画像情報は、画像処理部22で画像処理された後、カメラ制御部24の制御により画像記憶部26に記憶される。画像記憶部26に記憶された画像情報は、適宜媒体スロット28に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部26に記憶された画像情報は、カメラ制御部24の制御により、適宜入出力部30から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部24から表示部32に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
At the time of shooting, by operating the shutter release button of the
画像再生の際には、操作部15の操作により、画像記憶部26または媒体スロット28に記憶された画像情報がカメラ制御部24によって読み出され、カメラボディ2の背面に設けられた液晶等からなる表示部32に表示される。以上が、図1のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー8が観察位置にあるときは、撮像部20による被写体像の撮像は行われないので、以上の構成だけではアイピース14で観察できるリアルタイムの被写体像は表示部32に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部32の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
When the image is reproduced, the image information stored in the
次に、図1のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ4のレンズ光学系6から入射した被写体光の一部は、観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射されて測光兼用オートフォーカス(以下「AF」)センサに導かれる。測光兼用AFセンサ34はサブミラー16から入射する光をAFセンサ上に再結像して分析し結果をカメラ制御部24に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部20の撮像面とレンズ光学系6による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部24は、測光兼用AFセンサ34から得られたレンズ光学系6による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系6の駆動量および駆動方向の情報を、AF制御部36に送る。AF駆動部38は、カメラボディ2と交換レンズ4との機械的または電気的インターフェースによってAF制御部36から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系6を駆動し、自動焦点合わせを行う。なお、測光兼用AFセンサ34の構成の詳細については後述する。
Next, the configuration and functions related to autofocus in the autofocus digital single lens reflex camera of FIG. 1 will be described. Part of the subject light incident from the lens
ライブビューセンサ40は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム12の反射面12a全体が半透過性になっており、ライブビューセンサ40は、焦点板10の画像をCIGS撮像センサ上に再結像させることにより、焦点版10の画像全体を撮像できるようになっている。CIGS撮像センサは、銅(Cu)、インジウム(In)、ガリウム(Ga)およびセレン(Se)を材料とする光センサであり、その詳細は後述する。
The
ペンタプリズム12の反射面12aは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース14で焦点版10の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ40に採用されているCIGS撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面12aの光透過率がわずかであっても、可視光領域における焦点版10の像を充分撮像することが可能である。このライブビューセンサ40への可視光の配分は、アイピース14により光学的に被写体を観察し難い暗さになったとき、CIGS撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。CIGS撮像センサを用いたライブビューセンサ40の詳細については後述する。ライブビューセンサ40で撮像された画像はカメラ制御部24に送られ、これが表示部32で表示されるので、図1のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部32の画像を観察しながら構図決めが可能である。
The reflection surface 12a of the
図2は、図1のオートフォーカスデジタル一眼レフカメラの第1実施例における測光兼用AFセンサ34およびライブビューセンサ40の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム12の反射面12aは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜52はこのような分光透過特性を実現するために反射面12aにコーティングされたものである。
FIG. 2 is a block diagram showing in detail the configuration of the photometry /
ライブビューセンサ40は、このような多層膜52を透過した焦点面10からの光束をCIGS撮像センサ54の撮像面に再結像させるための再結像レンズ56を備えている。赤外光カットフィルタ58は、多層膜52を透過してきた可視光領域以外の光を実質的にカットしてCIGS撮像センサ54の波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部24に送り、図1の表示部32でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
The
ライブビューセンサ40は、さらに焦点板10における明るさを測定する全画面測光を可能にしている。つまり、CIGS撮像センサ54から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部24で処理され、必要に応じAF対応部分測光センサ72の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などをコントロールする自動露出制御が行われる。
The
可視光カットフィルタ60は赤外光カットフィルタ58と差し替えてCIGS撮像センサ54への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜52からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、可視光よりも長波長側域の光がCIGS撮像センサ54に入射するようになる。CIGS撮像センサ54は、後述するように、長波長側が1300nmにおよぶ分光感度を持っている。従って、可視光カットフィルタ60の挿入によってライブビューセンサ40はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。
The visible light cut
ミラー/フィルタ駆動部62は、操作部15によるモード切換に応じたカメラ制御部24の制御により、上記の可視光カットフィルタ60と赤外光カットフィルタ58の差し替えを駆動する。なお、図2では、撮影位置に退避したミラー8aおよびサブミラー16aが二点鎖線で図示されているが、このようなミラー8とサブミラー16における観察位置と撮影位置の間の駆動も、カメラ制御部24の制御によりラー/フィルタ駆動部62が行う。
The mirror /
測光兼用AFセンサ34の再結像レンズ64は、交換レンズ4から入射して観察位置にあるミラー8中央にある半透過部を透過し、サブミラー16で下方に反射される被写体光を再結像させるためのものである。再結像レンズ64からの光束は、波長選択性のない可動半透ミラー66および赤外光カットフィルタ68を透過してCIGSAFセンサ70上に結像する。CIGSAFセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ68は、CIGSAFセンサ70をAFセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、CIGS撮像センサ54のための赤外光カットフィルタ58とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ8は赤外光カットフィルタ58よりも狭い透過分光特性に設定される。
The
このため、被写体が通常の明るさのときに減光のために可動半透ミラー66を図示の位置に挿入し、CIGSAFセンサへの入射光量をCIGSAFセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のAFセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを64aの位置に退避させ、減光なしに被写体像をCIGSセンサに結像させる。なお、このとき可動半透ミラー66の有無による光路長の補償が必要である。例えば、可動半透ミラー66を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが64aの位置に退避した状態では、AF対応部分測光センサ72による測光はできなくなる。
For this reason, when the subject has normal brightness, the movable
CIGSAFセンサ70への減光のために再結像光路中に可動半透ミラー66が挿入されている時、これを反射した光は、AF対応部分測光センサ72に入射する。AF対応部分測光センサ72は、CIGSAFセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるCIGSAFセンサ70への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
When the movable
AF対応部分測光センサ72からの部分測光情報は、ライブビューセンサ40のCIGS撮像センサ54からの全画面に関する測光情報と組合せてカメラ制御部24で処理され、最終的に、交換レンズ4の絞り径、フォーカルプレーンシャッタ18によるシャッタ速度、および撮像部20の感度などがコントロールされる。
The partial photometric information from the AF corresponding partial
センサ制御部74は、可動半透ミラー66が挿入されている時および退避しているときのいずれの場合においても、CIGSAFセンサ70の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー66が挿入されているのか退避しているのかの情報も用いられる。センサ制御部74は、また、CIGSAFセンサ70およびAF対応部分測光センサ72に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部24に出力させる。
The
一方、ライブビューセンサ40が「長波長モード」に設定され、多層膜52からCIGS撮像センサ54への光路に赤外光カットフィルタ58に替えて可視光カットフィルタ60が光路に挿入された場合は、測光兼用AFセンサ34でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー66の退避を前提として赤外光カットフィルタ68が可視光カットフィルタ76に差し替えられる。これによって、CIGS撮像センサ54による長波長域での撮像のための焦点検出が、減光なしに、CIGSAFセンサ70によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
On the other hand, when the
以上のような可動半透ミラー66の移動および赤外光カットフィルタ68と可視光カットフィルタ76との差し替えは、操作部15によるモード切換操作に基づくカメラ制御部24の制御により、ミラー/フィルタ駆動部78が司る。
The movement of the movable
図1および図2の第1実施例は、上記のような基本機能に加え、「複合AF機能」が可能である。操作部15の操作により、「複合AF機能」が選択されると、ライブビュー機能が停止され、「複合AF機能」の開始が指示される。具体的には、操作部15の操作により、「複合AF機能」が選択されると、カメラ制御部24は、赤外光カットフィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行うとともにCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止する。
The first embodiment shown in FIGS. 1 and 2 can provide a “composite AF function” in addition to the basic functions as described above. When the “composite AF function” is selected by the operation of the
これに替わり、可視光カットフィルタ60により長波長側の感度域となったCIGS撮像センサ54の画像信号は、赤外光カットフィルタ68により可視光の感度域にあるCIGSAFセンサの出力と組み合わされ、「複合AF機能」が実行される。具体的には、CIGS撮像センサ54の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、CIGSAFセンサによる焦点検出領域が決定される。
Instead, the image signal of the
図3は、図2のCIGS撮像センサ54およびCIGSAFセンサに用いられるCIGSセンサの分光感度(量子効率)をシリコンのCMOSセンサと比較したものである。図3(A)は、各波長におけるCIGSセンサの量子効率(%)を示すものであり、図3(B)におけるシリコンのCMOSセンサについての同様の量子効率(%)と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図3(A)のCIGSセンサは、波長1300nm近くにわたる広い感度域を持つ。さらに、400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性は、図3(B)におけるようなシリコンのCMOSセンサでは期待できないものである。
FIG. 3 compares the spectral sensitivity (quantum efficiency) of the CIGS sensor used in the
図4は、図1および図2の第1実施例におけるカメラ制御部24の動作のフローチャートである。操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS2においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS4に進み、可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
FIG. 4 is a flowchart of the operation of the
なお、ステップS4の指示に応答するミラー/フィルタ駆動部78による可動半透ミラー66設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー66がCIGSAFセンサ70への光路にセットされている状態で可動半透ミラー66を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー66を光路内にセットする指示が続いて行われたような場合には、ミラー/フィルタ駆動部78は実際には可動半透ミラー66の駆動を実行せず、可動半透ミラー66が光路内に設定されている状態が継続する。換言すれば、ミラー/フィルタ駆動部78は遅延時間内に可動半透ミラー66を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー66の駆動を実行することになる。なお、既に可動半透ミラー66がCIGSAFセンサ70の光路に設定されている状態でステップS4の指示が行われた時は、当然ながら、ミラー/フィルタ駆動部78は可動半透ミラー66に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
It should be noted that a delay period is provided in the mechanical execution of the setting of the movable
次いでステップS6に進み、ライブビュー用の赤外光フィルタ58をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に行う。なお、ミラー/フィルタ駆動部62のミラー差し替え動作についても、上記でミラー/フィルタ駆動部78において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
Next, in step S6, the mirror /
次いで、ステップS8でAF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS10に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS12に進んで、可動半透ミラー66を光路から退避させる減光解除の指示を行ってステップS14に移行する。一方、被写体が充分明るい場合は直接ステップS14に移行する。
In step S8, the mirror / filter driving unit 78 is instructed to set the infrared cut filter 68 for AF in the optical path to the
ステップS14では、操作部15によって「複合AFモード」が選択されたかどうかのチェックを行う。そして選択があればステップS16に進み、複合AFを行うために赤外光フィルタ58に替えて可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS18でCIGS撮像センサ54の出力に基づく表示部32でのライブビュー表示を停止するとともに、長波長側の感度域のCIGS撮像センサ54の画像信号と可視光の感度域にあるCIGSAFセンサの出力とを組み合わせる「複合AF機能」の開始が指示してステップS20に移行する。一方、ステップS14で「AFモード」の選択が検出されない場合は、直接ステップS20に移行する。
In step S14, it is checked whether or not the “composite AF mode” has been selected by the
ステップS20では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップS20で光量不足が検知されるとステップS22に進み、操作部15の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップS24に進み、赤外光フィルタ58に替えてライブビュー用の可視光カットフィルタ60をCIGS撮像センサ54への光路に設定する指示をミラー/フィルタ駆動部62に対して行う。さらに、ステップS26で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行ってステップS28に移行する。
In step S <b> 20, it is checked whether the image picked up by the
一方、ステップS20で撮像部の光量不足が検出されない場合は、直接ステップS28に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップS22に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部15で特別の操作を行うことによってステップS22に進むことも可能である。また、ステップS22で「長波長モード」設定が検出されない場合も、直接ステップS28に移行する。
On the other hand, if it is not detected in step S20 that the light intensity of the imaging unit is insufficient, the process directly proceeds to step S28. As described above, when the image is not dark enough to cause the light amount of the image capturing unit to be insufficient, the process cannot normally proceed to step S22, and the “long wavelength mode” is prohibited. This is to prevent confusion of settings. Even when the subject is bright, it is possible to proceed to step S22 by performing a special operation with the
ステップS28では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS30に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS2に戻り、以下、ステップS2で再生モード操作が検出されるかステップS28でレリーズ操作が検出されない限り、ステップS2からステップS30を繰り返す。
In step S28, it is checked whether or not a release operation using the shutter release button of the
上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部62、78に設けられる遅延時間内に何度も繰り返される。従って、ステップS10、ステップS14、ステップS20およびステップS22に基づく検知結果が変化するとミラー/フィルタ駆動部62、78の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部62、78による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
The above repetition is performed at a sufficiently high speed and is repeated many times within the delay time provided in the mirror /
なお、ステップS2で操作部15による再生モード設定操作が検出された時はステップS32の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS4に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
When a playback mode setting operation by the
一方、ステップS28で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS34の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS2に戻る。なお、ステップS30でカメラオフ操作が検出されたときは、図4のフローが終了となる。
On the other hand, when the release fixed operation by the shutter release button of the
図5は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第2実施例を示すブロック図である。その構成の大部分は図1の第1実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図5の第2実施例が図1の第1実施例と異なるのは、カメラボディ100であり、特にそのライブビューセンサ102およびこれに関連する構成および機能が第1実施例と異なる。
FIG. 5 is a block diagram showing a second example of the autofocus digital single-lens reflex camera according to the embodiment of the present invention. Since most of the configuration is the same as that of the first embodiment of FIG. 1, the same reference numerals are given to common portions, and the description is omitted unless particularly required. The second embodiment shown in FIG. 5 differs from the first embodiment shown in FIG. 1 in the
第1実施例のライブビューセンサ40では、半透過性の反射面12aを介して光を受けるよう構成され、反射面12aを透過する可視光領域の光が抑えられている。これは、アイピース14で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ40にはCIGS撮像センサが用いられているので、反射面12aを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース14で充分観察できないような暗い被写体の場合は、ライブビューセンサ40でも光量が不足する。これに対し、図5の第2実施例は、アイピース14で充分観察できないような暗い被写体の場合でも、ライブビューセンサ102に採用したcIGS撮像センサによってライブビューが可能となるよう構成している。なお、図5のライブビューセンサ102の詳細構造は、図2におけるライブビューセンサ40と基本的には同様であって、再結像光学系およびCIGS撮像センサを有する。但し、ペンタプリズム104に対するライブビューセンサ102の配置場所が異なるので、その再結像光学系は図2の再結像レンズ56とは異なったものとなる。
The
上記の考え方に基づき、第2実施例では、通常のペンタプリズム104が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム104からの光はすべてアイピースに向かう。このとき可動全反射ミラー106は図5のようにアイピース14への光路から退避している。従ってこの状態ではライブビューができない。
Based on the above concept, in the second embodiment, the
操作部15の操作によってライブピューモードを選択すると、可動全反射ミラーが106aの位置に下がり、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射する。従って、アイピース14による光学的なファインダー像の観察はできなくなる。可動減光フィルタ108は、被写体が通常の明るさのときに図5のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ102への入射光量をCIGS撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ108がライブビューセンサ102への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ108の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図5の第2実施例の場合にはCIGS撮像センサによりライブビューが可能となる。このライブビューセンサ102からの可視光域の画像は表示部32でのライブビューだけでなく、画像記憶部26に記録することも可能である。したりすることが可能となる。
When the live pure mode is selected by operating the
赤外光カットフィルタ110は、ライブビューモードにおいて可動全反射ミラー106aから反射される可視光領域以外の光をカットし、CIGS撮像センサの波長感度特性を撮像部20の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部116に送り、自然なライブビューを可能にする。
The infrared light cut
可視光カットフィルタ112は、赤外光カットフィルタ110と差し替えてライブビューセンサ102への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー106aからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ110に替えて可視光カットフィルタ112がライブビューセンサ102への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ102のCIGS撮像センサに入射するようになる。従って、第1実施例と同様、長波長域の画像についてその画像出力を表示部32でリアルタイムに観察したり、画像記憶部26に記録したりすることが可能となる。なお、可視光カットフィルタ112を用いる長波長モードにおいては、可動減光フィルタ108をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが106、可動減光フィルタ108、赤外光カットフィルタ110および可視光カットフィルタ112の駆動は、カメラ制御部116によって制御されるミラー/フィルタ駆動部114によって行われる。
The visible light cut
図6は、図5の第2実施例におけるカメラ制御部116の動作のフローチャートである。第1実施例と同様にして操作部15によってカメラのメインスイッチがオンになるとフローがスタートし、ステップS42においてオートフォーカスデジタル一眼レフカメラが操作部15によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップS44に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー106がアイピース14への光路中から退避するようミラー/フィルタ駆動部114に指示する。ステップS44ではさらに、可動減光フィルタ108をライブビューセンサ102への光路中に挿入して入射光量を減光する指示をミラー/フィルタ駆動部114に行とともに、図2における可動半透ミラー66をCIGSAFセンサ70への光路内に設定して入射光量を減光する指示をミラー/フィルタ駆動部78に行う。
FIG. 6 is a flowchart of the operation of the camera control unit 116 in the second embodiment of FIG. As in the first embodiment, when the main switch of the camera is turned on by the
次いでステップS46に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS48に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー106をアイピース14への光路中に進出させるようミラー/フィルタ駆動部114に指示してステップS50に移行する。この指示が実行されると、ファインダ像をアイピース14から光学的に観察することはできなくなり、代わりにライブビューセンサ102の出力に基づく表示部32でのライブビューが可能となる。ステップS48ではさらに、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に行う。なお、ミラー/フィルタ駆動部114についても、第1実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップS46で「ライブビューモード」への設定が検知されない場合は、直接ステップS50に移行する。
In step S46, it is checked whether the “live pew mode” is set by the
ステップS50では、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に行う。そして、ステップS52に進み、CIGSAFセンサ70の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップS54に進み、操作部15によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップS56に進み、可動減光フィルタ108をライブビューセンサ102への光路から退避させる減光解除の指示を行ってステップS58に移行する。一方、ステップS54で「ライブビューモード」の設定が検知されなければ直接ステップS58に移行する。そして、ステップS58では、可動半透ミラー66をCIGSAFセンサ70への光路から退避させてAF用の減光を解除する指示を行う。このように、ステップS52で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずAF用の減光を解除する。
In step S50, the mirror / filter driving unit 78 is instructed to set the infrared cut filter 68 for AF in the optical path to the
次いで、ステップS60では、撮像部20による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップS62に進み、操作部15の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップS64に進み、赤外光フィルタ110に替えてライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行う。さらに、ステップS66で、赤外光カットフィルタ68に替えてAF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。
Next, in step S60, it is checked whether the image picked up by the
以上のステップを経て、フローはステップS68に進む。一方、ステップS52で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップS60で撮像部20による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップS62で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップS68に移行する。
Through the above steps, the flow proceeds to step S68. On the other hand, if it is not detected in step S52 that the subject is dark enough to cancel the dimming, if it is not detected in step S60 that the subject is dark enough that the imaging by the
ステップS68では、操作部15のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップS70に進み、操作部15によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップS42に戻り、以下、ステップS42で再生モード操作が検出されるかステップS68でレリーズ操作が検出されない限り、ステップS42からステップS70を繰り返す。
In step S68, it is checked whether or not a release operation using the shutter release button of the
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー/フィルタ駆動部78、114に設けられる遅延時間内に何度も繰り返される。従って、ステップS46、ステップS52、ステップS54、ステップS60およびステップS62に基づく検知結果が変化するとミラー/フィルタ駆動部78、114の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー/フィルタ駆動部78、114による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定/解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
Similar to the first embodiment, the above repetition is performed at a sufficiently high speed, and is repeated many times within the delay time provided in the mirror /
なお、第1実施例と同様にして、ステップS42で操作部15による再生モード設定操作が検出された時はステップS72の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップS44に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
As in the first embodiment, when a reproduction mode setting operation by the
また、ステップS68で操作部15のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップS74の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップS42に戻る。なお、ステップS70でカメラオフ操作が検出されたとき、図6のフローは終了となる。
Further, when the release fixed operation by the shutter release button of the
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第1実施例においては、可視光カットフィルタ60により長波長域に感度を有するCIGS撮像センサ54と赤外光カットフィルタ68により可視光に感度域を有するCIGSAFセンサの出力とを組合せて「複合AF機能」は実施するものとして説明した。しかしながら、「複合AF機能」の実施はこのようなものに限るものではない。例えば、図2における波長選択性のない可動半透ミラー66をダイクロイックミラーで構成し、可視光透過させてCIGSAFセンサ70上に導くとともに、長波長域を反射させてAF対応部分測光センサ72に導くようにする。そして、AF対応部分測光センサ72にも、CIGSセンサを用いるようにする。なお、この場合、赤外光カットフィルタ68は不要となる。
The various features of the present invention described above are not limited to the embodiments and can be widely used. For example, in the first embodiment, the visible light cut
以上のように構成すれば、長波長域に感度を有するAF対応部分測光センサ72によりAF対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してCIGSAFセンサ70による焦点検出を行うことが可能となる。
If comprised as mentioned above, it becomes possible to estimate where a person exists in the AF corresponding part by the AF corresponding partial
さらに「複合AF機能」の実施は以上のように二つのCIGSセンサを用いるものに限るものではない。例えば図2において、可視光カットフィルタ76がCIGSAFセンサの光路中に挿入された状態においてCIGSAFセンサ自体でAF対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ18が光路中に挿入された状態においてその部分に対してCIGSAFセンサ70による焦点検出を行うことも可能である。このように広い感度領域を有する一つのCIGSを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合AF機能」を実現することも可能である。
Furthermore, the implementation of the “composite AF function” is not limited to the one using two CIGS sensors as described above. For example, in FIG. 2, in the state where the visible light cut
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。 In the above embodiment, the description has been made on the assumption that the movable semi-transmissive mirror or the filter is put in and out of the optical path for dimming. For example, a plurality of neutral density filters with different transmittances may be prepared, and one of these may be inserted into the optical path to change the degree of attenuation finely in a stepwise manner. You may comprise so that the degree of light attenuation may be changed continuously using the light reduction means from which the transmittance | permeability changes continuously.
上記の実施例においては、可視光域および赤外光域において60%以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてCIGSセンサを用いている。CIGSセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のCIGS系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「CIS系薄膜」とも称されるが、本明細書で「CIGSセンサ」という場合は、このようなガリウムを含まない「CIS系薄膜」を用いた光電センサをも意味するものとする。 In the above embodiment, the CIGS sensor is used as a sensor having a high sensitivity and a broadband spectral sensitivity characteristic having a quantum efficiency of 60% or more in the visible light region and the infrared light region. The CIGS sensor is a photoelectric sensor using a polycrystalline CIGS thin film made of copper, indium, gallium, and selenium, and the absorption wavelength region can be controlled by changing the band gap by controlling the composition thereof. Among them, the gallium content of zero is also referred to as “CIS thin film”, but in this specification “CIGS sensor” refers to such a “CIS thin film” that does not contain gallium. It shall also mean a photoelectric sensor.
図7は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタR11、青透過フィルタB12、緑透過フィルタG22および赤透過フィルタR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のCIGS撮像センサは、図3のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図7の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
FIG. 7 is a first example of the color filter array of the CIGS imaging sensor used in the
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタB12に対応する画素については、基本的にはその両側にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR13に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタR21に対応する画素については、同様にその上下にある赤外光透過フィルタIR11に対応する画素のデータと赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタG22に対応する画素については、その周囲にある赤外光透過フィルタIR11に対応する画素のデータ、赤外光透過フィルタIR13に対応する画素のデータ、赤外光透過フィルタIR33に対応する画素のデータおよび赤外光透過フィルタIR31に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。 Here, the interpolation of the infrared light image regarding the pixel in which the infrared light transmission filter is not disposed will be described. First, for the pixel corresponding to the blue transmission filter B12, basically, the average value of the pixel data corresponding to the infrared light transmission filter IR11 and the pixel data corresponding to the infrared light transmission filter IR13 on both sides thereof is determined. Interpolation is performed. The same applies to the interpolation of the infrared light image in the pixels corresponding to the other blue transmission fills. On the other hand, the pixel corresponding to the red transmission filter R21 is similarly interpolated by the average value of the pixel data corresponding to the infrared light transmission filter IR11 above and below the pixel data corresponding to the infrared light transmission filter IR31. The The same applies to the interpolation of the infrared light image in the pixels corresponding to the other red transmission filters. For the pixel corresponding to the green transmission filter G22, the pixel data corresponding to the infrared light transmission filter IR11, the pixel data corresponding to the infrared light transmission filter IR13, and the infrared light transmission filter IR33 around it. Interpolation is performed based on the average value of the corresponding pixel data and the pixel data corresponding to the infrared light transmission filter IR31. The same applies to the interpolation of the infrared light image in the pixels corresponding to the other green transmission filters.
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタR21に対応する画素の赤外光画像の補間において、赤透過フィルタR21に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。 Note that with simple interpolation as described above, an infrared light image different from the actual subject may be obtained. To prevent this, instead of simply interpolating an infrared light image based only on the data corresponding to the nearby infrared light transmission filter, the visible light data affecting the pixel being interpolated is also included. It is effective to perform interpolation with consideration. For example, in the interpolation of the infrared light image of the pixel corresponding to the red transmission filter R21, the red light data actually received by the pixel corresponding to the red transmission filter R21 is also taken into consideration. The presence or absence of such visible light data and the degree of addition are determined based on the correlation between visible light data and infrared light data or the correlation between other visible light data of surrounding pixels. .
図8は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第2例である。この第2例にでは、カラーフィルタ配列自体は図7の第1例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタIR11および緑透過フィルタG22については、画素に許される最大の受光面積を確保しているが、青透過フィルタB12は遮光部202を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。同様に赤透過フィルタR21についても、遮光部204を設けることにより、受光面積が緑透過フィルタG22の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
FIG. 8 is a second example of the filter array of the CIGS imaging sensor used in the
本発明のCIGS撮像センサは、図3のように可視光域において高感度を有するため、上記のように青透過フィルタB12と赤透過フィルタR21の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタB12と赤透過フィルタR21の受光面積比を変えることも可能である。 Since the CIGS imaging sensor of the present invention has high sensitivity in the visible light region as shown in FIG. 3, it can sufficiently cope with reducing the light receiving areas of the blue transmission filter B12 and the red transmission filter R21 as described above. In addition, since the light receiving area of each pixel is changed by the light shielding portion, finer adjustments can be made as compared with approximation to human visual sensitivity by the ratio of the number of pixels as in the Bayer array. Accordingly, the light receiving area ratio of the blue transmission filter B12 and the red transmission filter R21 can be changed.
図9は、図8のフィルタ配列の第2例を採用したCIGSセンサの模式断面図である。図9(A)に示すように、本発明のCIGS撮像センサはLSI400の上にCIGS系薄膜402を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ404が乗せられている。この図9(A)の模式断面図における基本構造自体は、フィルタ配列の第2例に限られるものでなく、本発明のCIGSセンサに共通である。
FIG. 9 is a schematic cross-sectional view of a CIGS sensor that employs a second example of the filter arrangement of FIG. As shown in FIG. 9A, the CIGS imaging sensor of the present invention has a structure in which a CIGS
図9(B)は、図9(A)の部分406を拡大した模式断面図であり、図8のフィルタ配列の第2例の断面を概念的に示している。なお、図8および図9(A)では対応する部分には同じ番号を付す。図9(B)に明らかなように、CIGS系薄膜402はそれぞれ画素をなすフォトダイオード408、410等に区分されており、フォトダイオード408の上には、赤外光透過フィルタIR11が載せられている。そして、フォトダイオード410の上には、受光面積を減らすための遮光部202および青透過フィルタB12が載せられている。
FIG. 9B is an enlarged schematic cross-sectional view of the
図10は、図2の第1実施例におけるライブビューセンサ40または図5の第2実施例におけるライブビューセンサ102に用いられるCIGS撮像センサのフィルタ配列の第3例である。この例は、ベイヤー配列における緑透過フィルタの全数の4分の1を規則的に赤外光透過フィルタIR11、IR33、IR51等に置き換えたものである。残りの4分の3は、ベイヤー配列と同様に緑透過フィルタG13、G22,G31、G42、G44、G35、G24等となっている。
FIG. 10 is a third example of the filter array of the CIGS imaging sensor used in the
この結果、緑透過フィルタG13等の全数の割合は、赤透過フィルタR23や、青透過フィルタB32の全数の割合の1.5倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図10のフィルタ配列においても、図8のフィルタ配列の考え方を加味し、赤透過フィルタR23等と青透過フィルタB32等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。 As a result, the ratio of the total number of green transmission filters G13 and the like is 1.5 times the ratio of the total number of red transmission filters R23 and blue transmission filters B32. As a result, the number of pixels corresponding to the green transmission filter is increased in the same manner as the Bayer array, so that the light receiving area of the green transmission filter is increased to approximate the visual sensitivity of the human eye. Also in the filter arrangement of FIG. 10, taking into account the concept of the filter arrangement of FIG. It is also possible to adjust the light receiving area for approximation.
一方、赤外光透過フィルタIR11等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタR23や、青透過フィルタB32の全数の割合の半分となっている。本発明のCIGS撮像センサは、図3のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。 On the other hand, since the infrared light transmission filters IR11 and the like are arranged as described above, the arrangement is sparse and the ratio of the total number is half of the ratio of the total number of the red transmission filter R23 and the blue transmission filter B32. . Since the CIGS imaging sensor of the present invention has high sensitivity in the infrared light region as shown in FIG. 3, it can sufficiently cope with a small proportion of the total number of pixels, and the infrared light has a long wavelength, so the pixel arrangement is visible light. Even if it is sparser than this, it can be handled.
次に、図10のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタG35に対応する画素については、その二つ上方にある赤外光透過フィルタIR15に対応する画素のデータ、二つ左方にある赤外光透過フィルタIR33に対応する画素のデータ、二つ下方にある赤外光透過フィルタIR55に対応する画素のデータおよび二つ右方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタG24に対応する画素については、その右上方にある赤外光透過フィルタIR15に対応する画素のデータと左下方にある赤外光透過フィルタIR33に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタG26に対応する画素については、その左上方にある赤外光透過フィルタIR15に対応する画素のデータと右下方にある赤外光透過フィルタIR37に対応する画素のデータの平均値によって補間が行われる。 Next, interpolation of an infrared light image relating to a pixel in which an infrared light transmission filter is not arranged in the filter array of FIG. 10 will be described. First, with respect to the pixel corresponding to the green transmission filter G35, the pixel data corresponding to the infrared light transmission filter IR15 which is two above and the pixel data corresponding to the infrared light transmission filter IR33 which are two to the left. The interpolation is performed by the average value of the pixel data corresponding to the two infrared light transmission filters IR55 below and the pixel data corresponding to the two infrared light transmission filters IR37 on the right. For the pixel corresponding to the green transmission filter G24, the average value of the pixel data corresponding to the infrared light transmission filter IR15 at the upper right and the pixel data corresponding to the infrared light transmission filter IR33 at the lower left. Is interpolated. Further, for the pixel corresponding to the green transmission filter G26, the average value of the pixel data corresponding to the infrared light transmission filter IR15 in the upper left and the pixel data corresponding to the infrared light transmission filter IR37 in the lower right is determined. Interpolation is performed.
そして、赤透過フィルタR25に対応する画素について、上記のように補間して求めた緑透過フィルタG35、G24、G26にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタIR15に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにIR15、IR33、IR55およびIR37に対応する赤外光画像データの重み付け平均となる。
{(IR15+IR33+IR55+IR37)/4+(IR15+IR33)/2
+(IR15+IR37)/2+IR15}/4
=(9IR15+3IR33+IR55+3IR37)/16
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
The pixels corresponding to the red transmission filter R25 correspond to the infrared light image data and the infrared light transmission filter IR15 corresponding to the green transmission filters G35, G24, and G26 obtained by interpolation as described above. Interpolation is based on the average value of pixel data. When this is arranged, the weighted average of infrared light image data corresponding to IR15, IR33, IR55, and IR37 is obtained as follows.
{(IR15 + IR33 + IR55 + IR37) / 4 + (IR15 + IR33) / 2
+ (IR15 + IR37) / 2 + IR15} / 4
= (9IR15 + 3IR33 + IR55 + 3IR37) / 16
In the same manner, the infrared light image data of the pixels corresponding to each visible light filter is complemented.
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタIR33に対応する画像をその周囲の緑透過フィルタG22、G42、G44、G24に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタIR33に対応する画像の緑画像データと、緑透過フィルタG22、G31およびG42の緑画像データの平均をとって、これらの中心にある赤透過フィルタB32に対応する画像も緑画像データを補間する。これを整理すると、次のようにG22、G31、G42、G44およびG24の重み付け平均となる。
{(G22+G42+G44+G24)/4+G22+G31+G42}/4
=(5G22+4G31+5G42+G44+G24)/16
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図7と同様である。
For the interpolation of the green image for the pixels where the green transmission filter is not arranged, first, the average of the pixels corresponding to the green transmission filters G22, G42, G44, and G24 around the image corresponding to the infrared light transmission filter IR33 is calculated. Interpolate. Then, the average of the green image data of the image corresponding to the infrared light transmission filter IR33 obtained by interpolation as described above and the green image data of the green transmission filters G22, G31, and G42 is taken and is at the center thereof. The image corresponding to the red transmission filter B32 also interpolates the green image data. When this is arranged, the weighted average of G22, G31, G42, G44 and G24 is obtained as follows.
{(G22 + G42 + G44 + G24) / 4 + G22 + G31 + G42} / 4
= (5G22 + 4G31 + 5G42 + G44 + G24) / 16
In the same manner, the green image data of the pixels corresponding to the infrared light transmission filter, the red transmission filter, and the blue transmission filter are complemented. Note that the interpolation of the red image and the blue image is the same as in FIG.
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図7で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。 When interpolation is repeated when the arrangement is sparse like the above red transmission filter, or when interpolation is performed using asymmetric arrangement data such as the above green transmission filter, as described above Interpolation is further performed using data created by interpolation, and an image different from the actual one may be obtained. Even in such a case, in addition to the interpolation using only the pixel data corresponding to the infrared light transmission filter as described above, or the interpolation using only the image data corresponding to the green transmission filter, as described in FIG. It is effective to perform interpolation in consideration of data of other colors affecting the pixel to be interpolated.
図11は、第2実施例においてライブビューセンサ102の画像を画像記憶部26に記録する際のカメラ制御部116の動作を示すフローチャートである。操作部15によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップS82で可動全反射ミラーを106aの位置に下げ、ペンタプリズム104からの光を全てライブビューセンサ102の方向に反射するよう光路切り替えを指示する。そしてステップS84においてミラー8を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップS86で表示部32による表示を行わせる。
FIG. 11 is a flowchart showing the operation of the camera control unit 116 when the image of the live view sensor 102 is recorded in the
次いでステップS88で赤外光モードが選択されているかどうかチェックし、該当すればステップS90に進み、AF用の可視光カットフィルタ76をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。さらに、ステップS92で、ライブビュー用の可視光カットフィルタ112をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
Next, in step S88, it is checked whether or not the infrared light mode has been selected. 78. In step S92, the mirror /
一方、ステップS88で、赤外光モードが選択されていないことが検知されるとステップS96に進み、AF用の赤外光カットフィルタ68をCIGSAFセンサ70への光路に設定する指示をミラー/フィルタ駆動部78に対して行う。そしてステップS98に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
On the other hand, if it is detected in step S88 that the infrared light mode is not selected, the process proceeds to step S96, and an instruction to set the infrared light cut filter 68 for AF to the optical path to the
ステップS98で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップS100に進み、ライブビュー用の赤外光カットフィルタ110をライブビューセンサ102への光路に設定する指示をミラー/フィルタ駆動部114に対して行い、ステップS94に移行する。
If the setting to the image fusion mode is not detected in step S98, it means that the visible light mode is selected, so the process proceeds to step S100, and the live view infrared light cut
これに対し、ステップS98で画像融合モードへの設定が検出されると、ステップS102に進み、ライブビューセンサ102への光路から赤外光カットフィルタ110および可視光カットフィルタ112を両者とも除去する指示をミラー/フィルタ駆動部114に対して行う。これは、ライブビューセンサ102によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
On the other hand, when the setting to the image fusion mode is detected in step S98, the process proceeds to step S102, and an instruction to remove both the infrared light cut
次いでステップS104で表示部32によるライブビュー表示を禁止する指示を出してステップS94に移行する。これは交換レンズ4による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部32に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップS104においては、表示部32による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方(通常は可視光像)の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップS104で選択された方の指示を出すようにしてもよい。
Next, in step S104, an instruction to prohibit live view display by the
ステップS94では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップS86に戻り、以下、レリーズ操作が検出されるまでステップS86からステップS104を繰り返す。これによって、操作部15によるモード切り替えに対応する。なお、図4で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図11においても、実際にモード切り替えが行われない限り、ステップS86からステップS104の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップS86およびステップS104による表示部32の表示と禁止の切り替えについても同様である。
In step S94, it is checked whether or not a release operation has been performed. If there is no release operation, the process returns to step S86. Thereafter, steps S86 to S104 are repeated until a release operation is detected. This corresponds to mode switching by the
ステップS94では、レリーズ操作が検出されるとステップS106に進み、レンズ光学系6のAF駆動が行われ、これによってピンとが合うとステップS108のライブビュー記録処理を行う。このAF駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップS110で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
In step S94, when a release operation is detected, the process proceeds to step S106, where AF driving of the lens
一方、ステップS110で画像融合モードの設定が検出されるとステップS112に進み、AF制御部36によってレンズ光学系6を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップS106におけるAF駆動およびステップS108におけるライブビュー記録処理は可視光像に対するものであるが、ステップS112では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をAF駆動部38によってレンズ光学系6に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップS114のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップS108にて可視光画像の記録を行い、引き続いてほぼ同時にステップS114において赤外光画像の記録を行うものである。
On the other hand, when the setting of the image fusion mode is detected in step S110, the process proceeds to step S112, and the
図12は、図11のステップS108におけるライブビュー記録処理およびステップS114におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップS122で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップS124に進み、RGBの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップS126でRGBの補間処理を行う。次いで、ステップS128では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップS130に進んでRGBの可視光カラー画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
FIG. 12 is a flowchart showing details of the live view recording process in step S108 in FIG. 11 and the live view infrared light recording process in step S114, which can be used in common for both. When the flow starts, it is checked in step S122 whether or not the infrared light photographing mode is set. If not, the process proceeds to step S124, and pixel information of the visible light image is obtained by reading out RGB pixel data. In step S126, RGB interpolation processing is performed. Next, in step S128, it is checked whether or not the image fusion mode is set. If not, the process proceeds to step S130 to perform image processing on the RGB visible light color image. In step S132, the image is recorded in the
一方、ステップS122で赤外光モードへの設定が検出されるとステップS134に進み、IRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。次いで、ステップS138では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップS140に進み、赤外光画像について画像処理を行う。そしてステップS132に進み、その画像を画像記録部26に記録してフローを終了する。
On the other hand, when the setting to the infrared light mode is detected in step S122, the process proceeds to step S134, and the pixel information of the infrared light image is obtained by reading the IR pixel data. In step S136, IR interpolation processing is performed. Next, in step S138, it is checked whether or not the image fusion mode is set. In this case, since the infrared light mode is not applicable, the process proceeds to step S140, and image processing is performed on the infrared light image. In step S132, the image is recorded in the
さらにステップS128で画像融合モードへの設定が検出された場合、ステップS134に進んでIRの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップS136でIRの補間処理を行う。これらによって、ステップS124、126による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップS138で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップS142に進み、ステップS134およびステップS136の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。 Further, when the setting to the image fusion mode is detected in step S128, the process proceeds to step S134, and the pixel information of the infrared light image is obtained by reading the IR pixel data. In step S136, IR interpolation processing is performed. By these, in addition to visible light image information in steps S124 and 126, infrared light image information can also be obtained. Next, in step S138, it is checked whether or not the image fusion mode is set. In this case, since it is the image fusion mode, the process proceeds to step S142, and the infrared light image obtained by the processing in steps S134 and S136 is red. It is checked whether it is after external light correction driving.
ここで、ステップS142に該当するか否かがどのような意味を持つかについて補足する。まず、ステップS142に該当しない場合は、図12のフローが図11のステップS108で実行されている場合に相当する。そしてステップS124およびステップS126で得られる可視光画像は図11のステップS106における可視光に対するAF駆動によりピントが合ったものであり、ステップS134およびステップS136で得られる赤外光画像はピントがずれたものとなっている。一方、ステップS142に該当する場合は、図12のフローが図11のステップS114で実行されている場合に相当する。そしてステップS134およびステップS136で得られる赤外光画像は図11のステップS112における赤外光補正駆動によりピントが合ったものであり、ステップS124およびステップS126で得られる可視光画像はピントがずれたものとなっている。 Here, the meaning of whether or not the step corresponds to step S142 will be supplemented. First, when it does not correspond to step S142, it corresponds to the case where the flow of FIG. 12 is performed by step S108 of FIG. The visible light image obtained in step S124 and step S126 is in focus by AF driving for visible light in step S106 in FIG. 11, and the infrared light image obtained in step S134 and step S136 is out of focus. It has become a thing. On the other hand, the case corresponding to step S142 corresponds to the case where the flow of FIG. 12 is executed in step S114 of FIG. The infrared light images obtained in steps S134 and S136 are in focus by the infrared light correction drive in step S112 in FIG. 11, and the visible light images obtained in steps S124 and S126 are out of focus. It has become a thing.
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップS142で判断された場合はステップS144に進み、ピントの合っているRGBの可視光画像について画像処理をおこなう。次いでステップS146においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップS148において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップS132に進み、ステップS144、ステップS146およびステップS148で得られたそれぞれの画像を記録してフローを終了する。 Therefore, if it is determined in step S142 that the obtained image does not correspond to the image after infrared light correction driving, the process proceeds to step S144, and image processing is performed on the focused RGB visible light image. Next, in step S146, auxiliary infrared image processing is performed on the in-focus infrared light image. In step S148, an image obtained by correcting the visible light image with the infrared light image information is created. This image is basically a visible light image, but it improves the image quality of the visible light image by the low-pass filter effect, etc., by adding the information of the infrared light image that is out of focus and defocused. is there. The process proceeds to step S132 through the above processing, and the images obtained in steps S144, S146, and S148 are recorded, and the flow is terminated.
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップS142で判断された場合はステップS150に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップS152においてピントの合っていないRGBの可視光画像について補助的に画像処理を行う。そしてステップS156において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。 On the other hand, if it is determined in step S142 that the obtained image corresponds to an image after infrared light correction driving, the process proceeds to step S150, and image processing is performed on the focused infrared light image. Next, in step S152, image processing is performed supplementarily for the visible RGB light image that is not in focus. In step S156, an image obtained by correcting the infrared light image with the visible light image information is created. This image is basically an infrared light image, but it improves the image quality of the infrared light image by the low-pass filter effect, etc. by adding the information of the visible light image that is out of focus and defocused. It is.
さらに、ステップS156では、図11のステップS108で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップS158でこれらの画像に基づく画像融合処理が行われる。 Further, in step S156, the image before infrared light correction driving recorded in step S108 of FIG. As a result, a focused infrared light image, a focused visible light image, an out-of-focus infrared light image, an out-of-focus visible light image, a corrected infrared light image, and a corrected visible light image are aligned. In the next step S158, image fusion processing based on these images is performed.
ステップS158の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部15により設定できるが、被写体に応じ自動的に選択することも可能である。
The content of the image fusion processing in step S158 is basically the fusion of the focused infrared light image and the focused visible light image, thereby enabling image diagnosis that cannot be determined by one alone. In place of this, image diagnosis by fusing a corrected infrared light image and a corrected visible light image is also possible. Furthermore, a soft-focused visible light image with a tight core can be obtained by fusing a focused visible light image and an out-of-focus visible light image. Similarly, a soft focus infrared light image can be obtained from an in-focus infrared light image and an out-of-focus infrared light image. Furthermore, by correcting the focused visible light image with the focused infrared light image, an image according to the visible light image obtained by applying the infrared light cut filter can be obtained. Conversely, by correcting the focused infrared light image with the focused visible light image, it is also possible to obtain an image according to the infrared light image obtained by applying the visible light cut filter. Which of these processes is selected can be set by the
以上のようなステップS158の処理が終了すると、ステップS132に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップS132において記録する画像は、ステップS158で処理した全ての画像であってもよく、またはステップS158の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部15により設定できるが、処理結果に応じてステップS158の中で自動的に選択するよう構成することも可能である。
When the process of step S158 as described above is completed, the process proceeds to step S132, the image obtained by the process is recorded, and the flow ends. Note that the image to be recorded in step S132 may be all the images processed in step S158, or may be an image selected in the process of step S158 and finally determined to be necessary. This selection can also be set by the
上記の図11および図12の画像記録機能に関するフローチャートの適用対象は、第2実施例におけるような一眼レフカメラのライブビューセンサ102の画像記録に限るものではなく、例えば、CIGSセンサへの画像記録専用に構成した可視光/赤外光画像記録カメラにも適用可能である。このような可視光/赤外光画像記録カメラは、例えば図5において焦点板10、ペンタプリズム104およびアイピース14などの光学ファインダ系を除去するとともに、撮像部20に代えてその位置にCIGS撮像センサを配置することによって構成可能である。その際、レンズ光学系6からCIGS撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ110および可視光カットフィルタ112を設ける。また、可動ミラー8に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用AFセンサ34に向かう固定のハーフミラーを設ける。
The application target of the flowchart relating to the image recording function of FIG. 11 and FIG. 12 is not limited to the image recording of the live view sensor 102 of the single-lens reflex camera as in the second embodiment. For example, the image recording to the CIGS sensor The present invention can also be applied to a dedicated visible / infrared light image recording camera. Such a visible light / infrared light image recording camera removes the optical finder system such as the focusing
図13は、本発明の第3実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡502と、送信されて画像データを体外で受信してモニタする体外モニタ504を有する。カプセル内視鏡502は、透明な保護窓506を有する密閉構造になっており、保護窓506を通り撮像レンズ508によって結像される消化器内部の画像がCIGS撮像センサ510で撮像される。CIGS画像センサ510は、図3で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ508は、レンズ駆動部512によってその画角およびピント位置が調節可能である。
FIG. 13 is a block diagram of a third embodiment of the present invention, which constitutes an endoscope system. The endoscope system includes a
第3実施例のCIGSセンサ510は、図7から図10に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第3実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード(以下適宜「LED」と称する)が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるCIGSセンサ510撮像出力が、各色での画像データとなる。
The
LEDは撮像レンズ508の光軸まわりに同心的に多数設けられているが、図13では、簡単のため、例として緑LED514および赤外LED516をそれぞれ一つ図示している。例えば緑LED514が発光しているときのCIGS撮像センサ510の撮像出力が緑画像データとなるとともに、赤外LED516が発光しているときのCIGS撮像センサ510の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部512が結像位置を調節する。第3実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
A large number of LEDs are concentrically provided around the optical axis of the
LEDドライバ518は、内視鏡制御部520の指示に基づいてLED514、516の点灯タイミングを制御する。内視鏡制御部520はカプセル内視鏡502全体を制御するもので、その機能は記憶部522に記憶されたプログラムに従う。記憶部522は、さらに内視鏡制御部520の機能に必要なデータ等を必要に応じ一時的に記憶する。
The
センサドライバ524は内視鏡制御部520の指示に基づいてCIGS撮像センサ510を制御するとともにCIGS撮像センサからの各色別画像RAWデータを画像バッファ526に格納する。画像バッファ526は所定撮像回数分の各色別画像RAWデータを格納可能であり、無線通信部528は画像バッファ526の各色別画像RAWデータをFIFOで取り出してアンテナ530から体外に送信する。電池532はボタン電池などで構成され、カプセル内視鏡502全体に電力を供給する。
The
体外モニタ504は、無線通信部534を有し、カプセル内視鏡502から送信された各色別画像RAWデータをアンテナ536で受信して画像バッファ538に格納する。これらの機能はモニタ制御部540によって制御される。モニタ制御部540は記憶部542に記憶されたプログラムに従って体外モニタ504全体を制御する。記憶部542は、さらにモニタ制御部540の機能に必要なデータ等を必要に応じ一時的に記憶する。
The
画像処理部544は、モニタ制御部540の指示に基づき画像バッファ548に格納されている各色別RAWデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ546に記憶する。また、赤外画像信号についてもこれをレコーダ546に記録する。記録されたデータは適宜表示部548でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部548により直接モニタすることもできる。
The
図14は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第1の例を示す正面図である。図13と対応する部分には同一番号を付す。図14から明らかなように、透明の保護窓506の内側の撮像レンズ508の周囲には緑LED514が互いに90度ずつ隔てた回転対象に4個設けられている。これらを結んだ線550は正方形である。また、緑LED514から45度回転した正方形552の頂点部分には、赤外LED516が互いに90度ずつ隔てた回転対象に4個設けられている。さらに、縦長長方形554の頂点部分には赤LED556が4個設けられているとともに、横長長方形558の頂点部分には青LED560が4個設けられている。この結果、赤、緑および青の各LEDは図14図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
FIG. 14 is a front view showing a first example of an LED arrangement that can be employed in the
図15は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第2の例を示す正面図である。図15においても、図13と対応する部分には同一番号を付す。図15における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、赤LED562は、緑LED514から左に22.5度回転した正方形564の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。また、青ダイオード566は、緑LED514から右に22.5度回転した正方形568の頂点部分に互いに90度ずつ隔てた回転対象に4個設けられている。この結果、赤、緑および青の各LEDは図14図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ508の光軸まわりに互いに回転対象の配置となる。
FIG. 15 is a front view showing a second example of the LED arrangement that can be employed in the
図16は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第3の例を示す正面図である。図16においても、図13と対応する部分には同一番号を付す。図16における緑LED514および赤外LED516の配置は、図14と共通である。これに対し、左に45度傾いた縦長長方形570の頂点部分には赤LED572が4個設けられているとともに、右に45度傾いた縦長長方形574の頂点部分には青LED576が4個設けられている。この結果、赤、緑および青の各LEDは図16図で見て対抗する赤外LEDを結ぶ左45度傾いた線および右45度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各LEDは図16図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のLEDがずれて配置されていることによる照明影色ムラが軽減される。
FIG. 16 is a front view showing a third example of the LED arrangement that can be employed in the
以上、図14から図16に示したLEDの配置例は、各図において緑LEDが上下左右に配置され、赤外LEDがこれから45度回転した位置に配されているが、全体の配置はこれに限るものではなく、CIGS撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図14から図16に示したLEDの配置例は、CIGS撮像センサの画素配置の升目の上下左右方向を基準として緑LEDが上下左右に配置したものであるが、これを全体に45度回転させ、赤外LEDが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑LEDがこれから45度回転した位置に配置されることになる。 As described above, in the LED arrangement examples shown in FIGS. 14 to 16, the green LEDs are arranged vertically and horizontally and the infrared LEDs are arranged at a position rotated 45 degrees from now on. The arrangement is not limited to this, and the entire arrangement may be appropriately rotated in relation to the grid direction of the pixel arrangement of the CIGS image sensor. For example, in the LED arrangement examples shown in FIGS. 14 to 16, the green LEDs are arranged vertically and horizontally with reference to the vertical and horizontal directions of the pixel arrangement of the CIGS imaging sensor. The infrared LED may be arranged vertically and horizontally according to the grid direction of the pixel arrangement by rotating. In this case, the green LED is arranged at a position rotated 45 degrees from now.
図17は、第3実施例のカプセル内視鏡502に採用可能なLEDの配置の第4の例を示す正面図である。赤、緑、青および赤外のLEDを撮像レンズ508の光軸まわりに配置する場合、全ての色のLEDを互いに同数とすることに限るものではない。図17はこのようなものの例として、4個の緑LED514、2個の赤LED578および2個の青LED580を採用している。緑LED514の数が赤LED578および青LED580の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図17では8個の赤外LED582を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
FIG. 17 is a front view showing a fourth example of the LED arrangement that can be employed in the
なお、図14から図17ではすべて合計16個のLEDを採用しているが、これに限られるものではない。配置が可能な場合、LEDの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のLEDを採用し合計8個のLEDを採用して構成を簡単にすることも可能である。この場合、緑LEDの対を結ぶ線と赤外LEDの対を結ぶ線を90度で交差させるとともに、赤LEDの対と青LEDの対については、それらを結ぶ線が緑LEDの対を結ぶ線の左右にそれぞれ45度回転した状態の配置として、赤と青のLEDが緑LEDの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように8個のLEDを等間隔に配置するのに代えて、赤と青のLEDを緑LEDの両側に密接させ、赤、緑、青LED相互の位置ズレができるだけ少なくなるようにした配置も可能である。 In addition, in FIG. 14 to FIG. 17, a total of 16 LEDs are employed, but the present invention is not limited to this. If arrangement is possible, the total number of LEDs can be further increased to reduce illumination unevenness. Moreover, in order to maintain the minimum symmetry of illumination, it is also possible to adopt a pair of LEDs for each color and to adopt a total of eight LEDs to simplify the configuration. In this case, the line connecting the pair of green LEDs and the line connecting the pair of infrared LEDs are crossed at 90 degrees, and for the pair of red LEDs and the pair of blue LEDs, the line connecting them connects the pair of green LEDs. It is desirable that the red and blue LEDs be adjacent to both sides of the green LED as an arrangement in a state rotated 45 degrees to the left and right of the line. If the arrangement space permits, instead of arranging the eight LEDs at regular intervals in this way, the red and blue LEDs are brought into close contact with both sides of the green LED, and the red, green and blue LEDs are mutually connected. An arrangement in which the positional deviation is as small as possible is also possible.
図18は、第3実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図18から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6、すべての赤外LEDはt7からt8のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、4色のLEDの点灯が一巡すると、再び全ての赤LEDがt9からt10のタイミングで点灯し、以下同様にして緑、青、赤外のLEDが点灯して同様の循環で時分割点灯を繰り返す。t1からt8までの時間は通常のカラー動画の1フレーム時間程度であり、各色の発光量は時分割しない場合の4分の1以下となるが、図3に示すようにCIGSセンサは通常のCMOSセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
FIG. 18 shows the light emission timing of each color LED, the operation timing of the photoelectric conversion unit, the operation timing of the AD trunk, and the operation timing of the wireless communication unit in the color / infrared mode of operation in the
図18のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
As shown in FIG. 18, in the color / infrared mode, when visible light and infrared light are emitted almost simultaneously in a time division manner, the angle of view of the
図18の光電変換部のタイミングチャートから明らかなように、光電変換部は赤LEDの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤LEDの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図18から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青LEDの発光および赤外LEDの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。 As is clear from the timing chart of the photoelectric conversion unit in FIG. 18, the photoelectric conversion unit starts red exposure immediately after the start of light emission of the red LED and accumulates charges. Since the charge accumulation time is set immediately before the end of light emission of the red LED, the exposure ends here and the charge is read out. Further, when the charge reading is completed, the residual charge is swept away. When the charge sweeping is completed, the next green exposure is started. As is apparent from FIG. 18, light emission of the green diode starts immediately before the green exposure. Also for the green exposure, after the charge accumulation time is over, the charge read-out and the residual charge sweep out follow. Similarly, blue and infrared charge accumulation, charge readout, and residual charge sweeping are performed in synchronization with the light emission of the blue LED and the light emission of the infrared LED, respectively. These operations circulate. In the above description, the function of the photoelectric conversion unit has been described for each color. However, the photoelectric conversion unit itself does not have a function of performing photoelectric conversion by separating each color, and the photoelectric conversion unit itself simply performs charge accumulation, charge read, and It only repeats the same operation of residual charge sweeping. The read charge amount has information on each color depending solely on the light source color at the time of charge accumulation.
図18のAD変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からAD変換を開始する。例えば、赤のAD変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のAD変換を継続する。図18の無線通信部のタイミングチャート(A)から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のAD変換終了直後に開始される。そして次の緑のAD変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてAD変換および通信が行われる。 As is clear from the timing chart of the AD conversion unit in FIG. 18, the photoelectric conversion unit starts AD conversion immediately after the charge reading of each color. For example, red AD conversion is started immediately after completion of red charge reading. Then, using the time zone during the next green exposure, the red AD conversion is continued in parallel with this. As is clear from the timing chart (A) of the wireless communication unit in FIG. 18, the wireless communication unit can start communication of digital signals of the resulting color immediately after the completion of photoelectric conversion of each color. For example, communication of a red digital signal is started immediately after the end of red AD conversion. The next green AD conversion time zone is also used, and in parallel with this, red communication is continued. Similarly, AD conversion and communication are performed for green, blue, and infrared.
なお、通信に関しては、カプセル内視鏡502と体外モニタ504との関係によっては、AD変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図18の無線通信部のタイミングチャート(B)のように通信環境が充分となったタイミングで通信を実行する。例えば、IRデータの送信592はタイミングチャート(A)に比べて遅く実行されており、次のRデータの直前で実行されている。また、Gデータの送信594およびBデータの送信596も遅れて実行されているが、これらの通信時間の調整は、図13の画像バッファ526の容量が満杯となってFIFOに破綻を来たさない限り可能である。
Regarding communication, depending on the relationship between the
図19は、図18で示したカラー・赤外モードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図19に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、t9で開始される赤LEDの発光に基づく赤画像、t11で開始される緑LEDの発光に基づく緑画像、およびt13で開始される青LEDの発光に基づく青画像によって、F2で示す1フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図13に示した体外モニタ504の画像処理部544で行われる。また、図18の無線通信部のタイミングチャート(B)で示したように体外モニタ504による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色LEDの発光タイミングによって決まるので図19の関係が成り立つ。
FIG. 19 is a timing chart showing the relationship between the light emission timing of each color LED and the color image creation in the operation of the
また、図19に示すように、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt9で開始される赤LEDの発光に基づく赤画像によってもRGB三色のデータが揃うので、これらによってI1で示す1フレームのカラー補間画像が作成される。同様にして、t5で開始される青LEDの発光に基づく青画像、t9で開始される赤LEDの発光に基づく赤画像、およびt11で開始される緑LEDの発光に基づく緑画像によって、I2で示す1フレームのカラー補間画像が作成される。これらの補間画像はRGBの各色が揃うまでに赤外LEDの発光が介在しており、RGBが揃うまでの時間が若干長くなるとともにRGBの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。 In addition, as shown in FIG. 19, based on the green image based on the green LED emission starting at t3, the blue image based on the blue LED emission starting at t5, and the red LED emission starting at t9. Since the red image also contains RGB three-color data, a one-frame color interpolated image indicated by I1 is created. Similarly, with a blue image based on blue LED emission starting at t5, a red image based on red LED emission starting at t9, and a green image based on green LED emission starting at t11, I2 A one-frame color interpolated image shown is created. In these interpolated images, the emission of infrared LEDs is intervened until the RGB colors are aligned, and the time until RGB is aligned becomes slightly longer, and the RGB emissions are not equally spaced, so the image quality of the color image is poor. . Therefore, it is adopted as an interpolation image for obtaining a smooth moving image.
一方、赤外画像については、図19に示すように、t7で開始される赤外LEDの発光に基づく画像IR1、t15で開始される赤外LEDの発光に基づく画像IR2等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像I2およびI2の取得時間帯が共に赤外画像IR1の取得時間を含んでいるので、カラー補間画像I1およびI2またなその平均を赤外画像IR1と合成することが可能である。 On the other hand, as shown in FIG. 19, for the infrared image, an image IR1 based on the emission of the infrared LED starting at t7, an image IR2 based on the emission of the infrared LED starting at t15, and the like are still images. It can be recorded, and can also be recorded as a color video by connecting them. In color / infrared mode, color images and infrared images can be acquired in parallel as described above, so both images can be taken in parallel for endoscopic diagnosis, and both images can be combined. It becomes possible. Also, when a quantity image is synthesized as a still image, the acquisition time of the infrared image is included in the acquisition time zone of the color interpolation image, so the color interpolation image is used for the synthesis with the infrared image. It is also possible. Specifically, since the acquisition time zones of the color interpolation images I2 and I2 both include the acquisition time of the infrared image IR1, it is possible to synthesize the color interpolation images I1 and I2 or their average with the infrared image IR1. Is possible.
図20は、第3実施例のカプセル内視鏡502における精細カラーモードでの動作の各色LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外LEDは発光しない。図20から明らかなように、すべての赤LEDはt1からちt2、全ての緑LEDはt3からt4、すべての青LEDはt5からt6のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、RGB3色のLEDの点灯が一巡すると、再び全ての赤LEDがt7からt8のタイミングで点灯し、以下同様にして緑、青、LEDが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なt1からt6までの時間は図18のt1からt8よりも短くなり。動画が精細になる。図20の無線通信部(B)のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
FIG. 20 shows the relationship between the light emission timing of each color LED, the operation timing of the photoelectric conversion unit, the operation timing of the AD trunk and the operation timing of the wireless communication unit in the fine color mode in the
図20のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
As shown in FIG. 20, in the fine color mode, when only visible light is emitted almost simultaneously in a time division manner, the angle of view of the
図21は、図20で示した精細カラーモードにおける第3実施例のカプセル内視鏡502の動作での各色LEDの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図21に示すように、t1で開始される赤LEDの発光に基づく赤画像、t3で開始される緑LEDの発光に基づく緑画像、およびt5で開始される青LEDの発光に基づく青画像によって、F1で示す1フレームのカラー画像が作成される。次に、t3で開始される緑LEDの発光に基づく緑画像、t5で開始される青LEDの発光に基づく青画像、およびにt7で開始される赤LEDの発光に基づく赤画像によってF2で示す1フレームのカラー画像が作成される。同様にt5で開始される青LEDの発光に基づく青画像、t7で開始される赤LEDの発光に基づく赤画像、およびt9で開始される緑LEDの発光に基づく緑画像によってF3で示す1フレームのカラー画像が作成される。以下同様にしてF4で示す1フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のLEDが新たに発光する毎に輪番で新たに1フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
FIG. 21 is a timing chart showing the relationship between the light emission timing of each color LED and the color image creation in the operation of the
図22は、第3実施例のカプセル内視鏡502における赤外モードでの動作の赤外LEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外LED以外のLEDは発光しない。図22から明らかなように、すべての赤外LEDはt1からちt2、t3からt4のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回1フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
FIG. 22 shows the infrared LED emission timing, the photoelectric conversion unit operation timing, the AD trunk unit operation timing, and the wireless communication unit operation timing in the infrared mode of the
図22のように、赤外モードにおいて赤外光のみを発光させる場合も、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
As shown in FIG. 22, when only infrared light is emitted in the infrared mode, the angle of view of the
図23は、図13の第3実施例における内視鏡制御部520の動作のフローチャートである。カプセル内視鏡502に電池532がセットされるとフローがスタートし、ステップS162で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップS154で撮像レンズ508が広角およびパンフォーカス状態に設定される。次いでステップS166では、赤、緑、青および赤外の全てのLEDが所定の順所で順次輪番で発光するよう設定される。そしてステップS168でこれらの設定が行われている状態であることを外部送信し、体外モニタ504に報告する。
FIG. 23 is a flowchart of the operation of the
次にステップS170で撮像処理、ステップS172で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップS174に進み、動作停止信号を体外モニタ504から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップS176に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップS178に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップS164に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップS166以下の動作に進む。
Next, an imaging process is performed in step S170, and a transmission process is performed in step S172. Details thereof will be described later. When the transmission process ends, the process proceeds to step S174, and it is checked whether an operation stop signal is received from the
一方、ステップS178で変更されたモードがカラー・赤外モードでなかったときはステップS180に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップS182でレンズの画角を狭角(望遠)にするとともに可視光フォーカス状態に設定するとともに、ステップS184で可視光のLEDのみが順次輪番で発光するよう設定する。そして、ステップS186でこれらの設定状態を外部に送信した後、ステップS170に戻る。 On the other hand, if the mode changed in step S178 is not the color / infrared mode, the process proceeds to step S180 to check whether the mode is the fine color mode. In the fine color mode, in step S182, the angle of view of the lens is set to a narrow angle (telephoto) and set to the visible light focus state, and in step S184, only visible light LEDs are set to sequentially emit light with a rotation number. Then, after these setting states are transmitted to the outside in step S186, the process returns to step S170.
また、ステップS180で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップS188に移行し、レンズの画角を狭角(望遠)にするとともに赤外光フォーカス状態に設定する。さらにステップS190で赤外LEDのみが発光するよう設定する。そして、ステップS186に移行し、これらの設定状態を外部に送信した後、ステップS170に戻る。 If the mode changed in step S180 is not the fine color mode, it means that the changed mode is the infrared mode, so that the process proceeds to step S188, and the angle of view of the lens is narrowed (telephoto). And set the infrared light focus state. Furthermore, it sets so that only infrared LED may light-emit in step S190. Then, the process proceeds to step S186, and after these setting states are transmitted to the outside, the process returns to step S170.
図24は、図23のステップS170における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップS192でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップS194に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップS196に進み、蓄積電荷の読出し開始処理を行う。さらにステップS198でLEDの発光停止を指示する。さらにステップS200で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップS200を繰り返しながら完了を待つ。 FIG. 24 is a flowchart showing details of the imaging process in step S170 of FIG. When the flow starts, it is checked in step S192 whether a mode has been selected or changed. If no mode has been selected or changed, the process proceeds to step S194 to check whether the exposure time has been completed. If the completion is detected, the process proceeds to step S196, where the stored charge readout start process is performed. Further, in step S198, an instruction to stop LED emission is given. Further, in step S200, it is checked whether or not the accumulated charge reading is completed. If it is not completed, the completion is waited while repeating step S200.
ステップS200で読出し完了が検知されるとステップS206に進み残留電荷の掃捨て開始処理を行ってステップS208のLED選択処理に移行する。これは次に発光すべきLEDを選択する処理であるがその詳細は後述する。さらにステップS210ではステップS208で選択されたLEDの発光開始を指示する。次にステップS212では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップS212を繰り返しながら完了を待つ。 When the completion of reading is detected in step S200, the process proceeds to step S206, a residual charge sweeping start process is performed, and the process proceeds to the LED selection process in step S208. This is a process of selecting the next LED to emit light, the details of which will be described later. Further, in step S210, the start of light emission of the LED selected in step S208 is instructed. Next, in step S212, it is checked whether or not the stored charge has been completely purged.
ステップS212で蓄積電荷の掃捨て完了が検知されるとステップS214に移行し、露光を開始するとともにステップS216で露光時間のカウントを開始し、フローを終了する。一方、ステップS194で露光時間が完了していなければ直ちにフローを終了する。また、ステップS192でモードの選択または変更が検出されるとステップS218に移行し、撮像処理のイニシャライズを行ってステップS208のLED選択処理に進む。 When it is detected in step S212 that the accumulated charge has been completely removed, the process proceeds to step S214 to start exposure, and in step S216, the exposure time starts to be counted, and the flow ends. On the other hand, if the exposure time is not completed in step S194, the flow is immediately terminated. If selection or change of the mode is detected in step S192, the process proceeds to step S218, the imaging process is initialized, and the process proceeds to the LED selection process in step S208.
図25は、図24のステップS208におけるLED選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップS222で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップS224に進み、図24のステップS218によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップS226に進み、前回に選択されたLED記憶を読み出す。そしてステップS228で読み出された記憶に基づき前回発光したのが赤LEDであったかどうかチェックする。該当しなければ、さらにステップS230で前回したのが緑LEDであったかどうかチェックする。 FIG. 25 is a flowchart showing details of the LED selection processing in step S208 of FIG. When the flow starts, it is checked whether or not the infrared mode is set in step S222. If not applicable, it means color / infrared mode or fine color mode. In this case, the process proceeds to step S224, and it is checked whether or not the imaging process has been initialized in step S218 of FIG. If this is not the case, the process advances to step S226 to read the previously selected LED memory. Then, based on the memory read in step S228, it is checked whether or not the last light emission was a red LED. If not, it is further checked in step S230 whether the last time it was a green LED.
ステップS230で前回発光が緑LEDでなかったときはステップS232に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS234に進み、次の順番に当たる赤LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。 If it is determined in step S230 that the previous light emission was not a green LED, the process proceeds to step S232 to check whether the color mode is the fine color mode. If this is the case, the red, green, and blue LEDs are emitting light on the wheel. In this case, if the previous light emission is neither red nor green, it means that the light was blue, the process proceeds from step S232 to step S234, and the red LED corresponding to the next order is selected. Then, the selection result is stored in step S236, and the flow ends.
一方、ステップS232で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のLEDが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップS232からステップS238に進み、次の順番に当たる赤外LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。 On the other hand, if the fine color mode is not detected in step S232, it means the color / infrared mode. In this case, red, green, blue, and infrared LEDs emit light in a ring. In this case, it means that if the previous light emission is neither red nor green, it means that the light was blue, so the process proceeds from step S232 to step S238, and the infrared LED corresponding to the next order is selected. Then, the selection result is stored in step S236, and the flow ends.
また、ステップS228で前回発光したのが赤LEDであったときはステップS242に進み、次の順番にあたる緑LEDを選択する。そしてこの選択結果をステップS236で記憶してフローを終了する。さらに、ステップS222で赤外モードであったときはステップS244に進み、赤外LEDを選択する。そして赤外モードの場合は選択されるのは常に赤外LEDであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップS224で撮像処理のイニシャライズが行われていたときはステップS242に進み最初の発光LEDとして緑LEDを選択する。 If it is the red LED that previously emitted light in step S228, the process proceeds to step S242, and the green LED corresponding to the next order is selected. Then, the selection result is stored in step S236, and the flow ends. Further, when the infrared mode is set in step S222, the process proceeds to step S244, and an infrared LED is selected. In the infrared mode, it is always the infrared LED that is selected, so that the selection result need not be stored in particular and the flow is immediately terminated. If the imaging process has been initialized in step S224, the process proceeds to step S242 to select the green LED as the first light emitting LED.
図26は、図23のステップS172における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップS252でデータの送信中かどうかのチェックを行う。送信中でなければステップS254に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップS256でこれを画像バッファより消去してステップS258に移行する。一方、ステップS254で送信成功データがなければ直接ステップS258に移行する。 FIG. 26 is a flowchart showing details of the transmission processing in step S172 of FIG. When the flow starts, it is checked in step S252 whether data is being transmitted. If transmission is not in progress, the process advances to step S254 to check whether there is data that has been successfully transmitted. If there is a corresponding item, it is erased from the image buffer in step S256, and the process proceeds to step S258. On the other hand, if there is no successful transmission data in step S254, the process directly proceeds to step S258.
ステップS258では、AD変換が完了したかどうかチェックし、該当すればAD変換したデータを画像バッファに格納してステップS262に移行する。一方、AD変換が終了していなければ直接ステップS262に移行する。ステップS262では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップS264で通信状態がOKかどうかチェックする。そしてOKであればステップS266で画像バッファからFIFO(先入れ先出し)でデータを読出し、ステップS268で読み出したデータの送信開始を指示してフローを終了する。なお、ステップS252でデータ送信中であったとき、ステップS262で画像バッファにデータの格納がなかったとき、またはステップS264で通信状態がOKでなかったときはそれぞれ直ちにフローを終了する。 In step S258, it is checked whether or not AD conversion has been completed. If applicable, the AD converted data is stored in the image buffer, and the process proceeds to step S262. On the other hand, if AD conversion is not completed, the process directly proceeds to step S262. In step S262, it is checked whether there is data stored in the image buffer. If there is data, it is checked in step S264 whether the communication state is OK. If it is OK, data is read from the image buffer by FIFO (first-in first-out) in step S266, the transmission of the read data is instructed in step S268, and the flow is terminated. It should be noted that when the data is being transmitted in step S252, when no data is stored in the image buffer in step S262, or when the communication state is not OK in step S264, the flow is immediately terminated.
図27は、図13の第3実施例における体外モニタ504のモニタ制御部540の動作を示すフローチャートであり、カプセル内視鏡502との通信開始でフローがスタートする。フローがスタートするとステップS272で画像データの新着の有無をチェックする。新着データがあればステップS274に進み、新着データが完全かどうかチェックする。そして完全であればステップS276に進んでこれを画像バッファ538に格納するよう支持してステップS278に移行する。なお、ステップS272でデータの新着がないか、またはステップS274で新着データが完全でなかったときはいずれもステップS272に戻る。
FIG. 27 is a flowchart showing the operation of the
ステップS278では、赤外モードであるかどうかチェックし、該当しなければステップS280でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップS282に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップS284に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップS286に移行する。ステップS284の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。 In step S278, it is checked whether the infrared mode is selected. If not, the color / infrared mode is checked in step S280. If it is the color / infrared mode, the process advances to step S282 to check whether the newly arrived data is infrared image data. If not, it means that the image data is one of red, green, and blue, so the process proceeds to step S284, and an instruction to create an interpolation auxiliary image of an infrared image is given from these data, and the process proceeds to step S286. . The instruction in step S284 uses information of visible light image data obtained at a timing between infrared images as an auxiliary when performing interpolation based on infrared image data in order to obtain a smooth infrared moving image. It is an instruction for.
ステップS286では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップS290に進み、新着データ直前の可視2色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の3色が揃うからステップS292に進み、保管カラー画像を作成する指示をしてステップS272に戻る。ステップS292の指示によって作成される画像は、図19のカラー補間画像I1またはI2に相当する。 In step S286, it is checked whether the new inverse data is blue image data. If it does not correspond, it means red image data or green image data, so the process proceeds to step S290, and it is checked whether or not the visible two-color data immediately before the new arrival data is stored. If it is stored, red, green, and blue are available together with newly arrived data, so the process proceeds to step S292, and an instruction to create a storage color image is issued, and the process returns to step S272. The image created by the instruction in step S292 corresponds to the color interpolation image I1 or I2 in FIG.
ステップS278で赤外モードであったときは新着データは赤外画像データであるからステップS294に移行し、赤外画像の作成を指示してステップS272に戻る。また、ステップS282で新着データが赤外画像データであったときもステップS294に移行する。一方、ステップS286で新着データが青画像データであったときはステップS296に進み、直前の2色(この場合は赤および緑)の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する3色が揃うのでステップS298に進み、カラー画像作成の指示を行ってステップS272に戻る。この指示によって作成される画像は、図19のカラー画像F1またはF2に該当する。 When it is the infrared mode in step S278, the newly arrived data is infrared image data, so the process proceeds to step S294, the creation of the infrared image is instructed, and the process returns to step S272. Also, when the newly arrived data is infrared image data in step S282, the process proceeds to step S294. On the other hand, if the newly arrived data is blue image data in step S286, the process proceeds to step S296, and it is checked whether the image data of the immediately preceding two colors (in this case, red and green) are stored in the image buffer. If these are stored, three consecutive colors are prepared, so the process proceeds to step S298, where an instruction to create a color image is issued, and the process returns to step S272. The image created by this instruction corresponds to the color image F1 or F2 in FIG.
また、ステップS280でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップS296に移行し、直前の可視2色データが格納されているかどうかのチェックに入り、直前2色があればステップS298のカラー画像作成を指示する。この指示によって作成される画像は、図21のカラー画像F1、F2、F3等に該当する。なお、ステップS290またはステップS296で直前の可視2色データの格納がなかったときは直ちにステップS272に戻る。 If the color / infrared mode is not set in step S280, it means that the mode is the fine color mode. Therefore, the process proceeds to step S296, where it is checked whether the previous visible two-color data is stored. If there are two colors, an instruction to create a color image in step S298 is given. Images created by this instruction correspond to the color images F1, F2, F3, etc. in FIG. If no previous visible two-color data is stored in step S290 or step S296, the process immediately returns to step S272.
図28は、本発明の第4実施例の動作タイミングの関係を示すタイミングチャートである。第4実施例は基本的には図13から図17に示す内視鏡システムと共通の構成なので、以下の説明では、図13のブロック図の符号を適宜用いて説明する。第4実施例が第3実施例と異なるのは、CIGS撮像センサの構成およびLEDの発光タイミングである。すなわち、第3実施例のCIGSセンサ510はカラーフィルタを有さず、色の分解はLEDの時分割発光によっていたが、第4実施例のCIGS撮像センサ510は、図7から図10に示すようなカラーフィルタを有し、第1実施例および第2実施例と同様にしてCIGS撮像センサ自体で色分解を行う。そして、LEDの発光は時分割ではなく全色同時に行われる。
FIG. 28 is a timing chart showing the relationship of the operation timing of the fourth embodiment of the present invention. Since the fourth embodiment is basically configured in common with the endoscope system shown in FIGS. 13 to 17, the following description will be made using the reference numerals in the block diagram of FIG. 13 as appropriate. The fourth embodiment differs from the third embodiment in the configuration of the CIGS imaging sensor and the light emission timing of the LEDs. That is, the
図28は、このような第4実施例のカプセル内視鏡502におけるカラー・赤外モードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤LED、全ての緑LED、すべての青LEDおよびすべての赤外LEDは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各LEDは、図28のように点滅発光するかわりに連続発光しても差し支えない。なお、図28のカラー・赤外モードにおいては、撮像レンズ508の画角はレンズ駆動部512の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部512の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図18のカラー・赤外モードの場合と共通である。
FIG. 28 shows the LED light emission timing, the photoelectric conversion unit operation timing, the AD trunk unit operation timing, and the wireless communication unit operation in the color / infrared mode in the
図29は、第4実施例のカプセル内視鏡502における精細カラーモードでの動作のLEDの発光タイミング、光電変換部の動作タイミング、AD編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図29に明らかなように、すべての赤LED、全ての緑LEDおよびすべての青LEDが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外LEDは発光しない。図29のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図13の撮像レンズ508の画角はレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図20の精細カラーモードの場合と共通である。
FIG. 29 shows the relationship among the LED light emission timing, the photoelectric conversion unit operation timing, the AD trunk unit operation timing, and the wireless communication unit operation timing in the fine color mode operation in the
第4実施例における赤外モードのタイミングチャートは、第3実施例における図22と共通である。また、赤外モードにおける撮像レンズ508の画角がレンズ駆動部512の制御により狭角(望遠)に設定され、そのピント位置もレンズ駆動部512の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図22の赤外モードと共通である。第4実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第3実施例と共通である。
The timing chart of the infrared mode in the fourth embodiment is the same as that in FIG. 22 in the third embodiment. In addition, the angle of view of the
なお、上記第3実施例および第4実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図13のアンテナ530および546による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、CIGS画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図14から図17の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第3実施例および第4実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
In addition, although the endoscope system in the said 3rd Example and 4th Example was comprised as what has a capsule endoscope and an external monitor, implementation of this invention is not restricted to this. For example, it can be configured as a normal endoscope in which the inside and outside of the body are connected by a tube. In this case, wireless communication by the
図30は、本発明の第5実施例のブロック図であり、車両用監視装置を構成している。その車両監視機能は、衝突防止のための車両前後の車間距離の検知機能およびドライブレコーダとしての車両前後の画像撮影記録機能である。また検知された車間距離はドライブレコーダに記録されるとともに、画像撮影のためのフォーカス調整にも利用される。図30において、車両602は、ガソリンエンジン車または電気自動車またはガソリンエンジンとモータを併用するいわゆるハイブリッドタ車のいずれかとして構成される。 FIG. 30 is a block diagram of a fifth embodiment of the present invention, which constitutes a vehicle monitoring device. The vehicle monitoring function is a function for detecting the distance between vehicles before and after the vehicle for preventing a collision and a function for capturing and recording images before and after the vehicle as a drive recorder. The detected inter-vehicle distance is recorded in a drive recorder and also used for focus adjustment for image shooting. In FIG. 30, a vehicle 602 is configured as either a gasoline engine vehicle, an electric vehicle, or a so-called hybrid vehicle that uses a gasoline engine and a motor together.
車両602は、車両全体を制御するコンピュータからなる車両制御部604を有し、車両の運転者による操作に応じて、動力606およびブレーキ608などを有する車両機能部610を制御し車両602を走行させる。動力606はガソリンエンジンまたはモータまたはその両者を含むよう構成される。車両制御部604は、車両602の制御に必要なソフトウエアおよびデータを格納する記憶部を有する。また、車両制御部604は、車内出力部612を制御し、その画像出力部614によって車両の操作に必要によるGUI表示を行わせるとともに制御結果の表示を行わせる。また、音声出力部616によって運転者へのアナウンスなども行わせる。
The vehicle 602 includes a
GPS部618は、GPSシステムに基づいて衛星および最寄の放送局より車両602の絶対位置情報である緯度、経度、および高度の情報を得て車両制御部604に送る。カーナビゲーション機能部620は、車両制御部604経由で得られるGPS部618からの絶対位置情報を処理し、地図上での車両602の位置を画像出力部614に表示させる。
The
次に車両用監視装置に関する構成を必要に応じ上記の構成とも関連づけて説明する。第5実施例は、車両の前方および後方の監視のためにほぼ同様の監視装置を備えている。そこで、まず、車両後方の監視装置について説明する。後方カメラ/センサ622は、撮像レンズ624およびCIGS撮像センサ626よりなるカメラおよびマイク628を備えており、車両602が走行状態にあるとき常時車両前方等の画像および周囲の音が入力される。
Next, the configuration relating to the vehicle monitoring device will be described in association with the above configuration as necessary. The fifth embodiment includes substantially the same monitoring device for monitoring the front and rear of the vehicle. First, a monitoring device behind the vehicle will be described. The rear camera /
CIGS撮像センサ626は、基本的には、これまでの実施例において説明した図3のような特性を有し、図7から図10で説明したようなカラーフィルタ配列を有するものである。但し、そのカラーフィルタの分光透過率については実施例5特有の特徴を有し、赤透過フィルタ、青透過フィルタおよび緑透過フィルタおよびはそれぞれの狭い可視光領域の光を透過させるバンドパスフィルタとなっているとともに赤外光透過フィルタについては、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタとなっている。ソーラーブラインドとは地球に到達した太陽光のうち大気の吸収によって地表には到達しえないか到達しても微弱となる波長領域であり、例えば、1100nm近辺にこのような領域があることが知られている。実施例5では、図3のようなCIGSセンサの受光感度と上記のようなフィルタの組合せにより、赤、青、緑画素によって可視光画像を撮影するとともに、赤外画素によって太陽光の有無にかかわらない距離検知を行うものである。その詳細については後述する。
The
赤外ビームスキャナ630は、監視記録制御部632の制御下でソーラーブラインド領域の赤外光ビームを投射し、車両後方をスキャンする。投射された赤外光ビームが後続車両によって反射されると、これがCIGS撮像センサ626の赤外画素によって受光される。CIGSセンサ626の画像信号は、後方センサドライバ634を介して後方画像処理部636によって処理され、赤外ビームの反射位置が検知される。監視記録制御部632は、後方画像処理部636が検知した反射位置情報およびその時の赤外光ビーム投射角度から、この赤外光ビームを反射した後続車両までの車間距離を算出する。監視記録制御部632は算出した車間距離に応じて後方AF(オートフォーカス)制御部638を制御し、AF駆動部640により撮像レンズ624を駆動させて赤外光ビームを反射した後続車両に対し、可視光でのピントを合わせる。
The
一方、上記のようなピント合わせに基づきCIGS撮像センサ626の可視光画素により検知された可視光画像情報は、後方センサドライバ634を介して後方画像処理部636によって可視画像に処理され、監視記録制御部632を介してマイク628からの音声情報とともにFIFO(先入れ先出し記録部)642に入力される。FIFO(先入れ先出し記録部)642は、20秒程度の容量の不揮発性バッファメモリを備えており、後方画像処理部636およびマイク628から入力された画像および音の情報を先入れ先出しで記憶する。つまり最新20秒の情報が常時上書き記憶され続ける。
On the other hand, the visible light image information detected by the visible light pixel of the
そして、異常加速度検知部644が衝突などによる大きな加速度変化を検知したとき、または特に記録を指示する手動操作があったとき、FIFO642の記録が証拠として保全されることになる。具体的には、監視記録制御部632は、車両制御部604と連記しており、異常加速度検知部644による異常加速度検知または手動操作が車両制御部604を介して監視記録制御部632に伝えられると、後方画像処理部636およびマイク628が破壊されずに情報入力が継続していれば、その時点からさらに10秒程度のFIF0642への記憶を続ける。これによってFIFO642には、加速度変化の検知または手動操作の時点の前後それぞれ10秒程度の画像および音情報が最終的に保持される。そして、この前後10秒程度の画像および音情報は、不揮発性の記録部646に自動転送され証拠として保存される。これによってドライブレコーダ機能が達成される。なお、衝突等でドライブレコーダ機能の大半が破壊された場合でも、不揮発性のFIFO642さえ無事ならば、事故前20秒程度の記録が保全されることになる。
Then, when the abnormal
なお、後続車両の画像を記録する場合、車間距離が短くなると後続車両のナンバーはもちろんのことフロントガラスを介して前部座席の運転者等の顔も鮮明に記録されることになる。これらの画像は、異常がない限り、FIFOで20秒後には捨てられることにはなるが、プライバシー問題への配慮のため、後続車両が所定以上に車間距離を詰めてきたことを監視記録制御部632が検出するとこれを車両制御部604に送る。車両制御部604はこれに応答して、後方車ドラレコ(ドライブレコーダ)告知表示部648により、車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。これは、万一のトラブルを軽減するための事前告知となるとともに、撮影を嫌う後続車両に自発的に適切な車間距離をとらせることが期待できる。さらに、
When recording the image of the following vehicle, when the inter-vehicle distance is shortened, not only the number of the following vehicle but also the face of the driver of the front seat is clearly recorded through the windshield. These images will be discarded after 20 seconds in the FIFO unless there is an abnormality. However, in order to protect privacy, the monitoring and recording control unit confirms that the following vehicle has narrowed the inter-vehicle distance more than a predetermined distance. If 632 detects, this will be sent to the
第5実施例は、以上説明した後方監視装置と同様の監視装置を車両前方にも備えている。その構成は後方監視装置と共通なので、対応する構成については700番台で10の位および1の位が同じ番号を付し、特に必要ない限り説明は省略する。なお、前方監視装置の前方画像処理部736からの前方可視光画像情報は、後方可視光画像と同様にしてFIFO642および記録部646に記録される。このためFIFO642および記録部646はそれぞれ後方用および前方用の記録領域を有する。
In the fifth embodiment, a monitoring device similar to the rear monitoring device described above is provided in front of the vehicle. Since the configuration is the same as that of the rear monitoring device, the corresponding configuration is numbered in the 700s with the same number at the 10's and 1's, and the description is omitted unless particularly necessary. Note that the front visible light image information from the front
なお、前方監視装置の場合、自車両602が所定以上に前方車両への車間距離を詰めてしまったことを監視記録制御部632が検出し、これが車両制御部604に送られたときは、車内出力部612の音声出力部616に「車間距離をとってください」などの警告アナウンスを行わせるとともに、居眠り等により車間距離が危険領域にまで縮まったときは、ブレーキ608を自動的に作動させ、衝突を防止する。
In the case of the front monitoring device, when the monitoring
図31は、後方カメラ/センサ622の詳細を距離検知原理とともに示したブロック図であり、上面から見た配置概念図となっている。なお、図30と同一部分には同一番号を付している。図31において、赤外ビームスキャナ630は、レーザまたは発光ダイオードからなりビームを投射するソーラーブラインドビーム光源802と、投射ビームを反射して道路面と平行にスキャンさせるためのポリゴンミラー、共振型ガルバノミラーまたは音響光学偏向素子などからなる二次元走査系804を有する。なお、ソーラーブラインドビーム光源802からのビームは、道路のアップダウンに対応して後続車両をカバーするため、後述のように断面が縦長になっている。なお、同様の目的で道路のアップダウンに対応して水平垂直方向に位置する可能性のある後続車両をカバーするためには、二次元走査系804を縦方向のスキャンも含む空間走査系として構成してもよい。
FIG. 31 is a block diagram showing the details of the rear camera /
CIGS撮像センサ626の光軸806はほぼ車両602の中心に配置されるが、二次元走査系804による走査ビームの回転中心は、この光軸806から離れた位置設けられる。投射ビームの回転中心と光軸806の距離はいわゆる三角測距の基線長となるので、原理的には両者間はできるだけ離れているのが望ましい。従って、配置が可能であれば、例えば赤外ビームスキャナ630は尾灯の一部に設けるのが好適である。しかしながら、一方で、後方カメラ/センサ622を出来るだけユニットとしてコンパクトにまとめることを優先する場合には、精度が保証できる限り、赤外ビームスキャナ630とCIGS撮像センサを近接して配置するのが好適である。
The optical axis 806 of the
後方カメラ/センサ622は以上のような構成であるので、例えば後続車両が車両622の真後ろの位置810に存在した時、角度812にある投射ビームの反射光814がCIGS撮像センサ626に向かう。つまり、反射ビーム814の像はCIGS撮像センサ626の光軸806上、すなわち画面の左右方向中央に撮像される。この反射ビーム814の像の位置と投射ビームの角度の組合せは後続車両の位置810によって一義的に決まり、その時の投射ビームの角度812は監視記録制御部で把握されているので、投射ビームの角度と反射ビーム814の撮像位置の組合せから位置810にいる後続車両までの距離が求まることになる。
Since the rear camera /
同様にして、後続車両が車両622の真後ろの位置816に存在したときは、角度818にある投射ビームによる反射ビーム820がCIGS撮像センサ626に向かう。このときも反射ビーム820の像はCIGS撮像センサ626の画面の左右方向中央に撮像されるが、投射ビームが異なる角度818にあるので、後続車がより遠い位置816にあることがわかる。なお、後続車が位置822にいたときには、位置816にいるときと同様、投射ビームが角度818にあるときの反射光ビーム824の像がCIGS撮像センサ626に撮像される。しかしこのときの反射光ビーム824の撮像位置は、画面の左右中央ではなく、主光線826の延長線上の、図31で画面中央より右側の位置に撮像されるので、位置822が位置816と混同されることはない。
Similarly, when the following vehicle is present at a
図32は、CIGS撮像センサ624によって撮像された画像を車内出力部612の画像出力部614で見たときの概念図である。図32(A)は、図31のような位置に後続車両があるときに対応したものであり、最も近い真後ろの位置810にある後続車両とこれによる反射ビーム814が観察される。なお、上記のように投射ビームの断面が縦長なので後続車両による反射ビーム814の像も縦長形状をしている。また、反射ビーム814は、簡単のため位置810にいる後続車両の中央にのみ図示しているが、実際には後続車両前面の左端から右端まで投射ビームがスキャンされる間、反射ビームが帯状に検知される。なお、スキャン速度は車両速度よりも充分高速なのでスキャン中の車両位置の動きは無視できる。そこで、このように帯状に車両前面全体に渡っている反射ビームの像から、図32(A)に示すような反射ビーム814の像を求めこれに対応する投射ビームの角度を確定するためには、車両前面に渡っている帯状の反射ビーム像の重心を求める処理が必要である。このような重心を求めて処理することについては後述する。
FIG. 32 is a conceptual diagram when an image captured by the
図32(A)では、上記のような位置810にいる後続車両と同様にして、より遠い真後ろの位置816にある後続車両とこれによる反射ビーム820の重心、および右側にずれた位置822を走行している後続車両とこれによる反射ビーム824の重心が、画像出力部614内に図示されている。なお、図32は概念図であって、説明の都合上、複数の後続車両を同時に鳥瞰的に図示しているが、実際の画像はこれと異なる。つまり、車両602および各後続車両が平地を走行している場合、CIGS撮像センサの光軸806が道路面に平行に設定されているため、位置816にいる後続車両は、その真ん前の位置810に後続車両がいる場合、その陰に隠れて全く見えない。また、斜め後方の位置822を走行している後続車両は、前方の位置810の後続車両と重なって撮像される。なお、このように複数の後続車両が重なっている場合の処理については後述する。
In FIG. 32 (A), in the same manner as the following vehicle at the
図32(B)は後続車両が位置826に示すように異常接近した場合を図示しており、上記のように、このような後続車両に対しては、後方車ドラレコ告知表示部648から「後方撮影中です」などの告知表示が行われる。またプライバシーへの配慮のため、異常状態がない限りは、画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830が施される。なお、このモザイク処理は、事故等により異常加速度検知部644による異常加速度検知が行われたときには解除される。従って、証拠保全のためには、運転者の顔やナンバープレート等が写った画像が記録されることになる。
FIG. 32B illustrates a case where the following vehicle has abnormally approached as indicated by a
図33は、第5実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフである。CIGSセンサの分光感度(量子効率)832は図3(A)と同じものを概念的に示したものである。これに対し、地表における太陽光の分光放射照度834は、大気の吸収を受けて櫛歯上に太陽光の分光放射照度が低くなるソーラーブラインド領域を有する。1100nm近辺や1400nm近辺がこれに相当する。両者を比較すると、CIGSセンサは1100nm近辺における太陽光のソーラーブラインド領域において高い分光感度を有することがわかる。そこで、第5実施例では、図7から図10で説明したようなカラーフィルタ配列における赤外光透過フィルタとして、1100nm近辺における太陽光のソーラーブラインド領域にピークを持つ分光透過率836のバンドパスフィルタを採用する。図31のソーラーブラインドビーム光源は、このバンドパスフィルタの透過領域に強い分光強度を有するものである。このようにして、CIGS撮像センサ626の赤外画素数は、太陽光の存在にかかわらず、赤外ビームスキャナから投射されるビームの反射光を検知できる。
FIG. 33 is a graph for explaining the spectral transmission characteristics of the filter of the
図33には、さらに赤透過フィルタ、緑透過フィルタおよび青透過フィルタにそれぞれ採用される狭い可視光領域のバンドパスフィルタの分光透過率838、840および842をそれぞれ図示している。これらの波長域では、地表における太陽光の分光放射照度834は充分であり、かつ、CIGSセンサの分光感度(量子効率)832も極めて高いので、可視光の撮像が可能となる。このように、第5実施例では、赤透過フィルタの分光透過率838を含め、すべてのフィルタが狭い領域の波長域を透過させるバンドパスフィルタとなっているので、可視光の撮像およびソーラーブラインド領域の投射ビームによる距離検知を同時に行うことが可能である。なお、撮像レンズ604のピント位置は可視光を基準にして行う。この場合、赤外画素についてはピントが合わないが、反射ビームの重心を求める目的からは問題はない。
FIG. 33 further shows
図34は、図30の第5実施例における監視記録制御部632の動作のフローチャートである。フローは、車両602が走行を開始するとスタートし、ステップS302でドライブレコーダ記録の開始を指示するとともに、ステップS304でソーラーブラインド赤外ビームによるスキャン開始を指示してステップS306に至る。ステップS306では、上記の指示に基づいて前方および後方画像処理部から送られる可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。
FIG. 34 is a flowchart of the operation of the monitoring
次いでステップS308では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。この車間距離検知は前方車両および後方車両の両者について行われるものであるが、その詳細は後述する。ステップS308で前方および後方の車間距離が検知されると、ステップS310ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。
Next, in step S308, an inter-vehicle distance detection process based on the beam angle from the
次のステップS312では、ステップS308で検知した前方車間距離に基づいて、前方車への異常接近の有無がチェックされる。そして前方車間異常接近が検知されるとステップS314に進み、ブレーキを安全な強度で自動作動させて減速する指示を行うとともにステップS316で異常車間距離のアナウンスを指示してステップS318に移行する。一方、ステップS312で前方車間異常接近が検知されなければ直接ステップS318に移行する。ここで、車間距離に応じたよりきめ細かい処理を望む場合は、ステップS312の車間距離判断を二段階にし、車間距離が比較的大きい時はステップS316の警告アナウンス指示のみに留めるとともに、車間距離がより短くなったときのみステップS314のブレーキ自動作動を加えるよう構成する。また、このようなきめ細かい処置にするか図34通りの一段階の処理にするかを予め選択しておくよう構成することもできる。 In the next step S312, the presence or absence of an abnormal approach to the preceding vehicle is checked based on the front inter-vehicle distance detected in step S308. When an abnormal approach between the front vehicles is detected, the process proceeds to step S314, where an instruction to decelerate by automatically operating the brake with a safe strength is given, and an announcement of an abnormal inter-vehicle distance is given at step S316, and the process proceeds to step S318. On the other hand, if no forward inter-vehicle abnormal approach is detected in step S312, the process proceeds directly to step S318. Here, when more detailed processing according to the inter-vehicle distance is desired, the inter-vehicle distance determination in step S312 is made in two stages, and when the inter-vehicle distance is relatively large, only the warning announcement instruction in step S316 is kept, and the inter-vehicle distance is shorter. Only when this occurs, the brake automatic operation of step S314 is applied. Further, it can be configured to select in advance whether such a fine treatment or one-step processing as shown in FIG.
ステップS318では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。そして後方車間異常接近が検知されるとステップS3320に進み、異常車間距離のアナウンスを指示する。さらに、ステップS322では、後方車両運転者に見えるよう車両602の後部窓に「後方撮影中です」などの告知表示を行わせる。また、ステップS324では、後方カメラ/センサ622が撮像する後方車の画像に対し、フロントガラス部モザイク処理828およびナンバープレートモザイク処理830を施す指示を出してステップS326に移行する。一方、ステップS318で後方車間異常接近が検知されなければステップS328に進み、ステップS320からステップS324に該当する後方車対策を解除してステップS326に移行する。これは、異常接近状態の検知に対応して後方車との車間距離が広がり、正常状態に復帰したときに必要な処理である。
In step S318, based on the distance between the rear vehicles detected in step S308, it is checked whether the rear vehicle is abnormally approaching. When an abnormal approach between the rear vehicles is detected, the process proceeds to step S3320, and an announcement of the abnormal inter-vehicle distance is instructed. Further, in step S322, a notice display such as “being photographed in the rear” is displayed on the rear window of the vehicle 602 so that it can be seen by the driver of the rear vehicle. In step S324, an instruction is given to perform
ステップS326では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS330で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS332では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。一方、ステップS326で異常加速度が検知されなければ直接ステップS334に移行する。
In step S326, it is checked whether or not an abnormal acceleration is detected. If there is a detection, the rear vehicle front / number plate mosaic process is canceled in step S330. In step S332, the image / sound / distance for 10 seconds after the detection of the abnormal acceleration is waited to be input to the
ステップS334では、車両が停止したかどうかチェックし、停止していなければステップS306に戻って、以下ステップS306からステップS334を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。一方、ステップS334で車両の停止が検知されるとステップS336の停車中処理に移行する。車両の事故は、車両の走行中だけでなく、例えば信号で停車中に後方から追突される等のケースもある。停車中処理はこのような車両停止中の事故にたいしても証拠保全するためのものである。
In step S334, it is checked whether or not the vehicle has stopped. If not stopped, the process returns to step S306, and thereafter steps S306 to S334 are repeated to continue recording and detection by the front camera /
図35は、図34の停車中処理の詳細を示すフローチャートである。図34のステップS334から図35の停車中処理に移行すると、まず、ステップS342で車両が走行しているかどうかチェックする。ここで走行していることが検知されると図34のステップS306に戻る。一方、停車が継続されていることが確認されるとステップS344に進み、継続して前方および後方画像処理部から送られてきている可視画像、前方および後方マイクからの音声、前方および前方の検知距離のFIFO記録を指示する。 FIG. 35 is a flowchart showing details of the stopping process of FIG. When the process proceeds from the step S334 in FIG. 34 to the stoppage process in FIG. 35, it is first checked in step S342 whether or not the vehicle is traveling. If it is detected that the vehicle is traveling, the process returns to step S306 in FIG. On the other hand, if it is confirmed that the stop is continued, the process proceeds to step S344, and the visible image continuously transmitted from the front and rear image processing units, the sound from the front and rear microphones, the detection of the front and front are detected. Instructs FIFO recording of distance.
次いでステップS336では、赤外ビームスキャナ630からのビーム角度およびCIGS撮像センサのソーラーブラインド領域撮像画像に基づく車間距離検知処理を行う。これは、図34のステップS308と同じ処理である。ステップS346で前方および後方の車間距離が検知されると、ステップS348ではこれに基づいて、前方カメラ/センサ722および後方カメラ/センサ622についてそれぞれ可視光撮影のためのカメラの自動ピント合わせが行われる。これも図34のステップS310と同じものである。
Next, in step S336, an inter-vehicle distance detection process based on the beam angle from the
次のステップS350では、ステップS308で検知した前方車間距離に基づいて、前方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準は図34のステップS312よりも近接した距離である。既に車両602は停車しているので、このような場合は、前方車が気付かずバックしてきた場合などに相当する。従って、停車前提前方車間異常接近が検知されるとステップS352に進み、自動的にクラクションを作動させて前方車に注意を促し、ステップS354に移行する。一方、ステップS3520で停車前提前方車間異常接近が検知されなければ直接ステップS354に移行する。 In the next step S350, based on the front inter-vehicle distance detected in step S308, the presence or absence of abnormal approach on the premise of stopping is checked for the preceding vehicle. The criterion for determining the abnormal approach is a distance closer than that in step S312 of FIG. Since the vehicle 602 has already stopped, such a case corresponds to a case where the preceding vehicle has come back without noticing. Accordingly, when an abnormal approach between the vehicles on the premise of stopping is detected, the process proceeds to step S352, the horn is automatically actuated to call attention to the preceding vehicle, and the process proceeds to step S354. On the other hand, if it is determined in step S3520 that an abnormal approach between the vehicles on the premise of stopping is not detected, the process directly proceeds to step S354.
ステップS354では、ステップS308で検知した後方車間距離に基づいて、後方車が異常接近しているか否かのチェックが行われる。このチェック基準は図34のステップS318と同じものである。但しここで後方車異常接近が検地されたときは、図34のような警告アナウンス指示や後方車ドラレコ告知表示指示は行わず、ステップS356の後方車フロント/ナンバーモザイク処理のみを行ってステップS358に移行する。これは、信号待ち停車等においては後方車との車間距離が短くなるのが当然であり、このような状態での警告アナウンス指示は無用であるとともに、後方車ドラレコ告知表示指示はかえって後方車とのトラブルの原因になるからである。そこで、後方車フロント/ナンバーモザイク処理によるプライバシー配慮のみに留めている。一方、ステップS356で後方車間異常接近が検知されなければステップS360に進み、後方車対策を解除してステップS358に移行する。これは、自車両停車時に後方車が遠くにいる状態において後方車フロント/ナンバーモザイク処理を解除するためである。 In step S354, based on the distance between the rear vehicles detected in step S308, it is checked whether the rear vehicle is abnormally approaching. This check criterion is the same as that in step S318 in FIG. However, when the rear vehicle abnormal approach is detected here, the warning announcement instruction and the rear car dorareko notification display instruction as shown in FIG. 34 are not performed, and only the rear car front / number mosaic process of step S356 is performed and the process proceeds to step S358. Transition. This is because it is natural that the distance between the vehicle and the rear vehicle is shortened when waiting for a signal, etc., and the warning announcement instruction in such a state is unnecessary, and the rear vehicle dorareko notification display instruction is This is a cause of trouble. Therefore, it is limited to privacy considerations by the rear car front / number mosaic processing. On the other hand, if an abnormal approach between the rear vehicles is not detected in step S356, the process proceeds to step S360, the rear vehicle countermeasure is canceled, and the process proceeds to step S358. This is to cancel the rear vehicle front / number mosaic process in a state where the rear vehicle is far away when the host vehicle is stopped.
ステップS358では、ステップS308で検知した前方車間距離に基づいて、後方車に対し、停車を前提とした異常接近の有無がチェックされる。この異常接近の判断基準はステップS354におけるよりも近接した距離である。そしてこのような異常接近が検知されるとステップS362に進み、フットブレーキを自動作動させてステップS364に移行する。これは、サイドブレーキのみで停車している場合において、万一追突された場合に車両の停止能力を高めてショックを少しでも軽減するためである。一方、ステップS358で停車前提後方車間異常接近が検知されなければ直接ステップS364に移行する。 In step S358, on the basis of the front inter-vehicle distance detected in step S308, it is checked whether or not there is an abnormal approach on the assumption that the rear vehicle is stopped. The criterion for determining the abnormal approach is a closer distance than in step S354. When such an abnormal approach is detected, the process proceeds to step S362, the foot brake is automatically operated, and the process proceeds to step S364. This is because, when the vehicle is stopped only by the side brake, in the unlikely event of a rear-end collision, the stopping ability of the vehicle is enhanced to reduce the shock as much as possible. On the other hand, if it is not detected in step S358 that an abnormal approach between the vehicles behind the stop is detected, the process directly proceeds to step S364.
ステップS362では、異常加速度が検知されたかどうかがチェックされ、検知があればステップS366で後方車フロント/ナンバープレートモザイク処理を解除する。さらにステップS368では、異常加速度検知後10秒の画像/音声/距離がFIFO642に入力されるのを待つとともにこのようにして確保されたFIFO642における異常加速度検知前後10秒分の画像/音声/距離を記録部646に記録してステップS334に移行する。これらは図34のステップS330およびステップS332と同じである。一方、ステップS364で異常加速度が検知されなければ直接ステップS370に移行する。
In step S362, it is checked whether or not an abnormal acceleration is detected. If there is a detection, the rear vehicle front / number plate mosaic process is canceled in step S366. In step S368, the image / sound / distance for 10 seconds after the abnormal acceleration is detected is input to the
ステップS370では、動力が停止したかどうかチェックし、停止していればステップS372に進んで、前方カメラ/センサ722および後方カメラ/センサ622からの信号に基づく前方画像処理部736および後方画像処理部636の画像処理により、画像中に動体が写っていない状態が所定時間以上続いているかどうかチェックする。そして動体が検知されればステップS342に戻り、以下ステップS342からステップS372を繰り返し、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。ステップS372で動体が検知されたときステップS342に戻るのは、車両602が停車しかつ動力が停止させられていても周囲に走行中の車両があれば事故に巻き込まれるおそれがあるのでその場合の証拠保全を行うためである。一方、ステップS372で所定時間以上動体検知がなければ車両602が車庫など安全な位置に格納されたことを意味するのでフローを終了する。なお、ステップS370で動力が停止していないことが検知された時もステップS342に戻り、前方カメラ/センサ722および後方カメラ/センサ622による記録と検知を継続しながら種々の状態に対処する。
In step S370, it is checked whether the power is stopped. If it is stopped, the process proceeds to step S372, and the front
図36は、図34のステップS308および図35のステップS346における車間距離検知処理の詳細を示すフローチャートである。このフローは前方カメラ/センサ722の画像および後方カメラ/センサ622のそれぞれについて実施されるものであるが、以下の説明では簡単のため、後方カメラ/センサ622からの画像についての処理として説明する。フローがスタートすると、ステップS382で可視光画像の処理が行われる。そしてこの処理に基づき、ステップS384で車両602と同一車線内後方に車両画像があるかどうかチェックする。そして画像があればステップS386に進み、その画像の対象性をチェックする。これは複数の車両が重なって写っていないかどうかチェックすることを意味する。対象性がなければ、ステップS388に進み、予め用意された何パターンかの車両重なり画像とそれぞれマッチングを行う。
FIG. 36 is a flowchart showing details of the inter-vehicle distance detection process in step S308 of FIG. 34 and step S346 of FIG. This flow is performed for each of the image of the front camera /
次いで、ステップS386では一致するパターンが見つかりそのパターンに基づいて重なっている複数の車両のうちの最も近いもののみの画像が分離できたかどうかチェックし、分離が出来ればステップS392に移行する。一方、ステップS386で車両画像に対称性があれば重なりはないものとして直接ステップS392に移行する。そして、ステップS392で分離した単独車両の画像の大きさからその車両の距離を判断する。しかしながら、この距離判断は車両自体に軽自動車から大型バス等にわたる大きさのばらつきがあるためあくまで大まかなものである。さらにステップS394では、分離した単独車両の可視光画像における重心を検知してステップS396に移行する。 Next, in step S386, a matching pattern is found, and it is checked whether images of only the closest one of a plurality of overlapping vehicles can be separated based on the pattern. If separation is possible, the process proceeds to step S392. On the other hand, if there is symmetry in the vehicle image in step S386, it is determined that there is no overlap, and the process directly proceeds to step S392. Then, the distance of the vehicle is determined from the size of the image of the single vehicle separated in step S392. However, this distance determination is only rough because the vehicle itself has variations in size ranging from light cars to large buses. Further, in step S394, the center of gravity in the visible light image of the separated single vehicle is detected, and the process proceeds to step S396.
ステップS396では、ソーラーブラインド画素の画像処理が行われる。そして、ステップS398において、出力が所定以上の画像群があるかどうかのチェックが行われる。これは、後方をスキャンしているソーラーブラインド領域の投射ビームが後方車両により反射されこれが後方カメラ/センサ622のソーラーブラインド画素で検知されているかどうかをチェックしていることに相当する。車両等の近接物体がない限り、投射ビームの反射光が所定以上の強度をもつことはないからである。
In step S396, solar blind pixel image processing is performed. In step S398, it is checked whether or not there is an image group whose output is greater than or equal to a predetermined value. This is equivalent to checking whether the projected beam in the solar blind area scanning backward is reflected by the vehicle behind and is detected by the solar blind pixel of the rear camera /
ステップS398で出力所定以上の画素群があればステップS400に進み、画素群の中にステップS494で検知した可視光画像重心に一致する部分があるかどうかチェックする。そして該当する部分があれば、これを反射ビームの重心と看做し、ステップS402においてこの反射ビーム重心の元になった投射ビームの角度情報を取得する。これによって、ステップS404では、ステップS402で得た投射ビーム角度およびステップS394で得た画像重心位置より投射ビームを反射した車両までの距離を仮決定する。このようにして仮決定された距離は、次のステップS406においてステップS392で求めた画像大きさに基づく距離に矛盾しないかどうかチェックする。そして矛盾がなければステップS404で仮決定した距離を正式に検知車両までの距離として本決定しフローを終了する。 If there is a pixel group having a predetermined output or more in step S398, the process proceeds to step S400, and it is checked whether or not there is a portion in the pixel group that matches the center of the visible light image detected in step S494. If there is a corresponding portion, this is regarded as the center of gravity of the reflected beam, and in step S402, the angle information of the projection beam that is the origin of the center of the reflected beam is acquired. Thus, in step S404, the distance to the vehicle that reflected the projection beam is provisionally determined from the projection beam angle obtained in step S402 and the image centroid position obtained in step S394. It is checked whether the distance temporarily determined in this way is consistent with the distance based on the image size obtained in step S392 in the next step S406. If there is no contradiction, the distance temporarily determined in step S404 is officially determined as the distance to the detected vehicle, and the flow ends.
一方、ステップS406で距離に矛盾があればステップS410に進み、画像処理が所定回数以上行われたかどうかチェックして、まだ所定回数の達していなければステップS382に戻り、可視光画像処理から処理をやり直す。このようにして、ステップS406で画像大きさ距離に矛盾しないソーラーブラインド検知距離が求まったことが確認されるか又はステップS410で画像処理が所定回数以上行われたことが検知されない限りステップS382からステップS410が繰り返される。なお、ステップS384で同一車線内車両画像が検知されなかったとき、またはステップS390で重なり画像から単独車両が分離できなかったとき、またはステップS398で出力が所定以上のソーラーブラインド画素がなかったとき、またはステップS400でソーラーブラインド画素群に可視光画像重心と一致する部分がなかったときは、いずれも直ちにステップS410に移行し、画像処理の繰り返しに入る。 On the other hand, if there is a discrepancy in the distance in step S406, the process proceeds to step S410, where it is checked whether the image processing has been performed a predetermined number of times or more. If the predetermined number of times has not yet been reached, the process returns to step S382, and the processing from the visible light image processing is performed. Try again. In this way, unless it is confirmed in step S406 that a solar blind detection distance that is consistent with the image size distance has been obtained or it is not detected in step S410 that the image processing has been performed a predetermined number of times or more, steps S382 to S382 are performed. S410 is repeated. In addition, when a vehicle image in the same lane is not detected in step S384, or when a single vehicle cannot be separated from the overlapping image in step S390, or when there is no solar blind pixel whose output is greater than or equal to a predetermined value in step S398, Alternatively, when there is no portion in the solar blind pixel group that coincides with the visible light image centroid in step S400, the process immediately proceeds to step S410, and the image processing is repeated.
これに対し、ステップS410で距離の本決定ができないまま画像処理が所定回数以上くりかえされたことが検知されたときはステップS412に進み、ステップS392により画像大きさ距離の有無をチェックする。そして、画像大きさ距離があればステップS414に進んでそのうちの最新の画像大きさ距離を採用してフローを終了する。一方、ステップS412で画像大きさ距離がなかった時はステップS416に進み、無限遠から中近距離までの車両後方の大半にピントが合うパンフォーカス距離を採用してフローを終了する。これによって、少なくとも図34のステップS310または図35のステップS348のカメラAFのための何らかの距離を決定してフローが終了される。 On the other hand, when it is detected in step S410 that the image processing has been repeated a predetermined number of times or more without being able to determine the distance, the process proceeds to step S412 and whether or not there is an image size distance is checked in step S392. If there is an image size distance, the process proceeds to step S414, the latest image size distance among them is adopted, and the flow ends. On the other hand, if there is no image size distance in step S412, the process proceeds to step S416, and a pan focus distance that focuses on most of the rear of the vehicle from infinity to the middle distance is adopted, and the flow ends. Accordingly, at least some distance for the camera AF in step S310 of FIG. 34 or step S348 of FIG. 35 is determined, and the flow is ended.
図37は、本発明の第6実施例の車両用監視装置の後方カメラ/センサの詳細を距離検知原理とともに示したブロック図である。第6実施例は、図30の全体構成ブロックを含め基本的には第5実施例と共通の構成を有しているが、前方カメラセンサおよび後方カメラ/センサにおけるCIGSセンサ周辺の構成が若干異なるなるものである。図37には、図31の第5実施例と同様にして代表として後方カメラ/センサ922を図示しているが、第5実施例と共通する部分には図31と共通の番号を付し、特に必要ない限り、説明は省略する。 FIG. 37 is a block diagram showing details of the rear camera / sensor of the vehicle monitoring apparatus according to the sixth embodiment of the present invention together with the distance detection principle. Although the sixth embodiment basically has the same configuration as that of the fifth embodiment including the entire configuration block of FIG. 30, the configuration around the CIGS sensor in the front camera sensor and the rear camera / sensor is slightly different. It will be. FIG. 37 shows the rear camera / sensor 922 as a representative in the same manner as the fifth embodiment of FIG. 31, but parts common to the fifth embodiment are numbered the same as in FIG. 31. Description is omitted unless particularly necessary.
第6実施例のCIGS撮像センサ926はカラーフィルタの構成が異なり、赤透過フィルタは狭い領域を透過させるバンドパスフィルタではなく、赤より長波長側を透過させるローパスフィルタが採用されている。また、赤外光透過フィルタについても、ソーラーブラインドの狭い領域の赤外光を透過させるバンドパスフィルタではなく、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっている。これらのローパスフィルタは、バンドパスフィルタよりも構成が簡単である。このため、まずソーラーブラインド領域より長波長側をカットするための、固定ハイパスフィルタ901がCIGSセンサ926への光路中に設けられる。さらに、赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットする可動帯域カットフィルタ903がCIGSセンサ926への光路中に設けられる。これらの組合せにより、結果的に図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる。
The
第6実施例はさらに、赤外撮影が可能となっている。このためには、可動帯域カットフィルタ903がCIGS撮像センサ926への光路から退避させられ、代わりに、可視光領域をカットして赤外領域を透過させる可動ローパスフィルタ905がCIGSセンサ926への光路中に設けられる。可動帯域カットフィルタ903および可動ローパスフィルタ905の差し換えはフィルタ駆動部907が行う。平均照度検知部909は、CIGSセンサの可視光出力に基づき、平均照度が小さくなったとき、すなわち夕暮から夜間に相当する状況になったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。さらに、コントラスト検知部909は、CIGSセンサの可視光出力に基づき、コントラストが小さくなったとき、雨や霧で視界が悪くなったものと判断し、フィルタ駆動部907に指示して、可動帯域カットフィルタ903を可動ローパスフィルタ905に自動切換えさせる。
In the sixth embodiment, infrared imaging is further possible. For this purpose, the movable band cut
以上のようにして、第6実施例はでは、暗いときまたは視界が悪い時において、可視光撮影を赤外光撮影に自動切換えすることができる。なお、平均照度検知部909およびコントラスト検知部909は、CIGSセンサの赤外光出力に基づき、平均照度またはコントラストが大きくなったとき可動ローパスフィルタ905を可動帯域カットフィルタ903に自動切換えさせて赤外光撮影から可視光撮影へ切換えさせる。なお、AF駆動部940は上記のようなフィルタの差し換えに連動し、赤外撮影が行われるときはピント合わせに赤外補正を加える。
As described above, according to the sixth embodiment, visible light photographing can be automatically switched to infrared light photographing when it is dark or when visibility is poor. The average illuminance detection unit 909 and the contrast detection unit 909 automatically switch the movable low-
図38は、第6実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38(A)は可視光撮影の状態、図38(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840のおよび青透過フィルタの分光透過率842はそれぞれ図33と同じである。これに対し、赤透過フィルタの分光透過率932は、赤より長波長側を透過させるローパスフィルタとなっている。また、赤外光透過フィルタの分光透過率936は、ソーラーブラインド領域およびそれ以外の近赤外領域の光を透過させるローパスフィルタとなっており、図38(B)からわかるようにソーラーブラインド領域よりも短波長側の近赤外領域を比較的広く透過させている。さらに、固定ハイパスフィルタ901の分光感度は、ソーラーブラインド領域より長波長側をカットするハイパスフィルタとなっている。
38A and 38B are graphs for explaining the spectral transmission characteristics of the filter of the
以上のような構成において、図38(A)では、斜線部に示すように、可動帯域カットフィルタ903が赤領域より長波長側であってかつソーラーブラインド領域よりも短波長側の光をカットしている。この結果、図33と同様にして赤画素、緑画素、青画素およびソーラーブラインド画素のそれぞれに狭い領域の光がそれぞれ入射することになる合成分光透過率が達成されている。なお、図38(A)の状態では、赤画素においても赤画像に重畳してソーラーブラインド投射ビームの反射光が感知される。この反射光は予めわかっているビーム投射タイミングでしか感知されないので、このタイミングにおける出力変化から投射ビーム反射光を検知して距離検知情報に利用することもできる。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はない。
In the above configuration, in FIG. 38A, the movable band cut
これに対し、図38(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域をカットしている。この結果、近赤外のかなり広い帯域の光が赤外画素に入射することになる。これによって太陽光を光源とするものも含めた赤外光による撮像が可能となる。また、ソーラーブラインド領域の光も入射可能なので、投射ビームによる距離測定も可能である。ここで図38(B)の状態では赤画素は赤外画素とほぼ同じ分光透過率を持つことになるので、赤外撮影においては、赤画素を赤外画素と看做して撮像情報に活用することができる。
On the other hand, in FIG. 38B, the movable band cut
なお、第6実施例において広い帯域の近赤外光を入射させることによる収差およびピント位置のずれが問題になるときは、赤外光透過フィルタの分光透過率936のカットオフ波長を例えば1000nm程度としてソーラーブラインド領域に近づけるとともに、可動ローパスフィルタ905のカットオフ波長もこれに対応して1000nm程度にシフトさせ、短波長側の近赤外光をカットするようにする。これによって赤外光撮影の帯域を狭くし、収差およびピント位置のずれを軽減す売ることができる。但し、これによって赤外光撮影の光量が低下するので両者の兼ね合いから赤外光撮影の透過帯域幅を決定する。また、目的に応じ、そのピークをどこにするかの選択も可能である。
In the sixth embodiment, when aberration due to incidence of near-infrared light in a wide band and shift in focus position become problems, the cutoff wavelength of the
図39は、図37の第6実施例における監視記録制御部632の動作のフローチャートである。その内容は、図34の第5実施例におけるフローチャートと共通するところが多いので、共通するところには同一のステップ番号を付すとともに、図34と関係付けて説明する。まず、図39におけるステップS302からステップS308、ステップS334は図34の同一番号ステップと同じである。また、図39のステップS422における車両異常接近処理は、図34のステップS312からステップS324およびステップS328をまとめたものであって、その内容は同一である。同様に、図39のステップS424における異常加速度検知処理は、図34のステップS326、ステップS330およびステップS332をまとめたものであって、その内容は同一である。そして、図34のステップS310の部分が、図39のステップS426からステップS442に置き換わっている。なお、図39のステップS444における停車中処理の内容は、図35のステップS348の部分を図39のステップS426からステップS442に置き換えたものである。
FIG. 39 is a flowchart of the operation of the
以上の前提のもとで、図39のステップS426からステップS442について説明する。これらの部分は、図37で説明した可動ローパスフィルタ905と可動帯域カットフィルタ903の自動切換えおよび、これに連動するAF駆動部940の赤外補正に関するものである。図39において、ステップS308で前方および後方の車間距離が検知されると、ステップS426では手動で赤外撮影が選択されたかどうかチェックする。選択がなければステップS428に移行し、平均照度検知部909により検知される照度が所定以下かどうかチェックする。照度が所定以下でなければさらにステップS430でコントラスト検知部911により検知されるコントラストが所定以下であるかどうかチェックする。
Based on the above assumptions, steps S426 to S442 in FIG. 39 will be described. These portions relate to automatic switching between the movable low-
ステップS430でコントラストが所定以下であると判断されたときはステップS432に進み、可視光帯域をカットする可動ローパスフィルタ905を挿入する指示をフィルタ制御部907に行う。なお、ステップS426で手動赤外撮影選択が検知されたとき、またはステップS428で照度が所定以下であることが検知されたときは直ちにステップS432に移行する。次いで、ステップS434では、AF駆動部940に赤外補正つきのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では赤外光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
When it is determined in step S430 that the contrast is equal to or lower than the predetermined value, the process proceeds to step S432, and an instruction to insert a movable low-
一方、ステップS430でコントラストについても所定以下でなかったときはステップS438に移行し、ソーラーブラインド以外の赤外帯域をカットする可動帯域カットフィルタ903を挿入する指示をフィルタ制御部907に行う。次いで、ステップS440では、AF駆動部940に赤外補正なしのカメラAFによるピント合わせを行うよう指示する。さらにステップS436では可視光画像出力を選択するよう画像処理部に指示してステップS422に移行する。
On the other hand, if the contrast is not less than or equal to the predetermined value in step S430, the process proceeds to step S438, and the
図40は、本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタ配列である。このフィルタ配列は、基本的には原色カラーフィルタにおいて代表的なベイヤー配列と全く同様であって、赤透過フィルタR21(IR21)、緑透過フィルタG11、G22、および青透過フィルタB12を有する。但し、第7実施例では、後述のようにフィルタ切換えによって赤透過フィルタR21(IR21)に該当する画素の出力が赤外光出力としても兼用される。本発明の第7実施例の車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通であり、上記のようにCIGS撮像センサ926のフィルタ配列のみが異なる。
FIG. 40 is a color filter array of a CIGS imaging sensor used for the front and rear cameras / sensors of the vehicle monitoring apparatus according to the seventh embodiment of the present invention. This filter arrangement is basically the same as a typical Bayer arrangement in primary color filters, and includes a red transmission filter R21 (IR21), green transmission filters G11 and G22, and a blue transmission filter B12. However, in the seventh embodiment, the output of the pixel corresponding to the red transmission filter R21 (IR21) is also used as the infrared light output by switching the filter as described later. The configuration of the front and rear cameras / sensors of the vehicle monitoring apparatus of the seventh embodiment of the present invention is the same as that of the sixth embodiment shown in FIG. 37, and only the filter array of the
図41は、第7実施例におけるCIGS撮像センサ626のフィルタの分光透過特性を説明するためのグラフであり、図38の場合と同様にして、図41(A)は可視光撮影の状態、図41(B)は赤外光撮影の状態をそれぞれ示している。CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、固定ハイパスフィルタ901の分光感度および可動帯域カットフィルタ903の分光感度は、それぞれ図38(A)と同じである。つまり、第7実施例では、上記のCIGS撮像センサのカラーフィルタ配列により、赤外専用の画素が除かれたことだけが第6実施例と異なる。
FIG. 41 is a graph for explaining the spectral transmission characteristics of the filter of the
この結果、図41(A)の状態では、図40のR21(IR21)とうに該当する分光透過率932の赤画素に赤画像に重畳してソーラーブラインド投射ビームの反射光が感知されることになる。第7実施例ではソーラーブラインド反射光検出のための専用画像を持たないので、赤画素の赤画像出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離する。なお、赤画素がソーラーブラインド領域に感度をもっていても、太陽光による影響はないので、投射ビームが関与しないかぎり、赤の可視光撮像には問題はないことは第6実施例と同様である。
As a result, in the state of FIG. 41A, the reflected light of the solar blind projection beam is detected by superimposing the red image on the red pixel of the
これに対し、図41(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光およびソーラーブラインド投射ビームの反射光が検知される。ここでも、赤画素の赤外光出力からソーラーブラインド反射光成分を分離するため、投射ビームを高速で断続させる。この断続タイミングは予めわかっているので、図41(A)の場合と同様、投射タイミングに同期して増加する赤画素出力があれば、これをソーラーブラインド反射光として分離することができる。
On the other hand, in FIG. 41B, the movable band cut
なお、図41(B)において、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている例を示したが、これは第7実施例に特有のことではない。既に第6実施例において、収差およびピント位置の問題への対処のため可動ローパスフィルタ905のカットオフ波長を1000nm程度にシフトさせることについて説明したが、図41(B)はこのような構成を採用した例を具体的に示したものである。第7実施例においても、ソーラーブラインド反射光成分の分離、および収差およびピント位置のずれの観点で問題がない場合は、第6実施例と同様にして、赤外撮影状態における可動ローパスフィルタ905のカットオフ波長を短波長側にシフトしてもよい。
FIG. 41B shows an example in which the movable low-
図42は、本発明の第8実施例の車両用監視装置の前方および後方カメラ/センサに用いられるCIGS撮像センサのカラーフィルタの分光透過特性を説明するためのグラフである。第8実施例は、基本的には第7実施例と同様の構成を持つ。すなわちCIGS撮像センサのフィルタ配列は、図40に示すようなベイヤー配列であり、第7実施例と同様にしてフィルタ切換えにより赤透過フィルタR21に該当する画素の出力が赤外光出力としても兼用される。また、第7実施例と同様にして、車両用監視装置の前方および後方カメラ/センサの構成は、図37に示した第6実施例と共通のものである。図42の第8実施例が第7実施例と異なるのは、ソーラーブラインドビーム反射光検知による距離検知機能を省略し、専ら可視光による通常昼間の可視光ドライブレコーダおよび夜間または霧中などにおける赤外光ドライブレコーダの自動切換えに機能を絞った点にある。 FIG. 42 is a graph for explaining the spectral transmission characteristics of the color filter of the CIGS image sensor used in the front and rear cameras / sensors of the vehicle monitoring apparatus according to the eighth embodiment of the present invention. The eighth embodiment has basically the same configuration as the seventh embodiment. That is, the filter arrangement of the CIGS imaging sensor is a Bayer arrangement as shown in FIG. 40, and the output of the pixel corresponding to the red transmission filter R21 is also used as the infrared light output by switching the filter as in the seventh embodiment. The Similarly to the seventh embodiment, the configuration of the front and rear cameras / sensors of the vehicle monitoring apparatus is the same as that of the sixth embodiment shown in FIG. The eighth embodiment of FIG. 42 differs from the seventh embodiment in that the distance detection function by solar blind beam reflected light detection is omitted, and the visible light drive recorder in the normal daytime with only visible light and the infrared light in the nighttime or in fog. The function is limited to automatic switching of the optical drive recorder.
第8実施例においても、図38および図41と同様にして、図42(A)は可視光撮影の状態、図42(B)は赤外光撮影の状態をそれぞれ示している。また、図42において、CIGSセンサの分光感度832、太陽光の分光放射照度834、緑透過フィルタの分光透過率840、青透過フィルタの分光透過率842、赤透過フィルタの分光透過率932、および可動帯域カットフィルタ903の分光感度は、それぞれ図41(A)と同じである。図42が図41と異なるのは、固定ハイパスフィルタ901が1100nm近辺のソーラーブラインド領域を含めこれより長い波長域をカットする分光透過率となっており、CIGSセンサのソーラーブラインド領域の感度を利用していない点である。
Also in the eighth embodiment, similarly to FIGS. 38 and 41, FIG. 42 (A) shows the state of visible light photographing, and FIG. 42 (B) shows the state of infrared light photographing, respectively. 42, the
これによって、可動帯域カットフィルタ903が挿入されている図42(A)の状態では分光透過率932の赤画素に赤画像のみが感知されることになる。これに対し、図42(B)では、可動帯域カットフィルタ903が除去され、斜線部に示すように、可動ローパスフィルタ905が可視光領域および1000nm近辺までの近赤外領域をカットしている。この結果、分光透過率932の赤画素には1000nmから1100nm近辺までの太陽光に基づく赤外光が検知される。このようにして、CIGSセンサの広い分光感度を利用し、ベイヤー配列における赤画素が可視光撮影における赤画像検知および赤外光撮影における赤外画像検知に切換えて利用される。なお、このような第8実施例のCIGSセンサはドライブレコーダに限らず、第1実施例、第2実施例におけるカメラ、また第4実施例におけるような内視鏡においても採用が可能なものである。
Thus, in the state of FIG. 42A in which the movable band cut
図43は、本発明の第9実施例の上面外観図であり、携帯電話1として構成されている。携帯電話1は、ヒンジ部3によって表示部5を有する上部7がテンキーなどの操作部9を有する下部11の上に折り畳み可能に構成される。上部7には電話機能を構成する受話口13が設けられるとともに、携帯電話1をテレビ電話として利用する場合において表示部5を見ている操作者の顔を写すことができるとともに、自分撮りの際にも利用される内側カメラ17が配置されている。さらに、上部7には、携帯電話1が通話のために顔に近接していることを検知するための赤外光発光部19および顔からの赤外反射光を受光する赤外光近接センサ21が設けられており、赤外光近接センサ21の出力が所定以上あることで顔の接近が検知されると、省電力のため表示部5のバックライトを消灯する。なお、図43では図示しないが、上部7の背面には背面カメラが設けられており、携帯電話1の背面側にあって表示部5でモニタされる被写体を撮影することができる。
FIG. 43 is a top external view of a ninth embodiment of the present invention, which is configured as a
一方、下部11には、その下方に電話機能を構成する送話口23が設けられるとともに、情報にはCIGS撮像センサ25が配置されている。CIGS撮像センサ25は、図3(A)に示すように波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近の広い波長域に渡り量子効率50%を超える分光感度を有するものであり、後述するように、頬の肌の撮影、頬の肌水分の測定、親指静脈の認証、脈波による健康チェックなどの諸機能を有する。そしてその周囲には、上記の種々の目的のためのLEDを有する光源部27が配されている。CIGS撮像センサ25および光源部27は下部11の上方、すなわち携帯電話1全体で見るとその中央部近くに設けられているため、指静脈の認証の際に携帯電話1を保持する手の親指の認証が片手操作にて可能である。
On the other hand, the
頬の肌の撮影および頬の肌水分の測定は、携帯電話1が通話のために顔に近接している状態で測定され、通話が終わると表示部5において肌水分表示29が自動的に所定時間行われる。一方、親指による静脈認証や脈波検知は、上記のように携帯電話1を持つ手の親指をCIGS撮像センサ25近傍上方にて非接触でかざすことにより可能である。このとき、CIGS撮像センサ25の出力によるフォーカス検知機能に基づき、親指を近づける旨の指示31または親指を離す旨の指示33が表示部5に表示される。また、親指認証時に同時に親指の脈波が検知され、検知された脈波の形状に基づく血管状態の健康診断結果や脈波に基づくパルスオキシメータの血中酸素飽和度などの健康チェック情報35が表示部5に表示される。なお、図43では、説明の都合上、表示部5に現に表示されている指示31を実践で囲んで示し、適宜表示が可能な他の情報を破線で囲んで図示している。また、表示のレイアウトは図43に限るものではなく、各表示は、同時に表示する必要のない限り、表示部5一杯に表示してよい。
The cheek skin is photographed and the cheek skin moisture is measured while the
図44は、第9実施例のブロック図であり、同一部分には図43と同一番号を付し、必要のない限り、説明は省略する。携帯電話1は、記憶部37に記憶されるプログラムに従って動作する制御部39によって制御される。記憶部37は、また制御部39の制御に必要なデータを一時記憶するとともに、種々の測定データや画像も記憶することができる。表示部5の表示は制御部39の制御に基づき表示ドライバ41の保持する表示データに基づいて行われる。表示部5は表示バックライト43を有しており、このバックライトの明るさはCIGS撮像センサ25が検出する周囲の明るさに基づいて制御39が調節する。
FIG. 44 is a block diagram of the ninth embodiment. The same reference numerals as in FIG. 43 denote the same parts, and a description thereof will be omitted unless necessary. The
受話口13および送話口23を含む電話機能部45は、制御部39の制御下にある電話通信部47により、無線電話回線に接続可能である。また携帯電話1は近距離通信部49により、電話回線とは異なる近距離通信システムに基づき、近辺にある機器と無線でデータ通信が可能である。スピーカ51は、制御部39の制御により着信音や種々の案内を行うとともにテレビ電話時の相手の声を出力する。また、画像処理部53は、制御部39に制御されて内側カメラ17および背面カメラ55によって撮像される画像を処理するとともに、CIGS撮像センサ25の画像も処理し、これらの処理結果の画像を記憶部37に入力する。
The
図45は、第9実施例におけるCIGS撮像センサ25のフィルタの分光透過特性および撮像センサ光源部27のピーク波長を説明するためのグラフである。CIGS撮像センサ25の分光感度(量子効率)101は、図3(A)と同じものを概念的に示したもので、波長1300nm近くにわたる広い感度域を持つとともに400nm付近から1200nm付近までの広い波長域に渡る高量子効率を示すものである。図45(A)は、このようなCIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして水の吸光度特性103を示したものである。なお、縦軸は分光感度101と水の吸光度特性103の波長依存の相対変化をそれぞれの示すだけのものであり、両者間の絶対的な値には意味はない。図45(A)に明らかなように、水の吸光度特性103は970nm、1200nm、1450nm等にピークを持っている。
FIG. 45 is a graph for explaining the spectral transmission characteristics of the filter of the
一方、図45(B)は、CIGS撮像センサ25の分光感度101に重ね、波長を示す横軸を共通にして酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を示したものである。なお、図45(B)においても、縦軸は分光感度101と酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107のそれぞれの波長依存の相対変化を示すだけであり、両者間の絶対的な値には意味はない。図45(B)に明らかなように、酸化ヘモグロビンの吸光度特性105は、660nm付近から900nm付近にかけて徐々に大きくなる。これに対し還元ヘモグロビンの吸光度特性10は、660nm付近で大きい吸光度を示すとともに、全体として900nm付近にかけて徐々に吸光度が小さくなる。そしてこの間、760nm付近において一度吸光度の山があるとともに、805nm付近において酸化ヘモグロビンの吸光度特性105とクロスし、両者の吸光度が等しくなっている。
On the other hand, FIG. 45B shows the
図45は、以上のようなCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107を前提として設定したCIGS撮像センサ25の複数種カラーフィルタにそれぞれ採用されるバンドパスフィルタの分光透過率、および光源部27として用いられる複数種のLEDのピーク波長を示している。まず肌水分の測定に関するものについて図45(A)を参照して説明する。バンドパスフィルタ109は、水の吸光度特性103に示される970nm付近のピークに合せ970nmをピーク波長として設定される。この波長領域をカバーする光源としてピーク波長が940nmのLED111(図示の簡単化のためピーク波長のみを一点鎖線で示す。以下同様。)が設けられる。一方、バンドパスフィルタ113は、水の吸光度特性103に示すように吸光度の低い領域の805nmをピーク波長として設定される。また、この波長領域をカバーする光源としてはピーク波長が850nmのLEDが設けられる。このように、所望の出力が得られる限りはコスト面を考慮し、LEDとバンドパスフィルタのピーク波長を厳密に一致させる必要はない。バンドパスフィルタ113のピークとややずれたピーク波長のLED115の採用は、その一例である。なお、CIGS撮像センサは量子効率が高く感度が良いのでこのようなことへの許容度も大きい。
FIG. 45 shows a plurality of types of color filters of the
次に、図45(B)を用いて、親指静脈の認証に関する説明を行う。なお、各バンドパスフィルタおよび各LEDのピーク波長は図45(A)および図45(B)で共通である。バンドパスフィルタ117は、還元ヘモグロビンの吸光度特性107における760nm付近の吸光度の山に合せ760nmをピーク波長として設定される。なお、760nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度は充分小さい。この波長領域をカバーする光源としてピーク波長が750nmのLED119が設けられる。親指静脈認証のための親指静脈の画像は、このピーク波長750nmのLED119を光源とし、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力に基づいて撮像される。これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。このとき、参照画像を取得するため、上記の肌水分検知において説明したピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。ピーク波長805nmの画像は酸化ヘモグロビンと還元ヘモグロビンの吸光度が等しくなっているので参照画像として好適である。
Next, the authentication of the thumb vein will be described with reference to FIG. In addition, the peak wavelength of each band pass filter and each LED is common in FIG. 45 (A) and FIG. 45 (B). The
さらに、図45(B)を用いて、脈波の検出およびこれに基づく血中酸素飽和度の測定について説明する。バンドパスフィルタ201は、還元ヘモグロビンの吸光度特性107において吸光度の高い660nmをピーク波長として設定される。なお、660nm付近においては吸光度特性105から明らかなように酸化ヘモグロビの吸光度が最も小さくなっており、酸化ヘモグロビンと還元ヘモグロビンの吸光度の差が大きい。この波長領域をカバーする光源としてピーク波長が660nmのLED203が設けられる。脈波の検出は、このピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。つまり、両出力に基づいて親指内における動脈血の増減がわかるのでこれに基づいて脈波が検出される。さらに脈波に対応する動脈血の厚みの変化に基づき、周知の理論により動脈血の酸素飽和度を求めることができる。
Furthermore, detection of a pulse wave and measurement of blood oxygen saturation based on this will be described with reference to FIG. The band-
なお、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定におけるCIGS撮像センサ25の画素出力の利用は、上記のような2波長の画素出力に限らず、適宜3波長以上を組み合わせることも可能である。例えば、肌水分の測定において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。同様に、親指静脈の認証において、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。さらに、脈波検出または血中酸素飽和度の測定において、ピーク波長760nmのバンドパスフィルタ117が配されたCIGS撮像センサの画素出力またはピーク波長970nmのバンドパスフィルタ109が配されたCIGS撮像センサの画素出力またはその両者を利用することができる。逆に、設計条件によっては、肌水分の測定、親指静脈の認証、および脈波の検出と血中酸素飽和度の測定のそれぞれ利用する波長域を兼用することによりバンドパスフィルタとLEDの種類を減らすことも可能である。
The use of the pixel output of the
図46は、図43から図45における第9実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図46の例においては、ピーク波長805nmの赤外光透過フィルタIRref11、ピーク波長660nmの赤透過フィルタR12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長760nmの赤外透過フィルタbIR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図45におけるバンドパスフィルタ113、バンドパスフィルタ201、バンドパスフィルタ109およびバンドパスフィルタ117に対応する。なお、図46におけるそれぞれの画素においてカラーフィルタの波長域以外の画像情報を補間することについては、本明細書において図7等で他の実施例について説明した構成を適宜採用することができる。なお、肌水分測定と合わせて、肌画像を撮像するときは、赤および複数波長の赤外画像による多波長画像が得られるので、これらを適宜可視光色に置き換えて画像化することにより肌の状態を画像により目視することができる。
FIG. 46 is an example of the color filter array of the
図47は、第9実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図47において図45と対応する部分には同一番号を付す。図47から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長750nmのLED119がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED111、LED115およびLED119の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
FIG. 47 is a front view showing an example of the arrangement of LEDs that can be employed in the ninth embodiment, and shows the detailed configuration of the
図48は、図44の第9実施例における制御部39の動作のフローチャートである。フローは、携帯電話1の操作部9による主電源のオンでスタートし、ステップS452で初期立上および各部機能チェックを行うとともに表示部5における画面表示を開始する。次いでステップS454では、撮像センサ光源部27を消灯させる。なお、元々消灯状態にあるときはここでは何もしない。さらにステップS456では、携帯電話1が所定時間放置されているなど無操作状態にあるかどうかチェックする。この場合、着信を検知するなど携帯電話1が自身で機能する場合も無操作状態ではないものとする。ステップS456で所定時間の無操作が検知されない場合はステップS458に進み、表示バックライト43を点灯させる。併せてステップS460でCIGS撮像センサ25を活性化する。これによって、ステップS454からステップS460を経た場合、CIGS撮像センサは光源なしに受光を行う状態となる。
FIG. 48 is a flowchart of the operation of the
次いで、ステップS462では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。具体的にはCIGS撮像センサの主に赤領域のLED203の出力に基づき、これが大きい時はバックライトを明るくするとともに、LED203の出力が小さい時はバックライトを暗くする。そしてフローはステップS464に移行する。一方、ステップS456で所定時間無操作が検知されたときはステップS466に移行し、表示バックライトを消灯させるとともに、ステップS468でCIGS撮像センサ25を不活性化してステップS464に移行する。この場合は、表示バックライトが消灯するのでその明るさの調整も行われない。
Next, in step S462, the brightness of the display backlight is adjusted based on the output of the
ステップS464では、携帯電話1に電話の着信があったかどうかチェックする。なければステップS450で電話番号操作などの発信のための操作があったかどうかチェックする。そして発信操作が検知された時はステップS452に移行する。なお、ステップS464で着信が検知された時もステップS452に移行する。ステップS452は、バックライトが消灯されていたときはこれを復活するとともにその明るさを調整するための撮像センサを活性化するための処理(ステップS458からステップS462と同様の処理)、および着信または発信に基づく通話を開始するための処理を行うステップである。
In step S464, it is checked whether the
ステップS452のバックライト復活/通話開始処理が完了するとステップS454に進み、赤外光近接センサ21の出力に基づいて携帯電話1に頬が近接しているかどうかチェックする。この状態は、携帯電話1を耳と口に近づけて通話体勢に入ることによって生じる。そして頬近接が検知されない場合はステップS456に移行する。これは、通話開始状態になってもまだ携帯電話1が耳と口に近づけられていないか、またはテレビ電話により通話が行われている場合に該当する。一方、ステップS450で発信操作が検知されなかったときは直接ステップS456に移行する。
When the backlight restoration / call start processing in step S452 is completed, the process proceeds to step S454, and it is checked whether the cheek is close to the
ステップS456では肌水分を測定するための手動操作が行われたかどうかチェックされ、この操作が検知されたときはステップS458の肌水分測定/肌撮影処理に移行する。一方、ステップS454において頬近接が検知されたときはステップS460に移行し、表示バックライトを消灯するとともにステップS458に移行する。このように頬近接が検知されたときには何も操作しなくても自動的に肌水分測定処理が行われる。ステップS458の肌水分測定/肌撮影処理の詳細は後述する。なお、ステップS460の表示バックライト消灯は、表示部5を見ることができない状態での省電力の意味があるとともに、後述のよう頬接近による肌水分の自動測定の場合は測定姿勢の調整を省略するので、測定姿勢のバラツキによりバックライトによる肌の照明状態が測定に影響するのを防止する意味がある。これに対し、手動測定の場合は、後述のように肌の撮影も行われるとともにそのフォーカシングなど測定条件が調整されるので、表示バックライトを積極的に肌撮影のための(少なくともCIGS撮像センサの可視光画素用の)補助照明光として利用する。
In step S456, it is checked whether or not a manual operation for measuring skin moisture has been performed. If this operation is detected, the flow proceeds to skin moisture measurement / skin imaging processing in step S458. On the other hand, when cheek proximity is detected in step S454, the process proceeds to step S460, the display backlight is turned off, and the process proceeds to step S458. Thus, when the proximity of the cheek is detected, the skin moisture measurement process is automatically performed without any operation. Details of the skin moisture measurement / skin imaging process in step S458 will be described later. Note that turning off the display backlight in step S460 means power saving when the
ステップS458の肌水分測定処理が完了するとステップS462で通話中かどうかチェックする。また、ステップS456で肌水分測定手動操作が検知されなかったときもステップS462に移行する。ステップS462で通話中であることが検知された時はステップS454に戻り、以下ステップS462で通話中であることが検知されている限りステップS454からステップS462を繰り返す。これによって通話中の種々の状況変化(例えばテレビ電話中に手動で肌水分測定を行うなど)に対応するとともに、ステップS458の肌水分測定処理を繰り返すことで、測定情報量を増加させる。 When the skin moisture measurement process in step S458 is completed, it is checked in step S462 if a call is in progress. Moreover, also when the skin moisture measurement manual operation is not detected by step S456, it transfers to step S462. When it is detected in step S462 that a call is in progress, the process returns to step S454, and steps S454 to S462 are repeated as long as it is detected in step S462 that a call is in progress. This responds to various situation changes during a call (for example, manually performs skin moisture measurement during a videophone call), and increases the amount of measurement information by repeating the skin moisture measurement process in step S458.
ステップ462で通話中であることが検知されない場合はステップS464に進み、バックライト復活/肌水分表示処理に入る。その詳細は後述する。このように、ステップS458の肌水分測定/肌撮影処理458による情報がある場合は、通話が終わると表示部5にその結果が自動的に表示される。ステップS464のバックライト復活/肌水分表示処理が完了するとステップS466で認証の必要な操作(例えば、メールの閲覧や電話帳情報の変更)が行われたかどうかチェックし、これらの操作が検知されなければステップS468に移行する。一方、ステップS466で認証要操作が検知されたときは、ステップS470を経てステップS468に移行する。ステップS470は、親指静脈認証処理を行うと同時に脈波を行い、脈波および血中酸素飽和度に基づく健康チェックを行う処理であり、認証成功と同時に自動的に健康チェック結果も表示部5に表示される。ステップS468は操作部9によって主電源がオフされたかどうかをチェックしており、主電源オフが検知されなければステップS454に戻り、以下、主電源がオフされない限り、ステップS454からステップS470を繰り返して種々の状況に対応する。一方、ステップS468で主電源のオフが検知されたときは、直ちにフローを終了する。
If it is not detected in
図49は、図48のステップ458における肌水分測定/肌撮影処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS472において手動操作で肌水分測定/肌撮影処理に入ったのかどうかチェックされる。そして手動操作経由であればステップS474に進み、ピーク波長が940nmのLED111、ピーク波長が850nmのLED115、ピーク波長が750nmのLED119およびピーク波長が660nmのLED203の全てが点灯させられてステップS476に進む。一方、ステップS472で手動操作経由でなかった場合は、頬近接検知経由であることを意味するからステップS478に進み、ピーク波長が940nmのLED111およびピーク波長が850nmのLED115が点灯させられてステップS476に進む。この場合、他のLEDは点灯させられない。
FIG. 49 is a flowchart showing details of the skin moisture measurement / skin imaging process in
ステップS476では、CIGS撮像センサ画像の読出しが行われるとともにステップS480に進み、再び手動操作経由かどうかのチェックが行われる。そして手動操作経由であればステップS482に進んで肌画像の撮像が成功して既に記憶が完了かどうかチェックされる。このとき肌画像記憶完でなければステップS484に進み、カラーフィルタとしてそれぞれピーク波長970nmのバンドパスフィルタ109、ピーク波長805nmのバンドパスフィルタ113、ピーク波長760nmのバンドパスフィルタ117およびピーク波長660nmのバンドパスフィルタ201がそれぞれかけられたCIGS撮像センサ25の各画素の画像が抽出される。そしてステップS486で各画素による画像のコントラストを検出するとともにこれらを相互比較してステップS488に進む。
In step S476, the CIGS imaging sensor image is read and the process proceeds to step S480, where it is checked again whether the manual operation has been performed. If it is via manual operation, the process proceeds to step S482, where it is checked whether the skin image has been successfully captured and the storage has already been completed. If the skin image storage is not completed at this time, the process proceeds to step S484, where the
ステップS488では、ピーク波長970nmのバンドパスフィルタ109がかけられたCIGS撮像センサ25の画素による画像(以下「970nm画像」と略称。他の画像も同様。)のコントラストが760nm画像のコントラストより大きいかどうかがチェックされる。該当しない場合はステップS490に進み、660nm画像のコントラストが805nm画像のコントラストより大きいかどうかがチェックされる。そしてこれにも該当しない場合は、波長760nmと波長805nmの間の光による像のピントが結像画像CIGS撮像センサに合っている可能性が高いのでステップS492に進み、ステップS484で抽出された各波長の画素による画像情報に基づいて各画素の補間処理が行われる。
In step S488, whether the contrast of the image (hereinafter abbreviated as “970 nm image”, the same applies to other images) of the pixel of the
これに対し、970nm画像のコントラストが760nm画像のコントラストより大きいことがステップS488において検知された場合はステップS494に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌に近づけてください。」等のアナウンスを行う指示をしてステップS476に戻る。また、660nm画像のコントラストが805nm画像のコントラストより大きいことがステップS490において検知された場合はステップS496に進み、受話口13において「お肌のチェック中です。携帯電話をもう少し肌から離してください。」等のアナウンスを行う指示をしてステップS476に戻る。以下、ステップS488およびステップS490のいずれにも該当しない状態になるまでステップS476からステップS490およびステップS494ならびにステップS496が繰り返され、携帯電話と肌との距離の変更とCIGS撮像センサ画像の読出しが繰り返される。なお、ステップS488およびステップS490は、簡単のためコントラスト情報そのものを比較するものとして説明したが、実際には、フォーカス状態の実測により実験的に求めた所定のバイアスを付加した上で大小比較を行う。
On the other hand, when it is detected in step S488 that the contrast of the 970 nm image is larger than the contrast of the 760 nm image, the process proceeds to step S494, and “the skin is being checked. Please give an instruction to make an announcement such as “Please,” and the process returns to step S476. If it is detected in step S490 that the contrast of the 660 nm image is greater than the contrast of the 805 nm image, the process proceeds to step S496, and the
ステップS492における各画素画像補間処理が完了するとステップS498に進み、頬の肌の可視化画像を作成するとともにこれを記憶する処理がおこなわれる。ステップS492の補間処理により4つの波長により撮像された4つの画像が得られるが、これらは赤および3つの赤外波長による画像なので、ステップS498ではこれら4つの画像を適宜4つの可視光画像に置き換え、目で観察できる「カラー画像」に変換する。このようにして可視化された「カラー」画像は現実の肌の色ではないが、4つの波長により撮像することで肌の健康状態の目視による観察が可能となる。肌の撮像は携帯電話1を頬に極近接させたマクロ撮影となるので、肌の詳細が観察可能な拡大画像が得られる。
When each pixel image interpolation process in step S492 is completed, the process proceeds to step S498, where a visualization image of the cheek skin is created and stored. Four images picked up by four wavelengths are obtained by the interpolation processing in step S492. Since these are images of red and three infrared wavelengths, in step S498, these four images are appropriately replaced with four visible light images. , Convert to a “color image” that can be observed with the eyes. The “color” image visualized in this way is not an actual skin color, but it is possible to visually observe the health state of the skin by imaging with four wavelengths. Since the skin imaging is a macro photography in which the
次いで、ステップS500では、970nm画素のすべての出力および805nm画素の全て出力がそれぞれ加算され970nmおよび805nmの受光出力の総和がそれぞれ求められる。なお、ステップS480で手動操作経由であることが検知されなかった時は、頬近接検知に基づく自動測定なので肌の画像情報の取得やピント調節は行わず直ちにステップS500に移行する。さらに、ステップS482において既にステップS498による肌画像の作成と記憶が完了していることが検知された場合も直ちにステップS500に移行する。次いでステップS502では、これら970nmおよび805nmの受光出力居基づいて肌水分の演算が行われる。ステップS502では、さらに、図48のステップS454からステップS462の繰り返しを通じてこれまでに演算された肌水分の情報があればそれに対し今回演算された肌水分を累積して統計処理し、平均値を算出する。 Next, in step S500, all the outputs of the 970 nm pixels and all the outputs of the 805 nm pixels are added, respectively, to obtain the sum of the received light outputs of 970 nm and 805 nm, respectively. If it is not detected in step S480 that a manual operation is being performed, the process proceeds to step S500 immediately without acquiring skin image information and adjusting the focus because it is an automatic measurement based on cheek proximity detection. Further, if it is detected in step S482 that the creation and storage of the skin image in step S498 has already been completed, the process immediately proceeds to step S500. Next, in step S502, skin moisture is calculated based on the received light output of 970 nm and 805 nm. In step S502, if there is information on the skin moisture calculated so far through the repetition of steps S454 to S462 in FIG. 48, the skin moisture calculated this time is accumulated and statistically processed to calculate an average value. To do.
次いで、ステップS504ではステップS502で求められた肌水分が20%以上かどうかのチェックが行われる。そして該当しない場合はステップS506に進み、ステップS502で求められた肌水分を記憶してフローを終了する。これに対し、ステップS504で肌水分が20%以上であることが検知されたときはステップS508に進みエラーメッセージを記憶してフローを終了する。通常、肌水分は10〜15%程度であることが知られているので、肌水分が20%以上もあるときは汗の影響などによるエラーと考えられるからである。 Next, in step S504, it is checked whether the skin moisture determined in step S502 is 20% or more. If not, the process proceeds to step S506, the skin moisture obtained in step S502 is stored, and the flow ends. On the other hand, when it is detected in step S504 that the skin moisture is 20% or more, the process proceeds to step S508, an error message is stored, and the flow ends. This is because it is generally known that the skin moisture is about 10 to 15%. Therefore, when the skin moisture is 20% or more, it is considered an error due to the influence of sweat.
図50は、図48のステップS464におけるバックライト復活/肌水分表示処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS512において頬近接検知結果が検知有から検知無へ変化したかどうかチェックされる。これは、携帯電話1を頬から離す動作があったかどうかのチェックに該当する。この変化が検知されないときは直ちにフローを終了するので、この場合、図48のステップS464では何も行われないことになる。
FIG. 50 is a flowchart showing details of the backlight restoration / skin moisture display process in step S464 of FIG. When the flow starts, it is first checked in step S512 whether the cheek proximity detection result has changed from detection to non-detection. This corresponds to checking whether or not there has been an action of moving the
一方、図50のステップS512で該当する頬建設検知の変化が確認されたときはステップS514に進み、図49のステップS506またはステップS508の機能に基づく肌水分の記憶またはエラーメッセージの記憶があるかどうかチェックされる。そしていずれかの記憶があればステップS516で表示バックライトを点灯させるとともに、ステップS518CIGS撮像センサ25を活性化する。さらに、ステップS520では、CIGS撮像センサ25の出力に基づいて表示バックライトの明るさを調整する。これによってバックライトの点灯およびその調整状態が復活する。
On the other hand, when the corresponding change in cheek construction detection is confirmed in step S512 in FIG. 50, the process proceeds to step S514, and whether there is a storage of skin moisture or an error message based on the function of step S506 or step S508 in FIG. Will be checked. If there is any memory, the display backlight is turned on in step S516 and the
次いで、ステップS522では、肌水分の記憶またはエラーメッセージの記憶を読み出すとともにステップS524で読み出した記憶を表示する。そしてステップS526で操作部による操作があったかどうかチェックする。操作の検知がなければステップS528に進み、ステップS524の機能により肌水分またはエラーメッセージが開始されてから所定時間が経過したかどうかチェックする。所定時間の経過がなければステップS524に戻る。以下ステップS526による操作部操作の検知またはステップS528による所定時間経過が検知されない限りステップS524からステップS528を繰り返し、肌水分またはエラーメッセージの表示を継続する。一方、ステップS528で所定時間経過が検知された時はステップS530に移行し、肌水分またはエラーメッセージの表示を終了してステップS532に進む。また、ステップS526で操作部の操作が検知された時は直ちにステップS530に移行して表示を終了する。一方、ステップS514で肌水分またはエラーメッセージの記憶が検知されないときは直接ステップS532に移行する。このようにして、肌水分の記憶またはエラーメッセージの記憶があるときは携帯電話1を肌から話すことによって自動的にこれらが所定時間だけ表示部5に表示される。
Next, in step S522, the storage of the skin moisture or the storage of the error message is read and the storage read in step S524 is displayed. In step S526, it is checked whether there is an operation by the operation unit. If no operation is detected, the process proceeds to step S528, and it is checked whether a predetermined time has elapsed since the skin moisture or error message was started by the function of step S524. If the predetermined time has not elapsed, the process returns to step S524. Thereafter, unless the operation unit operation is detected in step S526 or the elapse of the predetermined time in step S528 is not detected, steps S524 to S528 are repeated, and the display of skin moisture or an error message is continued. On the other hand, when the elapse of the predetermined time is detected in step S528, the process proceeds to step S530, the display of the skin moisture or the error message is terminated, and the process proceeds to step S532. If operation of the operation unit is detected in step S526, the process immediately proceeds to step S530 and the display is terminated. On the other hand, if the storage of skin moisture or error message is not detected in step S514, the process proceeds directly to step S532. In this manner, when there is a memory of skin moisture or an error message, these are automatically displayed on the
ステップS532では、図49のステップS498の機能に基づく頬の肌の可視化画像の記憶があるかどうかチェックされる。そして記憶があればステップS534に進み、所定時間内にその再生を行うための操作が行われたかどうかチェックする。所定時間内に操作検知されるとステップS536に進み、頬の肌の可視化画像記憶を読み出すとともにステップS538で読み出した記憶を表示する。そしてステップS540で表示を終了するための操作部による操作があったかどうかチェックする。操作が検知されない場合はステップS538に戻り、以下ステップS540で表示終了操作が検知されない限りステップS538とステップS540を繰り返して表示を継続する。一方、ステップS540で表示終了操作が検知されるとフローは終了となる。なお、ステップS532で頬の肌の可視化画像の記憶があることが検知されなかったとき、またはステップS534で頬の可視化画像の再生操作が所定時間内に検知されなかったときは直ちにフローを終了する。 In step S532, it is checked whether a visualized image of the cheek skin based on the function of step S498 in FIG. 49 is stored. If it is stored, the process proceeds to step S534, and it is checked whether or not an operation for performing the reproduction is performed within a predetermined time. If an operation is detected within a predetermined time, the process proceeds to step S536, where the visualized image memory of the cheek skin is read and the memory read in step S538 is displayed. In step S540, it is checked whether there has been an operation by the operation unit for ending the display. If no operation is detected, the process returns to step S538, and the display is continued by repeating steps S538 and S540 unless a display end operation is detected in step S540. On the other hand, when a display end operation is detected in step S540, the flow ends. Note that if it is not detected in step S532 that a visualized image of the cheek skin is stored, or if a reproduction operation of the visualized image of the cheek is not detected within a predetermined time in step S534, the flow is immediately terminated. .
図51は、携帯電話において実施される本発明の第10実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第10実施例は、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第10実施例が第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。図51は図45に準じて理解できるものであり、共通する部分には共通する番号を付す。具体的には、図51におけるCIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
FIG. 51 is a graph for explaining the spectral transmission characteristics of the filter of the CIGS image sensor and the peak wavelength of the image sensor light source section in the tenth embodiment of the present invention implemented in a mobile phone. Since the tenth embodiment basically has the same configuration as the ninth embodiment, it can be understood by using the external view of FIG. 43, the block diagram of FIG. 44, and the flows of FIGS. The tenth embodiment differs from the ninth embodiment in the details of the filter configuration of the
また、図51の第10実施例においては、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203も、図45の第9実施例と共通である。但し、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図51の第10実施例では省略されている。
51, the
第10実施例では、上記の構成において、静脈認証と脈波検出に用いられる波長域の兼用が行われる。つまり、親指静脈認証のための親指静脈の画像は、このピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力に基づいて撮像され、これによって還元ヘモグロビンの多い静脈の画像が抽出可能となる。また、参照画像は、ピーク波長850nmのLED115を光源としてピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力が利用される。
In the tenth embodiment, the wavelength band used for vein authentication and pulse wave detection is combined in the above configuration. In other words, the thumb vein image for thumb vein authentication is captured based on the pixel output of the CIGS imaging sensor in which the
第10実施例における、脈波の検出およびこれに基づく血中酸素飽和度の測定は第9実施例と同様にして行われる。つまり、脈波の検出は、ピーク波長660nmのLED203を光源とするピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、および上記のピーク波長850nmのLED115を光源とするピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力に基づいて検出される。
Detection of pulse waves and measurement of blood oxygen saturation based on this in the tenth embodiment are performed in the same manner as in the ninth embodiment. That is, the pulse wave is detected by the pixel output of the CIGS imaging sensor in which the
図52は、第10実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図52の例においては、ピーク波長660nmの赤透過フィルタR11およびR22、ピーク波長805nmの赤外透過フィルタIRref12、ピーク波長970nmの赤外透過フィルタIR21が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図51におけるバンドパスフィルタ201、バンドパスフィルタ113およびバンドパスフィルタ109に対応する。なお、図52では、ピーク波長660nmのカラーフィルタがかけられた画素の数が他の画素の2倍となっている。これは、後述のようにピーク波長660nmのLEDとして発光強度の小さいものを採用することと対応している。これは、ピーク波長660nmに限るものではなく、一般にコストダウンを目的とし、CIGS撮像センサにおける特定波長域の画素数を増やして感度を高めることにより対応する波長域の光源として発光強度の小さいものを用いることが可能である。
FIG. 52 is an example of the color filter array of the
図53は、第10実施例に採用可能なLEDの配置の例を示す正面図であり、図47の第9実施例の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図53において図47と対応する部分には同一番号を付す。図53から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111、ピーク波長850nmのLED115およびピーク波長660nmのLED203がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。ピーク波長660nmのLED203は比較的小さく構成できるので、図53のような配置にすると上下方向の実装スペースを小さくすることができる。また、図52に示すようにピーク波長660の波長域を受光するCIGS撮像センサの画素数が倍になっていて感度が高いのでピーク波長660のLEDとして発光強度の小さいものを用いコストダウンを図ることができる。
FIG. 53 is a front view showing an example of the LED arrangement that can be adopted in the tenth embodiment. Similar to the ninth embodiment of FIG. 47, the
なお、第10実施例における肌の「カラー」撮像は、660nm画像、805nm画像および970nm画像に基づいて行われる。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>805nm画像?」と読替えるものとする。これによって、805nm画像のコントラストが最も高いときステップS492に移行することになる。 The “color” imaging of the skin in the tenth embodiment is performed based on the 660 nm image, the 805 nm image, and the 970 nm image. At this time, regarding focus detection, step S488 in FIG. 49 is read as “970 nm image> 805 nm image?”. Thus, when the contrast of the 805 nm image is the highest, the process proceeds to step S492.
図54は、携帯電話において実施される本発明の第11実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第11実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第11実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図54においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。
FIG. 54 is a graph for explaining the spectral transmission characteristics of the filter of the CIGS imaging sensor and the peak wavelength of the imaging sensor light source section in the eleventh embodiment of the present invention implemented in the mobile phone. Since the eleventh embodiment basically has the same configuration as the ninth embodiment, it can be understood by using the external view of FIG. 43, the block diagram of FIG. 44, and the flows of FIGS. The eleventh embodiment is different from the ninth embodiment in the details of the filter configuration of the
図54の第11実施例では、970nmをピーク波長とするバンドパスフィルタ109、その光源として用いられるピーク波長が940nmのLED111、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203は図45の第9実施例と共通である。そして、第9実施例に用いられていた805nmをピーク波長とするバンドパスフィルタ113、その高原として用いられるピーク波長が850nmのLED115、760nmをピーク波長とするバンドパスフィルタ117およびその光源として用いられるピーク波長が750nmのLED119が図54の第11実施例では省略されている。これに代わり、900nmをピーク波長とするバンドパスフィルタ207が追加されている。そしてその光源としては、ピーク波長が940nmのLED111が兼用されている。さらに、可視光の緑色領域の540nmをピーク波長とするバンドパスフィルタ209およびその光源として用いられるピーク波長が550nmのLED211が追加されている。
54, the
第11実施例では上記の構成において、肌水分の測定は、ピーク波長970nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。そして両者の光源としてピーク波長940nmのLED111が兼用される。一方、第11実施例における、静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのLED203を光源とし、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力と、ピーク波長940nmのLED115を光源としてピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。
In the eleventh embodiment, in the above-described configuration, skin moisture is measured by the CIGS imaging sensor provided with the
なお、第11実施例における肌の撮像は、基本的に緑領域の540nm画像および赤領域の660nm画像に基づいた2波長の可視光による簡易カラー画像として撮像される。このときフォーカス検知に関しては、図49のステップS488は「970nm画像>660nm画像?」、ステップS490は「900nm画像>540nm画像?」にそれぞれ読替えるものとする。さらにこのままでは、ステップS488およびステップS490のいずれにも該当しない場合は、波長660nmと波長900nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してしまうことになるので、ピント位置を波長660nmと波長900nmの中間である700nm程度から赤と緑の中間である600nm程度にシフトすることを見込んだバイアスをステップS488およびステップS490に付加した上で大小比較を行う。 Note that skin imaging in the eleventh embodiment is basically performed as a simple color image with two wavelengths of visible light based on a 540 nm image in the green region and a 660 nm image in the red region. At this time, regarding focus detection, step S488 in FIG. 49 is read as “970 nm image> 660 nm image?”, And step S490 is read as “900 nm image> 540 nm image?”. Further, if neither of step S488 and step S490 is applicable, the state where the focus of the image by the light between the wavelength of 660 nm and the wavelength of 900 nm is in alignment with the formed image CIGS image sensor is detected. Therefore, a magnitude comparison is performed after adding a bias that is expected to shift the focus position from about 700 nm, which is the middle of the wavelength of 660 nm and 900 nm, to about 600 nm, which is the middle of red and green, to Step S488 and Step S490. .
以上これによって、ピント位置が可視域の波長540nmと波長660nmの間の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。また、第11実施例の場合、撮像される像自体が可視光像であって頬可視化画像作成処理は不要なので、図49のステップS498は、基本的には、単なる「画像記憶処理」に読替えて理解することができる。なお、第11実施例における肌の撮像においても、赤外の900nm画像および970画像を補助的に加味することができる。この場合は、図49のステップS498において「頬肌可視化画像作成処理」が必要となる。
As described above, it is possible to detect a state where the focus of the image by the light whose focus position is between the
図55は、第11実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図55の例においては、ピーク波長900nmの赤外透過フィルタIRref11、ピーク波長540nmの緑透過フィルタG12、ピーク波長970nmの赤外透過フィルタIR21およびピーク波長660nmの赤透過フィルタR22が図示のように配列され、これを一つの単位として繰り返す配列となっている。これらはそれぞれ、図54におけるバンドパスフィルタ207、バンドパスフィルタ209、バンドパスフィルタ109およびバンドパスフィルタ201に対応する。
FIG. 55 is an example of the color filter array of the
図56は、第11実施例に採用可能なLEDの配置の例を示す正面図であり、図47の第9実施例の場合と同様、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図56において図54と対応する部分には同一番号を付す。図56から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長940nmのLED111が一対、レンズ205の光軸を挟んで設けられている。また、LED111の間には、ピーク波長660nmのLED203およびピーク波長550nmのLED211がそれぞれ6個ずつ交互にレンズ205の光軸を挟んで回転対象に設けられている。このように、ピーク波長660nmのLED203およびピーク波長550nmのLED211は面積が比較的小さく個々の出力が小さいものに分割して設けられている。このような配置は、図53の第10実施例と同様、上下方向の実装スペースを小さくすることができる。
FIG. 56 is a front view showing an example of the LED arrangement that can be adopted in the eleventh embodiment. As in the ninth embodiment of FIG. 47, the
上記の第11実施例では、図54に示すように、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が940nmのLED111が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第11実施例の変形実施例としては、970nmをピーク波長とするバンドパスフィルタ109と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長900nmのLEDおよびピーク波長950nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類が4つに増えるので、例えば、図47における第9実施例のような実装配置を採用することができる。
In the eleventh embodiment, as shown in FIG. 54, the
図57は、携帯電話において実施される本発明の第12実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第12実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第12実施例についても第9実施例と異なるのは、CIGS撮像センサ25のフィルタ構成の詳細および撮像センサ光源部27の構成の詳細である。なお、図57においても、CIGS撮像センサ25の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45におけるものと共通である。これに加え、図57(A)では、図41、図42と同様の地表における太陽光の分光放射照度834が加えられている。
FIG. 57 is a graph for explaining the spectral transmission characteristics of the filter of the CIGS image sensor and the peak wavelength of the image sensor light source section in the twelfth embodiment of the present invention implemented in a mobile phone. Since the twelfth embodiment basically has the same configuration as the ninth embodiment, it can be understood by using the external view of FIG. 43, the block diagram of FIG. 44, and the flows of FIGS. The twelfth embodiment is different from the ninth embodiment in the details of the filter configuration of the
図57の第12実施例では、660nmをピーク波長とするバンドパスフィルタ201およびその光源として用いられるピーク波長が660nmのLED203が設けられるとともに、805nmをピーク波長とするバンドパスフィルタ113、900nmをピーク波長とするバンドパスフィルタ207およびこれらの光源に兼用されるピーク波長が850nmのLED115が設けられる。図57の第12実施例では、さらに、1200nmの水の吸光度の山に合わせたピーク波長1200nmのバンドパスフィルタ213、その光源としてのピーク波長1200nmのLED215、波長1100nm近辺のソーラーブラインド領域であって水の吸光度が低くなっている波長に合わせたピーク波長1120nmのバンドパスフィルタ217およびその光源としてのピーク波長1070nmのLED219が設けられている。
In the twelfth embodiment of FIG. 57, a
第12実施例では、上記の構成に基づき、水の吸光度の大きいピーク波長1200nmのバンドパスフィルタ213が配されたCIGS撮像センサの画素出力と、水の吸光度が小さくソーラーブラインドになっているピーク波長1120nmのバンドパスフィルタ217が配されたCIGS撮像センサの画素出力とに基づいて肌水分の測定が行われる。このようにして参照波長の情報を太陽光の影響なしに取得することができる。一方、第12実施例における静脈認証および脈波の検出と血中酸素飽和度の測定は、ピーク波長660nmのバンドパスフィルタ201が配されたCIGS撮像センサの画素出力、ピーク波長805nmのバンドパスフィルタ113が配されたCIGS撮像センサの画素出力およびピーク波長900nmのバンドパスフィルタ207が配されたCIGS撮像センサの画素出力が用いられる。このように3波長を用いることにより、静脈認証および脈波の検出のための情報が豊かになる。
In the twelfth embodiment, based on the above configuration, the pixel output of the CIGS imaging sensor in which the
なお、第12実施例における肌の撮像は、660nm画像、805nm画像、900nm画像、1120nm画像および1200nm画像の5波長域にて行われる。このときフォーカス検知に関しては、図49のステップS488は「1200nm画像>805nm画像?」、ステップS490は「1120nm画像>660nm画像?」にそれぞれ読替えるものとする。これによって、ピント位置が波長900nm付近の光による像のピントが結像画像CIGS撮像センサに合っている状態を検知してステップS492に移行することができる。 Note that skin imaging in the twelfth embodiment is performed in five wavelength regions of a 660 nm image, a 805 nm image, a 900 nm image, a 1120 nm image, and a 1200 nm image. At this time, regarding focus detection, step S488 in FIG. 49 is read as “1200 nm image> 805 nm image?”, And step S490 is read as “1120 nm image> 660 nm image?”. As a result, it is possible to detect a state where the focus position of the image by the light having a wavelength near 900 nm is in alignment with the formed image CIGS imaging sensor, and to proceed to step S492.
図58は、第12実施例におけるCIGS撮像センサ25のカラーフィルタ配列の例である。図58の例においては、ピーク波長1120nmの赤外透過フィルタmIRref11およびmIRref33、ピーク波長805nmの赤外透過フィルタsIRref12、sIRref14、sIRref32およびsIRref34、ピーク波長900nmの赤外透過フィルタcIRref13およびcIRref31、ピーク波長1200の赤外透過フィルタmIR21、mIR23、mIR41およびmIR43、並びにピーク波長660nmの赤透過フィルタR22、R24、R42およびR44が図示のように配列され、これら12画素を一つの単位として繰り返す配列となっている。これらはそれぞれ、図57におけるバンドパスフィルタ217、バンドパスフィルタ113、バンドパスフィルタ217、バンドパスフィルタ201およびバンドパスフィルタ213に対応する。
FIG. 58 is an example of the color filter array of the
図59は、第12実施例に採用可能なLEDの配置の例を示す正面図であり、図45に図示したCIGS撮像センサ25とその周囲の撮像センサ光源部27の詳細構成を示している。また、図59において図57と対応する部分には同一番号を付す。図57から明らかなように、CIGS撮像センサのレンズ205の周囲には、ピーク波長850nmのLED115、ピーク波長1200nmのLED215およびピーク波長1070nmのLED217がそれぞれ一対、レンズ205の光軸を挟んで60度ずつずれた回転対象に設けられている。一方、ピーク波長660nmのLED203については、レンズ205の光軸周りに60度ずつずれてLED115、LED215およびLED217の隙間に6個、回転対象に配されている。ピーク波長660nmのLED203は比較的小さく構成できるのでこのような実装が可能である。また、個数を増やすことで、個々の発光強度が小さいLEDを用いることが可能となりコストダウンを図ることができる。なお、光軸周りの対象性を問題としない設計の場合は、LEDの個数を各波長についてそれぞれ一個に減少させることもできる。
FIG. 59 is a front view showing an example of the arrangement of LEDs that can be employed in the twelfth embodiment, and shows the detailed configuration of the
上記の第12実施例では、図57に示すように、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207においてピーク波長が850nmのLED115が兼用されている。これは、CIGS撮像センサの量子効率が高く感度が良いことに寄ったものである。しかしながら第12実施例の変形実施例としては、805nmをピーク波長とするバンドパスフィルタ113と900nmをピーク波長とするバンドパスフィルタ207のためにそれぞれ専用のピーク波長800nmのLEDおよびピーク波長900nmのLED用いるよう構成することも可能である。この場合、図55のカラーフィルタ配列はそのまま採用できるが、LEDの種類も5つに増えるので図59を少し変形し、大面積を割り当てるLEDの対を60度ずつではなく46度ずつずらして4種類配置するとともにその隙間に5種目のLEDを8個配置するようにする。
In the twelfth embodiment, as shown in FIG. 57, the
図60は、携帯電話において実施される本発明の第13実施例におけるフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。第13実施例も、基本的には第9実施例と共通の構成を有するので図43の外観図、図44のブロック図および図48から図50のフローを流用して理解することができる。第13実施例が他の実施例と異なるのは撮像センサである。つまり、第9実施例から第12実施例までの携帯電話における肌水分測定用等の撮像センサがCIGS撮像センサで構成されていたのに対し、第13実施例の撮像センサはシリコン撮像センサである。従って、図60においては撮像センサの分光感度(量子効率)として図3(A)のCIGS撮像センサのものではなく、図3(B)に対応するシリコン撮像センサの分光感度(量子効率)221が概念的に図示されている。なお、分光感度221はあくまで相対的な概念を示すもので、縦軸の絶対的な値には意味はない。
FIG. 60 is a graph for explaining the spectral transmission characteristics of the filter and the peak wavelength of the imaging sensor light source section in the thirteenth embodiment of the present invention implemented in a cellular phone. The thirteenth embodiment basically has the same configuration as that of the ninth embodiment, and can be understood by using the external view of FIG. 43, the block diagram of FIG. 44, and the flows of FIGS. 48 to 50. The thirteenth embodiment is different from the other embodiments in the image sensor. That is, the imaging sensor for skin moisture measurement and the like in the mobile phones from the ninth embodiment to the twelfth embodiment is composed of a CIGS imaging sensor, whereas the imaging sensor of the thirteenth embodiment is a silicon imaging sensor. . Therefore, in FIG. 60, the spectral sensitivity (quantum efficiency) of the image sensor is not that of the CIGS image sensor of FIG. 3A, but the spectral sensitivity (quantum efficiency) 221 of the silicon image sensor corresponding to FIG. Conceptually illustrated. Note that the
図60に示した第13実施例は上記の撮像センサの分光感度を除き、第10実施例と共通の構造を持つ。従って、撮像センサのカラーフィルタ配列は基本的に図52に示したものが採用できる。また、光源としてのLEDの配置も基本的に図53の例が採用可能である。第13実施例はシリコン撮像センサを採用しているため、全体的な量子効率が低いとともに、ピーク波長790nmの感度もやや不充分である。しかしながら、設計条件によっては第13実施例のようにシリコン撮像センサを採用することによりコストダウンを図ることが可能である。なお、ピーク波長790nmの感度不足を補うためには、図52のカラーフィルタ配列を若干変更し、2倍の画素数になる波長域を660nmから970nmに変更することができる。また、図53のLEDの実装についても、光量不足となる可能性のある940nmLEDの数を他のLEDよりも増やすよう変更することが可能である。 The thirteenth embodiment shown in FIG. 60 has the same structure as the tenth embodiment except for the spectral sensitivity of the image sensor. Therefore, the color filter array of the image sensor can basically adopt the one shown in FIG. Also, the arrangement of LEDs as the light source can basically adopt the example of FIG. Since the thirteenth embodiment employs a silicon imaging sensor, the overall quantum efficiency is low, and the sensitivity at the peak wavelength of 790 nm is slightly insufficient. However, depending on the design conditions, it is possible to reduce the cost by employing a silicon imaging sensor as in the thirteenth embodiment. In order to compensate for the lack of sensitivity at the peak wavelength of 790 nm, the color filter array in FIG. 52 can be slightly changed, and the wavelength region where the number of pixels is doubled can be changed from 660 nm to 970 nm. Also, with regard to the mounting of the LED of FIG. 53, it is possible to change the number of 940 nm LEDs that may be insufficient in light quantity to be larger than other LEDs.
上記本発明の種々の特徴は上記の実施例に限るものではなく、他の種々の実施が可能である。例えば、上記実施例においては肌水分測定機能が携帯電話に組み込まれており、それによる種々の利点があるが、より一般的には専用の測定装置として構成することもできるし、他の装置に組み込んで実施することもできる。また、携帯電話に組み込む場合においても、図43および図44における赤外光発光部19および赤外光近接センサ21を省略し、これらが担っていた肌近接検知機能をCIGS撮像センサに兼ねさせることもできる。このとき、操作時の指の接近を誤検知することを防止するため携帯電話1に加速度センサを設け、重力加速度の検知によって携帯電話1の姿勢を検知する。これによって、携帯電話1が立てられていることを加速度センサが検知した状態においてCIGS撮像センサへの近接が検知されたときのみ肌近接検知とするようにし、携帯電話1が水平に近い状態で操作部9が操作されている状態で指がCIGS撮像センサに近接しても表示部5のバックライトが消されないよう構成する。これについては、以下の第14実施例において詳述する。
The various features of the present invention are not limited to the above-described embodiments, and various other implementations are possible. For example, in the above embodiment, the skin moisture measuring function is incorporated in the mobile phone, and there are various advantages. However, more generally, it can be configured as a dedicated measuring device, It can also be implemented. Further, even when incorporated in a mobile phone, the infrared
図61は、本発明の第14実施例の上面外観図であり、第9から第13実施例と同様にして携帯電話301として構成されるものである。携帯電話301は、図43とほぼ同様の構成を有するもので、共通の部分には同一番号を付し、説明を省略する。また、一部異なる部分は太字で示すとともに、300番台において十の位と一の位の番号を共通とする。図61の第14実施例が図43の第9実施例と異なっているのは、専用の近接センサを構成する赤外光発光部19および赤外光近接センサ21がなく、これらの機能が太字で示すCIGS撮像センサ325および撮像センサ光源部327で兼用されている点にある。
FIG. 61 is a top external view of a fourteenth embodiment of the present invention, and is configured as a
図62は、第14実施例のブロック図である。携帯電話301においても、各部は制御部339によって制御されるが、図44に示す構成と共通の部分には同一番号を付し、必要のない限り、説明は省略する。また、上記のように実施例14には赤外光発光部19および赤外光近接センサ21がなく、これらが持っていた近接センサの機能は、CIGS撮像センサ325および撮像センサ光源部327で兼用される。近接センサとしてのCIGS撮像センサ325および撮像センサ光源部327は携帯電話301が顔に近づいたことを検知して表示バックライト43を消灯させるものであるが、近接センサが操作部9に近い位置に配置されることになった結果、近接センサだけの出力に基づいて表示バックライト43の消灯を制御すると、操作中の指が近接センサを覆うと表示バックライト43が誤って消えてしまう懼れがある。
FIG. 62 is a block diagram of the fourteenth embodiment. Also in the
これを防止するため、第14実施例では加速度センサ303を設け、重力加速度の検知によって携帯電話1の姿勢を検知する。これによって、携帯電話1が通話のために縦姿勢で顔に近づけられたことを加速度センサ303が検知している状態において近接センサとしてのCIGS撮像センサ325への近接が検知されたとき肌近接検知とし、表示バックライト43を消すようにする。一方、携帯電話1が水平に近い状態で操作部9が操作されていることを加速度センサ303が検知している限り、仮に指がCIGS撮像センサ325に近接しても表示バックライト43が消えることはない。
In order to prevent this, the
図63は、図62の第14実施例における制御部339の動作のフローチャートである。図63のフローは、図48の第9実施例と共通するところが多いので、対応する部分には同じステップ番号を付し、必要のない限り説明を省略するとともに異なっている部分を太字で示す。図63の第14実施例のフローでは、図48の第9実施例のフローと異なり、ステップS452で携帯電話の機能が立ち上がった後、ステップS602において撮像センサを活性化する。さらに、ステップS604において850nmのLEDを点灯させるとともに、他の940nmLED、750nmLEDおよび660nmLEDは消灯状態とする。これらによってCIGS撮像センサ325および撮像センサ光源部327が近接センサとして機能するようになる。
FIG. 63 is a flowchart of the operation of the
以下、ステップS456からステップS462およびステップS466とステップS468は図48と同様である。また、図63では図48におけるステップS466およびステップS450以下ステップS462に対応する部分をステップS608における通話/操作処理としてまとめ、その詳細は後述する。また、ステップS464以降は、図48と共通である。 Hereinafter, steps S456 to S462 and steps S466 and S468 are the same as those in FIG. Also, in FIG. 63, the portions corresponding to step S466 and step S450 and subsequent steps S462 in FIG. 48 are summarized as call / operation processing in step S608, the details of which will be described later. Step S464 and subsequent steps are the same as those in FIG.
図64は、図63のステップS608における通話/操作処理の詳細を示すフローチャートである。その大半は、図48におけるステップS466およびステップS450以下ステップS462までと共通なので、対応する部分には同じステップ番号を付し、必要のない限り説明を省略するとともに異なっている部分を太字で示す。図64に明らかなように、第14実施例では、ステップS452のバックライト復活/通話開始処理を経ると、ステップS612におけるCIGS撮像センサによる近接検知を行う。これは、図48のステップS454における頬近接検知と同じ機能であって、検知がなければステップS456に移行する。一方、ステップS612で近接検知があったときにはステップS614に進み、加速度センサにより縦姿勢が検知されているかどうかチェックする。そしてステップS614で縦姿勢が検知されていればステップS460のバックライト消灯に進むが、縦姿勢の検知がなければバックライト消灯を行うことなくステップS456に移行する。 FIG. 64 is a flowchart showing details of the call / operation processing in step S608 of FIG. Most of them are common to step S466 and step S450 and subsequent steps S462 in FIG. 48, so that the corresponding steps are denoted by the same step numbers, the description is omitted unless necessary, and different portions are shown in bold. As is apparent from FIG. 64, in the fourteenth embodiment, after the backlight restoration / call start processing in step S452, the proximity detection by the CIGS image sensor in step S612 is performed. This is the same function as cheek proximity detection in step S454 of FIG. 48, and if there is no detection, the process proceeds to step S456. On the other hand, when the proximity is detected in step S612, the process proceeds to step S614 to check whether the vertical posture is detected by the acceleration sensor. If the vertical posture is detected in step S614, the process proceeds to backlight off in step S460. If the vertical posture is not detected, the process proceeds to step S456 without turning off the backlight.
図65は、図48または図63のステップS470における親指静脈認証等処理の詳細を示すフローチャートである。フローがスタートするとステップS622で親指静脈パターンが登録済みかどうかチェックし、登録済みならステップS624で940nmLED、850nmLED、750nmLEDおよび660nmLEDを全て点灯させる。そしてステップS626で親指認証を行うための「親指を認証センサにかざしてください」等の案内を表示部5に表示する。ついでCIGS撮像センサの画像を読み出してステップS630に移行する。
FIG. 65 is a flowchart showing details of processing such as thumb vein authentication in step S470 of FIG. 48 or 63. When the flow starts, it is checked in step S622 whether the thumb vein pattern has been registered. If it has been registered, all the 940 nm LED, 850 nm LED, 750 nm LED, and 660 nm LED are turned on in step S624. In step S626, guidance such as “Please hold your thumb over the authentication sensor” for thumb authentication is displayed on the
ステップS630では、CIGS撮像センサの出力に基づき、ステップS626の案内に従って親指が近接状態となったかどうかをチェックする。ステップS630で親指の近接が検知されるとステップS632でCIGS撮像センサの出力変化に基づき脈波が検知されるかどうかチェックする。そして脈波が検知される場合はステップS634に進み、検知した脈波に基づいて脈波に基づく健康状態を診断する処理を行うとともに、ステップS636で脈波に基づく血中酸素飽和度の算出処理を行ってステップS638に移行する。なお、上記ステップS632のチェックは生体反応のない偽指による悪意の認証を防止する意味もある。 In step S630, based on the output of the CIGS imaging sensor, it is checked whether or not the thumb is in the proximity state according to the guidance in step S626. If the proximity of the thumb is detected in step S630, it is checked in step S632 whether a pulse wave is detected based on the output change of the CIGS imaging sensor. If a pulse wave is detected, the process proceeds to step S634, where a process for diagnosing a health condition based on the pulse wave is performed based on the detected pulse wave, and a blood oxygen saturation calculation process based on the pulse wave is performed in step S636. To move to step S638. Note that the check in step S632 also has the meaning of preventing malicious authentication by a fake finger having no biological reaction.
ステップS638では、970nm画像のコントラストが760nm画像のコントラストより大きいかどうかがチェックされる。該当しない場合はステップS640に進み、660nm画像のコントラストが805nm画像のコントラストより大きいかどうかがチェックされる。そしてこれにも該当しない場合は、ピント位置が760nm画像と805nm画像の像面の間にある可能性が高く、これはピントが静脈検知用に設定した760nm画像の像面に近いことを意味するのでステップS642に移行する。ステップS642では、805nm画像のコントラストと660nm画像のコントラストがほぼ等しいかどうかチェックされる。そしてこれらのコントラストがほぼ等しいということは、その中間にある760nm画像にピントが合っている可能性が高いのでステップS644の静脈パターン照合処理に進む。この処理は登録踏みの親指静脈パターンと760nm画像から抽出される親指静脈パターンを照合する処理である。 In step S638, it is checked whether the contrast of the 970 nm image is greater than the contrast of the 760 nm image. If not, the process proceeds to step S640, and it is checked whether the contrast of the 660 nm image is greater than the contrast of the 805 nm image. If this is not the case, the focus position is likely to be between the image planes of the 760 nm image and the 805 nm image, which means that the focus is close to the image plane of the 760 nm image set for vein detection. Therefore, the process proceeds to step S642. In step S642, it is checked whether the contrast of the 805 nm image and the contrast of the 660 nm image are substantially equal. If these contrasts are substantially equal, there is a high possibility that the 760 nm image in the middle is in focus, so the process proceeds to the vein pattern matching process in step S644. This process is a process of collating the thumb vein pattern of the registered step and the thumb vein pattern extracted from the 760 nm image.
これに対し、970nm画像のコントラストが760nm画像のコントラストより大きいことがステップS638において検知された場合はステップS648に進み、表示部5において「親指をもう少し近づけてください。」等の指示31を行ってステップS628に戻る。また、660nm画像のコントラストが805nm画像のコントラストより大きいことがステップS640において検知された場合はステップS650に進み、表示部5において「親指をもう少し離してください。」等の指示33を行ってS628に戻る。また、ステップS642において805nm画像のコントラストと660nm画像のコントラストがほぼ等しいことが検知されない場合もステップS628に戻る。
On the other hand, if it is detected in step S638 that the contrast of the 970 nm image is larger than the contrast of the 760 nm image, the process proceeds to step S648, and an
以下、ステップS642で805nm画像のコントラストと660nm画像のコントラストがほぼ等しいことが検知されるか、またはステップS630で近接検知がされなくなるか、またはステップS632で脈波検知がされなくなるかしないかぎり、ステップS628からステップS642およびステップS648ならびにステップS650が繰り返され、CIGS撮像センサに対する親指の距離の変更を行いながらCIGS撮像センサ画像の読出しが繰り返される。なお、ステップS638、ステップS640およびステップS642は、簡単のためコントラスト情報そのものを比較するものとして説明したが、実際には、フォーカス状態の実測により実験的に求めた所定のバイアスを付加した上での比較を行う。 Hereinafter, unless it is detected in step S642 that the contrast of the 805 nm image and the contrast of the 660 nm image are substantially equal, proximity detection is not performed in step S630, or pulse wave detection is not performed in step S632, step Steps S642, S648, and S650 are repeated from S628, and reading of the CIGS image sensor image is repeated while changing the distance of the thumb relative to the CIGS image sensor. Note that steps S638, S640, and S642 have been described as comparing the contrast information itself for the sake of simplicity. However, in practice, a predetermined bias obtained experimentally by actually measuring the focus state is added. Make a comparison.
ステップS644における静脈パターン照合処理が完了するとステップS646に進み認証がOKかどうかの判定が行われる。一方、ステップS622で親指パターンの登録が検知されずステップS652に進んだとき、またはステップS630で近接検知がなされないとき、またはステップS632で脈波検知がなされないときはステップS654のパスワード認証処理を行ってステップS646における認証OKかどうかの判定に移行する。ステップS630およびステップS632は、親指静脈認証がうまくいかないときにこれを意図的に切り上げるための機能も果たしており、親指をCIGS撮像センサから離すだけで自動的にパスワード認証に機能が切換わる。 When the vein pattern matching process in step S644 is completed, the process advances to step S646 to determine whether or not the authentication is OK. On the other hand, if the registration of the thumb pattern is not detected in step S622 and the process proceeds to step S652, proximity detection is not performed in step S630, or pulse wave detection is not performed in step S632, the password authentication process in step S654 is performed. Then, the process proceeds to the determination of whether or not the authentication is OK in step S646. Steps S630 and S632 also perform a function for intentionally rounding up the thumb vein authentication when it is not successful, and the function is automatically switched to password authentication just by removing the thumb from the CIGS imaging sensor.
ステップS646において静脈認証またはパスワード認証がOKであることが確認された場合はステップS656に進み、認証を必要とする操作を許可するとともに、ステップS634およびステップS636に基づく情報があるときは脈波による診断結果および血中酸素飽和度を所定時間自動表示する処理をしてフローを終了する。一方、ステップS646で認証がOKであると判断されなかった場合はステップS658に進み「NG」の表示を行ってフローを終了する。このときは、ステップS634およびステップS636に基づく情報があっても本人であることが認証されなければ意味がないのでその表示も行われない。 If it is confirmed in step S646 that vein authentication or password authentication is OK, the process proceeds to step S656, and an operation requiring authentication is permitted, and if there is information based on steps S634 and S636, the pulse wave The flow is terminated after processing for automatically displaying the diagnosis result and blood oxygen saturation for a predetermined time. On the other hand, if it is not determined in step S646 that the authentication is OK, the process proceeds to step S658, "NG" is displayed, and the flow ends. At this time, even if there is information based on step S634 and step S636, it is meaningless unless it is authenticated, so that the display is not performed.
図66は、本発明の第15実施例の上面外観図であり、第9から第14実施例と同様にして携帯電話401として構成されるものである。携帯電話401は、図61の第14実施例とほぼ同様の構成を有するもので、共通の部分には同一番号を付し、説明を省略する。また、一部異なる部分は太字で示すとともに、400番台において十の位と一の位の番号を共通とする。図66の第14実施例が図61の第14実施例と異なっているのは、専用の内側カメラ17がなく、その機能が太字で示すCIGS撮像センサ425および撮像センサ光源部427で兼用されている点にある。つまり、CIGS撮像センサ425は既に説明したような肌水分検知、静脈認証および脈波検出の機能を有するとともに内側カメラとして赤、緑、青のフルカラーの可視光撮像機能を有する。さらにCIGS撮像センサ425は、頬の肌を紫外光でも撮像するため長波長の紫外線にも感度を持つ。
FIG. 66 is a top external view of a fifteenth embodiment of the present invention, and is configured as a
図67は、第15実施例のブロック図である。携帯電話401においても、各部は制御部439によって制御されるが、図62に示す第14実施例の構成と共通の部分には同一番号を付し、必要のない限り、説明は省略する。また、上記のように実施例15には内側カメラ17がなく、その機能は、フルカラーの可視光撮像機能を有するCIGS撮像センサ425で兼用される。また、図62における第14実施例におけるCIGS撮像センサ325は、内蔵された固定焦点の撮像レンズのピントが親指や頬など極近接にある対象に合う構成となっているが、図67の第15実施例ではCIGS撮像センサ425が内側カメラの機能を兼用することになった結果、ピント位置を上記の極近接状態とテレビ電話などにおいて顔を撮像するための近接フォーカス状態の間で切換わるよう調節する必要がある。
FIG. 67 is a block diagram of the fifteenth embodiment. Also in the
第15実施例では、上記のようなCIGS撮像センサへのフォーカス調節を可能とするため、図67に示すように焦点位置が可変の撮像レンズ403が別設されるとともにそのフォーカス調節機構405が設けられていて制御部439により制御されるようになっている。具体的には、CIGS撮像センサ425が内側カメラとして使用される状態では、焦点位置可変撮像レンズ403が近接フォーカス位置にセットされ、静脈認証時および頬の肌撮影時には焦点位置可変撮像レンズ403が繰り出されて極近接状態にフォーカス調節される。この調節は制御部439の指示に基づいてフォーカス調節機構405が行う。なお、撮像センサ光源部427にはCIGS撮像センサ425による紫外線撮像の光源として長波長の紫外線LEDが追加されており、携帯電話401が頬に近接して肌を撮像するときに他の波長のLEDとともに点灯させられる。
In the fifteenth embodiment, in order to enable the focus adjustment to the CIGS imaging sensor as described above, as shown in FIG. 67, an
図68は、携帯電話において実施される本発明の第15実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。図68においても、CIGS撮像センサ425の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図45等におけるものと共通である。但し、紫外線領域についての説明のため横軸を200nmまで延長して図示している。
FIG. 68 is a graph for explaining the spectral transmission characteristics of the filter of the CIGS image sensor and the peak wavelength of the image sensor light source section in the fifteenth embodiment of the present invention implemented in the mobile phone. Also in FIG. 68, the
図68の第15実施例における赤外から赤にかけてのバンドパスフィルタおよびLEDは図51の第10実施例と共通なので、同じ番号を付し、説明は省略する。図68の第15実施例では、さらに、540nmをピーク波長とする緑領域のバンドパスフィルタ209および440nmをピーク波長とする青領域のバンドパスフィルタ407が設けられている。これらは、環境光を光源とするテレビ電話等における顔撮影用なので、撮像センサ427にはLED光源は設けられない。図68の第15実施例では、さらに365nmをピーク波長とする紫外領域のバンドパスフィルタ409およびその光源としてのピーク波長が370nmのLED411が設けられる。なお赤外のLED111とLED115および赤のLED203並びに紫外のLED411は、図47における第9実施例または図59の第12実施例における4種のLEDに準じて配置することができる。図68に明らかなように、CIGS撮像センサ425の短波長側の感度域は300nm程度で尽きているが、測定対象の370nmでは相当の感度を有しており、撮像が可能である。またこの領域の長波長の紫外線光源による画像は顔のシミ等の検出に有効であるとともに、比較的安全な領域であって肌に照射しても支障がないものとされている。
In FIG. 68, the band-pass filter and the LED from the infrared to the red in the fifteenth embodiment are the same as those in the tenth embodiment in FIG. In the fifteenth embodiment shown in FIG. 68, a
図69は、第15実施例におけるCIGS撮像センサ425のカラーフィルタ配列の例である。図69の例においては、ピーク波長440nmの青透過フィルタB11およびB33、ピーク波長960nmの赤外透過フィルタIR12およびIR34、ピーク波長660nmの赤透過フィルタR13およびR31、ピーク波長540nmの緑透過フィルタG21、G23、G41およびG43、ピーク波長365nmの紫外透過フィルタUV22、UV24、UV42およびUV44並びにピーク波長805nmの赤外透過フィルタIRref14およびIRref32が図示のように配列され、これら12画素を一つの単位として繰り返す配列となっている。これらは、それぞれ図68におけるバンドパスフィルタ407、バンドパスフィルタ109、バンドパスフィルタ201、バンドパスフィルタ209、バンドパスフィルタ409およびバンドパスフィルタ113に対応する。
FIG. 69 is an example of the color filter array of the
なお、上記の構成は、365nmをピーク波長とする紫外領域のバンドパスフィルタ409の画素についてはピーク波長が370nmのLED411の光源を顔に照射して極近接で顔の画像を撮像することを前提にしたものであるが、この紫外領域の画素の利用はこれに限るものではない。例えば、光源を用いず、太陽光の測定行ってその紫外線のうちシミやしわの原因となるUVA領域の紫外線強度の情報を得るのに用いるのも有用である。
The above configuration is based on the assumption that the face of the
図70は、本発明の第16実施例の上面外観図であり、第9から第15実施例と同様にして携帯電話501として構成されるものである。携帯電話501は、図66の第15実施例とほぼ同様の構成を有するもので、共通の部分には同一番号を付し、説明を省略する。また、一部異なる部分は太字で示すとともに、500番台において十の位と一の位の番号を共通とする。図70の第16実施例が図66の第15実施例と異なっているのは、撮像センサとして、CIGS撮像センサに酸化亜鉛を用いた紫外光センサを複合した複合撮像センサ525を用いている点である。これによって、複合撮像センサ525はUVC領域の紫外から1300nmを超える赤外に渡る広い感度域を持つことになる。従って、地表に届く太陽の紫外線およびその人体への影響度を総合して定義されるUVインデックスの算出に必要なUVBおよびUVAの領域の紫外線を測定し、算出されたUVインデックスおよび肌水分の表示529を表示部5に表示し、紫外線強度と肌水分をスキンケアの情報として対比して提供することができる。複合撮像センサの詳細は後述する。
FIG. 70 is a top external view of the sixteenth embodiment of the present invention, and is constructed as a
図71は、第16実施例のブロック図である。携帯電話501においても、各部は制御部539によって制御されるが、図67に示す第15実施例の構成と共通の部分には同一番号を付し、必要のない限り、説明は省略する。複合撮像センサ525は上記のようにUVBもカバーする感度域を持つ。一方、第16実施例では撮像レンズ503としてガラスレンズを採用しており、ガラスレンズはUVA領域の紫外線は透過するもののこれより短波長のUVB領域の紫外線を透過しない。従って、UVインデックスの測定時には撮像レンズ503を複合撮像センサ525への入射光路から退避させるよう構成する。具体的には、撮像レンズ503は焦点位置が可変であるとともに光路から退避可能に構成されるとともに、制御部539の指示に基づいてレンズ退避機構507が撮像レンズ503を複合撮像センサ525への入射光路から退避させる。撮像レンズの焦点位置変更および退避の詳細については後述する。
FIG. 71 is a block diagram of the sixteenth embodiment. Also in the
なお、第16実施例の複合撮像センサは上記のように広い波長域にわたる感度領域を持っており、受光面にはピーク波長の大きく異なる画素が配列される。従って、あるピーク波長による画像のピントを受光面に合わせると、これとピーク波長が大きく異なる画像のピントがずれる。これに対応するため、第16実施例における焦点位置可変撮像レンズは近接フォーカス位置と極近接フォーカス位置との間の焦点位置が可変であるだけでなく、極近接フォーカス位置における波長の差に対応するフォーカス位置の微調節が可能となっている。これによって、極近接フォーカスにおいて肌の撮像を行う場合には波長毎に撮像レンズのフォーカス位置を微調節して各波長域の像の撮像を行う。図71のフォーカス調節機構はこのような微調節も可能な機構となっている。 Note that the composite image sensor of the sixteenth embodiment has a sensitivity region over a wide wavelength range as described above, and pixels having greatly different peak wavelengths are arranged on the light receiving surface. Accordingly, when the image of a certain peak wavelength is focused on the light receiving surface, the image having a greatly different peak wavelength is shifted from the focus. In order to cope with this, the focus position variable imaging lens in the sixteenth embodiment not only has a variable focus position between the close focus position and the close proximity focus position but also corresponds to a wavelength difference at the close focus position. Fine adjustment of the focus position is possible. As a result, when skin imaging is performed in the close proximity focus, the focus position of the imaging lens is finely adjusted for each wavelength, and an image in each wavelength region is captured. The focus adjustment mechanism in FIG. 71 is a mechanism capable of such fine adjustment.
また、上記のようにして波長毎に像のフォーカス位置を変えた場合、複合撮像センサ525の受光面における倍率が変化する。これに対処するため、第16実施例では、図71に示すように、倍率補正値記憶部509が設けられており、画像処理部53は、フォーカス位置の微調節があった場合には倍率補正値記憶部509から補正値を読み出して倍率補正を行う。そして異なる波長の画像による補間はこのような倍率補正が施された画像を元に行われる。フォーカスの微調整と倍率補正の詳細については後述する。
When the focus position of the image is changed for each wavelength as described above, the magnification on the light receiving surface of the
図72は、携帯電話において実施される本発明の第16実施例におけるCIGS撮像センサのフィルタの分光透過特性および撮像センサ光源部のピーク波長を説明するためのグラフである。図72におけるCIGS撮像センサ425の分光感度101、水の吸光度特性103、酸化ヘモグロビンの吸光度特性105および還元ヘモグロビンの吸光度特性107は、それぞれ図68におけるものと共通である。図72では、さらに、酸化亜鉛を用いた紫外光センサの分光感度511が図示されており、CIGS撮像センサ25の分光感度(量子効率)101との組合せによりUVC領域の240nm近辺から1300nmを超える赤外に渡り連続した広い感度域を持つことになる。
FIG. 72 is a graph for explaining the spectral transmission characteristics of the filter of the CIGS image sensor and the peak wavelength of the image sensor light source section in the sixteenth embodiment of the present invention implemented in a mobile phone. The
さらに、図72では、ガラスの撮像レンズ503の分光透過率513が図示されており、撮像レンズ503の分光透過率513がUVB領域に入る320nm前後で落ちていることがわかる。このことは、撮像レンズ503がUVB領域を含む短波長側をカットするローパスフィルタとして機能していることを意味し、このような撮像レンズ503の分光透過率と酸化亜鉛を用いた紫外光センサの分光感度511の合成により、撮像レンズ503が複合撮像センサ525の光路中にあるときは、紫外光センサがUVA領域の紫外線を選択的に受光することになる。このため、図72の第16実施例では、図68の第15実施例におけるUVA領域のバンドパスフィルタ409を設ける必要がない。このようにして、第16実施例の複合撮像センサ525における紫外光センサは、撮像レンズ503が光路から退避させられているときその分光感度511に従ってUVAおよびUVB領域の太陽光紫外線を受光し、撮像レンズ503が光路内にあるときは、図68の実施例15におけるバンドバスフィルタ409とほぼ同様のUVAの波長域の紫外線を受光することになる。このとき、UVAの波長域の検出は、第15実施例の場合と同様、紫外線光源を用いた顔の画像の撮像の場合の他、太陽光に含まれるUVA領域の紫外線の検出にも有用である。
Further, in FIG. 72, the
図72の第16実施例は、以上の点を除き図68の第15実施例と共通の構成なので同じ部分に同じ番号を付し、詳細な説明は省略する。要点だけを述べると、赤外から赤にかけてのバンドパスフィルタ109、113および201並びにそれぞれの光源のLED111、115および203、さらには540nmをピーク波長とする緑領域のバンドパスフィルタ209および440nmをピーク波長とする青領域のバンドパスフィルタ407は図68の第15実施例と共通である。
The sixteenth embodiment shown in FIG. 72 has the same configuration as that of the fifteenth embodiment shown in FIG. 68 except for the above points. To describe only the main points,
図73は、第16実施例における複合撮像センサ525のカラーフィルタ配列の例である。図73の例においては、ピーク波長440nmの青透過フィルタB11およびB33、ピーク波長960nmの赤外透過フィルタIR12、IR14、IR32およびIR34、ピーク波長660nmの赤透過フィルタR13およびR31、ピーク波長540nmの緑透過フィルタG21、G23、G41およびG43、並びにピーク波長805nmの赤外透過フィルタIRref22、IRref24、IRref42およびIRref44が図示のように配列され、これら12画素を一つの単位として繰り返す配列となっている。これらは、それぞれ図72におけるバンドパスフィルタ407、バンドパスフィルタ109、バンドパスフィルタ201、バンドパスフィルタ209およびバンドパスフィルタ113に対応する。さらに、図73においてカッコ内で示すように、上記の全てのフィルタに対応する位置の画素において紫外線が受光される。
FIG. 73 is an example of a color filter array of the
図74は、第16実施例における退避可能焦点位置可変撮像レンズ503および複合撮像センサ525の模式断面図であり、図73で示したような紫外線の受光を可能とする構成を説明するものである。なお、図73においては、簡単のため、図73の赤外透過フィルタIR12および赤透過フィルタR13に対応する画素部分のみを図示しているが、複合撮像センサ525の他の部分も同様の構成である。
FIG. 74 is a schematic cross-sectional view of the retractable focus position
複合撮像センサ525は、半導体基板551上に下地金属553および555を介してCIGSセンサ557および559が設けられている。そしてこれらCIGSセンサ557および559の出力は、バッファ層561を介して設けられた酸化亜鉛層等よりなる透明電極563、並びに半導体基板551に設けられたVIA電極565および567によってそれぞれ取り出すことができる。そして、透明電極563上に設けられた赤外透過フィルタIR12および赤透過フィルタR13により、CIGSセンサ557および559はそれぞれ赤外画素情報および赤画素情報を出力することになる。
In the
複合撮像センサ525は以上のような構成のCIGS撮像センサの上に酸化亜鉛を用いた紫外光センサを積層したものである。具体的には赤外透過フィルタIR12および赤透過フィルタR13等からなるカラーフィルタ上に透明絶縁基板569が配され、その上に酸化亜鉛からなる紫外光センサ571および573が設けられている。紫外光センサ571および573の出力は、櫛型電極575および577によってそれぞれ取り出すことができる。また、紫外光センサ571および573はパッシベーション絶縁層579によって覆われている。なお、酸化亜鉛層は可視および赤外において透明なのでCIGSセンサ557および559が受光する波長域の光はそれぞれ到達可能である。
The
以上のような複合撮像センサ525に対し、ガラスの撮像レンズ503を通して光が入射する時は、上記のように撮像レンズ503がローパスフィルタとして機能してUVB領域の紫外線をカットするので紫外光センサ571および573はUVA領域の紫外線を選択的に受光することになる。一方、撮像レンズ503が入射光路から退避しているときは、紫外光センサ571および573はその分光感度に従ってUVAからUVB領域の紫外線を広く受光する。なお、このとき紫外光センサ571および573への結像機能が失われているが、太陽光による紫外線測定には支障がなく、むしろ全天からの散乱光を測定する上では好都合である。また、複合撮像センサ525の出力を肌接近の検知または脈波検知等に用いる場合においても、原則として結像の必要がないので、上記のように撮像レンズ503が退避している状態でもこれらの検知に支障はない。
When light is incident on the
以上のようにして、図74図示の場合、複合撮像センサ525におけるCIGSセンサ557および559は、入射光581および583に基づき、それぞれ赤外および赤の情報を出力するとともに、これらの画素に対応する部分に設けられた紫外光センサ571および573は、入射光581および583に基づき、ともに紫外線情報を出力することができる。
As described above, in the case shown in FIG. 74, the
図75は、図71の第16実施例における制御部539の動作のフローチャートである。フローは、携帯電話501の操作部9による主電源のオンでスタートし、ステップS672で初期立上および各部機能チェックを行うとともに表示部5における画面表示を開始する。次いでステップS674では、複合撮像センサを活性化するとともにステップS676で撮像レンズ503の退避を指示し、UVインデックスの測定に備える。次いで、ステップS678において850nmのLEDを点灯させるとともに、ステップS680で他の940nmLED、660nmLEDおよび370nmLEDは消灯状態とする。なお、これらのLEDが元々消灯状態にあるときはここでは何もしない。これらによって複合撮像センサ525および撮像センサ光源部427が近接センサとして機能するようになる。
FIG. 75 is a flowchart of the operation of the
次のステップS682のバックライト調整処理は、図48の第9実施例におけるステップS456からステップS462ならびにステップS466とステップS468をまとめたものであり所定時間の無操作状態の検知の有無によるバックライトの点灯と消灯および撮像センサの活性化と不活性化の切換および撮像センサ出力による表示バックライトの調整を行うものである。 The backlight adjustment process in the next step S682 is a combination of steps S456 to S462 and steps S466 and S468 in the ninth embodiment of FIG. 48, and the backlight adjustment process is performed depending on whether or not a non-operation state is detected for a predetermined time. The display backlight is adjusted by turning on and off, switching between activation and deactivation of the image sensor, and output of the image sensor.
次いでステップS684では、複合撮像センサ525における紫外光センサの出力を読み出すとともにUVインデックスの演算を行いステップS686に移行する。ステップS686では演算されたUVインデックスが所定以上であるかどうかのチェックを行い、所定以上であれば、ステップS688に進み、演算されたUVインデックスを表示部5に表示するとともに、後に肌水分との対比表示のためにこれを記憶する。そしてステップS690において肌水分の測定を勧告する表示を表示部5において行いステップS692に移行する。一方、ステップS686において所定以上のUVインデックスが検知されなかったときはステップS694に移行し、手動でUV測定を行う操作があったかどうかチェックする。そしてこの操作が検知されると、UVインデックスが所定以下であってもステップS688に移行する。また、ステップS694において手動UV測定操作が検知されなかったときは直ちにステップS692に移行する。
Next, in step S684, the output of the ultraviolet light sensor in the
ステップS692は、通話/操作処理であり、着信または発信に基づいて通話を行うとともにその際の肌近接または手動操作に基づいて肌水分や肌撮影を行うための処理である。その詳細は後述する。また、次のステップS696におけるバックライト復活/肌水分等表示処理は通話が終わったあとの肌水分、肌画像およびUVインデックスの表示等を行う処理であり、その詳細は後述する。次いで、ステップS698では、認証の必要な操作が行われたかどうかチェックし、該当する操作が検知された時はステップS700に進み、撮像レンズ503を複合撮像センサ525の入射光路に挿入する指示を行ってステップS702の親指上弱印象郎処理に以降する。その詳細は図65における第14実施例のフローに準じて理解することができる。そしてステップS702の処理が完了するとステップS704に進み、撮像レンズ525を退避される指示を行ってステップS706に移行する。一方、ステップS698で認証を要する操作が検知されなかった時は、直ちにステップS706に移行する。
Step S692 is a call / operation process, which is a process for performing a call based on an incoming call or a call, and performing skin moisture and skin photographing based on the skin proximity or manual operation at that time. Details thereof will be described later. Further, the backlight restoration / skin moisture display processing in the next step S696 is processing for displaying the skin moisture, skin image, and UV index after the call is finished, and details thereof will be described later. Next, in step S698, it is checked whether an operation that requires authentication has been performed. If a corresponding operation is detected, the process proceeds to step S700, and an instruction to insert the
ステップS706では、操作部9によって主電源がオフされたかどうかをチェックしており、主電源オフが検知されなければステップS676に戻り、以下、主電源がオフされない限り、ステップS676からステップS706を繰り返して種々の状況に対応する。一方、ステップS706で主電源のオフが検知されたときは、直ちにフローを終了する。
In step S706, it is checked whether or not the main power supply is turned off by the
図76は、図75のステップS692における通話/操作処理の詳細を示すフローチャートである。その内容は、図64に示した第14実施例と共通するところが多いので対応する部分には同じステップ番号を付し、必要のない限り説明を省略するとともに図63と異なっている部分を太字で示す。図76に明らかなように、第16実施例では、ステップS452のバックライト復活/通話開始処理を経ると、ステップS712においてテレビ電話かどうかのチェックを行う。そしてテレビ電話であればステップS714に進み、撮像レンズ503の挿入を指示してステップS612に移行する。
FIG. 76 is a flowchart showing details of the call / operation processing in step S692 of FIG. The contents are in common with the fourteenth embodiment shown in FIG. 64, so the corresponding parts are given the same step numbers, the explanation is omitted unless necessary, and the parts different from FIG. 63 are in bold. Show. As is apparent from FIG. 76, in the sixteenth embodiment, after the backlight restoration / call start processing in step S452, it is checked in step S712 whether it is a videophone. If it is a videophone, the process proceeds to step S714 to instruct insertion of the
また、近接検知または手動操作に基づいて肌水分の測定に入る場合、まずステップS716で撮像レンズ503の挿入を指示する。そしてステップS718の肌水分測定/肌撮影処理に入る。その詳細は後述する。さらにステップS462で通話中であることの検知がない場合はフローを終了する前にステップ720に進み撮像レンズ503の退避を指示する。なお、撮像レンズ503が元々退避している状態であるときは、ここでは何もせず、フローを終了する。以上のように、図76では、近接または極近接において撮像が必要なときには撮像レンズ503の挿入を指示するとともに撮像が終わると撮像レンズ503の退避を指示する機能が付加されている。
When skin moisture measurement is started based on proximity detection or manual operation, first, in step S716, the insertion of the
図77は、図76のステップS718における肌水分測定/肌撮影処理の詳細を示すフローチャートである。その内容は、図49に示した第9実施例と共通するところが多いので、対応する部分には同じステップ番号を付し、必要のない限り説明を省略するとともに図49と異なっている部分を太字で示す。図77に明らかなように、第16実施例では、ステップS722において、940nm、850nm、660nmおよび370nmのLEDを点灯させる。また、ステップS724では、紫外光センサを含む複合撮像センサの画像読出しを行う。さらに、ステップS726においては、970nm、805nm、660nmおよび365nm画素の画像をそれぞれ抽出する。 FIG. 77 is a flowchart showing details of the skin moisture measurement / skin imaging process in step S718 of FIG. Since the contents are in common with the ninth embodiment shown in FIG. 49, the corresponding steps are denoted by the same step numbers, the description is omitted unless necessary, and the portions different from FIG. 49 are bolded. It shows with. As is apparent from FIG. 77, in the sixteenth embodiment, LEDs of 940 nm, 850 nm, 660 nm, and 370 nm are turned on in step S722. In step S724, image reading of the composite imaging sensor including the ultraviolet light sensor is performed. Furthermore, in step S726, images of 970 nm, 805 nm, 660 nm, and 365 nm pixels are extracted, respectively.
また、ステップS728では、970nm画像のコントラストが805nm画像のコントラストより大きいかどうかがチェックされる。これによって、ステップS728にもステップS490にも該当しない場合は、波長805nmの近傍の波長の光による像のピントが結像画像CIGS撮像センサに合っている可能性が高いことになる。その場合はステップS732の倍率補正/各画素画像補間処理に入る。その詳細は後述する。次いで、ステップS734では、970nm画像、805nm画像および660nm画像に基づく頬の肌の「カラー」可視化画像および365nm画像に基づく紫外画像の作成および記憶処理が行われる。 In step S728, it is checked whether the contrast of the 970 nm image is greater than the contrast of the 805 nm image. As a result, if neither step S728 nor step S490 is applicable, there is a high possibility that the focus of the image by the light having a wavelength near 805 nm matches the formed image CIGS image sensor. In that case, the magnification correction / pixel image interpolation processing of step S732 is entered. Details thereof will be described later. Next, in step S734, a “color” visualization image of the cheek skin based on the 970 nm image, the 805 nm image, and the 660 nm image and an ultraviolet image based on the 365 nm image are created and stored.
図78は、図77のステップS732における倍率補正/各画素画像補間処理の詳細を示すフローチャートである。フローがスタートすると、まずステップS742でピントが合っていると考えられる805nm画像が記憶される。次いで、ステップS744において、予めわかっている806nm画像と970画像のピント位置の差の補正量だけ撮像レンズ503のフォーカス位置を微調整する。そしてステップS746において、フォーカス位置微調整後の複合撮像センサ525の出力から970nm画素の画像を再抽出する。さらに、ステップS748において、倍率補正値記憶部509に記憶されている補正値に基づき、フォーカス調整による倍率変化を補正する。以上の過程を経て、ステップS750では倍率補正後の970画像を記憶する。
FIG. 78 is a flowchart showing details of the magnification correction / pixel image interpolation processing in step S732 of FIG. When the flow starts, first, an 805 nm image that is considered to be in focus is stored in step S742. Next, in step S744, the focus position of the
同様にして、ステップS752において、予めわかっている806nm画像と660画像のピント位置の差の補正量だけ撮像レンズ503のフォーカス位置を微調整する。その際の基準は、図77のステップS728およびステップS490のチェックを経て確認された805画像のピント位置である。そしてステップS754において、フォーカス位置微調整後の複合撮像センサ525の出力から660nm画素の画像を再抽出する。さらに、ステップS756において、倍率補正値記憶部509に記憶されている補正値に基づき、フォーカス調整による倍率変化を補正する。以上の過程を経て、ステップS758では倍率補正後の660画像を記憶する。
Similarly, in step S752, the focus position of the
以上の処理を経て、ステップS760では、805nm画像、倍率補正された970nm画像および倍率補正された660nm画像に基づきそれぞれの波長の画像の補間処理を行う。そして、ステップS762では補間805nm画像、補間970nm画像および補間660nm画像を可視化画像用として記憶する。
Through the above processing, in step S760, an interpolation process is performed on each wavelength image based on the 805 nm image, the magnification-corrected 970 nm image, and the magnification-corrected 660 nm image. In step S762, the
次いで、ステップS764では、予めわかっている806nm画像と365画像のピント位置の差の補正量だけ撮像レンズ503のフォーカス位置を微調整する。その際の基準も、図77のステップS728およびステップS490のチェックを経て確認された805画像のピント位置である。そしてステップS768において、フォーカス位置微調整後の複合撮像センサ525における紫外光センサの出力から365nm画素の画像を再抽出する。さらに、ステップS782において、倍率補正後の365画像を記憶してフローを終了する。紫外線画像は元々全ての画素の情報があるので補間は不要である。以上のようにして図78のフローによって得られた補間805nm画像、補間970nm画像および補間660nm画像、並びに紫外線画像は、図77のステップS734における頬肌可視化・紫外画像作成/記憶処理によって画像化されて記憶される。
In step S764, the focus position of the
図79は、図75のステップS696におけるバックライト復活/肌水分等表示処理の詳細を示すフローチャートである。その内容は、図50に示した第9実施例と共通するところが多いので、対応する部分には同じステップ番号を付し、必要のない限り説明を省略するとともに図50と異なっている部分を太字で示す。図79に明らかなように、第16実施例では、ステップS792において、肌水分やエラーメッセージの記憶とともに図75のステップS688で記憶されたUVインデックスの記憶の有無をチェックする。そしてそのいずれかの記憶があれば、ステップS516に移行する。 FIG. 79 is a flowchart showing details of the backlight restoration / skin moisture display processing in step S696 of FIG. Since the contents are in common with the ninth embodiment shown in FIG. 50, the corresponding steps are denoted by the same step numbers, the description is omitted unless necessary, and the portions different from FIG. 50 are bolded. Indicated by As is apparent from FIG. 79, in the sixteenth embodiment, in step S792, the presence or absence of the UV index stored in step S688 of FIG. 75 is checked together with the storage of skin moisture and error messages. If there is any of those memories, the process proceeds to step S516.
また、ステップS794では、肌水分やエラーメッセージとともにUVインデックスの記憶があればこれも読み出す。同に、ステップS796においても、肌水分やエラーメッセージとともにUVインデックスの記憶が読み出されていればこれを表示する。これらの機能によって、図75のステップS686において所定以上のUVインデックスが検知されたとき、勧告に従って肌水分の測定を行えば、図70の表示529のようにUVインデックスと肌水分が同時に表示部5に自動表示され、紫外線強度と肌水分をスキンケアの情報として対比して提供することができる。また、上記に関連し、ステップS530では、エラーメッセージまたは肌水分の表示とともにUVインデックスの表示が同時に表示終了となる。 In step S794, if there is a UV index stored together with skin moisture and an error message, it is also read out. Similarly, in step S796, if the stored UV index is read together with skin moisture and an error message, this is displayed. With these functions, when a skin index is measured according to the recommendation when a UV index of a predetermined value or more is detected in step S686 in FIG. Is automatically displayed, and the UV intensity and skin moisture can be provided as skin care information. In relation to the above, in step S530, the display of the UV index is terminated simultaneously with the display of the error message or skin moisture.
一方、肌画像については、ステップS798において、可視化画像とともに紫外線画像も記憶さえているかどうかチェックされ、すくなくとも一方が記憶されていればステップS534に以降する。また、これに関連して、ステップS800では、頬の可視化画像および紫外線画像のうち存在するもの全てが読み出されるとともに、ステップS802でこれらが表示される。 On the other hand, for the skin image, in step S798, it is checked whether the ultraviolet image is stored together with the visualized image. If at least one is stored, the process proceeds to step S534. In relation to this, in step S800, all existing cheek visualization images and ultraviolet images are read out, and these are displayed in step S802.
上記本発明の種々の特徴は上記の実施例に限るものではなく、その利点が享受できる限り種々の他の実施例において活用可能である。例えば、UVインデックス表示は肌水分測定前に記憶したものによる場合に限らず、肌水分測定後に自動的に再測定したものを利用してもよい。また、肌水分の測定は携帯電話が頬に近接したとき毎回行うものに限らず、例えばUVインデックスが所定以上ある場合に限り測定するようにしてもよい。さらに、表示された肌水分はUVインデックスは、測定時点の表示に限らず、これらを累積記憶しておき、統計的見地から両者の相関を表示するようにしてもよい。 The various features of the present invention are not limited to the above-described embodiments, but can be utilized in various other embodiments as long as the advantages can be enjoyed. For example, the UV index display is not limited to the one stored before the skin moisture measurement, but may be automatically remeasured after the skin moisture measurement. Further, the measurement of skin moisture is not limited to the measurement performed every time the mobile phone comes close to the cheek, and may be measured only when the UV index is equal to or greater than a predetermined value, for example. Furthermore, the displayed skin moisture is not limited to the display at the time of measurement, and the UV index may be accumulated and stored, and the correlation between the two may be displayed from a statistical standpoint.
なお、上記において、記憶補正値に基づく波長毎の画像の補正については、フォーカス位置の微調整にともなう倍率変化の補正の場合について説明したが、上記特徴はこれに限るものではない。例えば、上記の特徴のように撮像センサが広い波長域をカバーしている場合、各波長毎の収差情報を予め記憶しておき、この収差情報に基づいて各周波数による画像を補正することで異なる波長の像の間の収差を電子的に補正するよう構成してもよい。 In the above description, the correction of the image for each wavelength based on the stored correction value has been described with respect to the correction of the change in magnification accompanying the fine adjustment of the focus position. However, the above feature is not limited thereto. For example, when the imaging sensor covers a wide wavelength range as described above, the aberration information for each wavelength is stored in advance, and the difference is obtained by correcting the image at each frequency based on this aberration information. It may be configured to electronically correct aberrations between wavelength images.
また、上記本発明の種々の特徴は、紫外線情報と肌水分や肌画像などの肌情報が共通の撮像センサから提供されるものとして開示され、このことはいくつかの特徴において重要度の高い事項ではあるが、特徴によっては、説明される利点を継承する限りにおいて、必要に応じ、紫外線情報の情報源と肌情報の情報源を別のセンサとすることを妨げるものではない。 In addition, the various features of the present invention are disclosed as that UV information and skin information such as skin moisture and skin images are provided from a common imaging sensor, which is a matter of high importance in some features. However, depending on the characteristics, as long as the advantages described are inherited, it does not prevent the information source of ultraviolet information and the information source of skin information from being used as separate sensors as necessary.
本発明は、受光装置として有用であり、携帯電話等のモバイル機器に適用することができる。 The present invention is useful as a light receiving device and can be applied to a mobile device such as a mobile phone.
425、525 光電変換部
439、539 処理部
5 表示部
557、559 受光部
571、573 紫外光センサ
403、503 撮像レンズ
509 記憶部
53 処理部
425、525 紫外情報取得手段
425、525 肌情報取得手段
425, 525
Claims (19)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010013170A JP2011149901A (en) | 2010-01-25 | 2010-01-25 | Light receiving device and mobile apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010013170A JP2011149901A (en) | 2010-01-25 | 2010-01-25 | Light receiving device and mobile apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011149901A true JP2011149901A (en) | 2011-08-04 |
JP2011149901A5 JP2011149901A5 (en) | 2013-01-31 |
Family
ID=44537005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010013170A Pending JP2011149901A (en) | 2010-01-25 | 2010-01-25 | Light receiving device and mobile apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011149901A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027340A1 (en) * | 2011-08-24 | 2013-02-28 | パナソニック株式会社 | Imaging device |
JP2013148442A (en) * | 2012-01-19 | 2013-08-01 | National Institute Of Advanced Industrial & Technology | Sense circuit, operating method of the same, and photoelectric conversion array |
JP2015087494A (en) * | 2013-10-30 | 2015-05-07 | キヤノン株式会社 | Imaging device |
EP2989972A1 (en) * | 2014-08-26 | 2016-03-02 | Seiko Epson Corporation | Biological information acquisition device and electronic device |
JP2016067393A (en) * | 2014-09-26 | 2016-05-09 | セイコーエプソン株式会社 | Light source system for biometry, and measuring apparatus |
WO2016174778A1 (en) * | 2015-04-30 | 2016-11-03 | オリンパス株式会社 | Imaging device, image processing device, and image processing method |
WO2017098830A1 (en) * | 2015-12-11 | 2017-06-15 | ソニー株式会社 | Solid-state image capture element, image capture device, and method for manufacturing solid-state image capture element |
JP2017157803A (en) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | Imaging apparatus |
WO2019124039A1 (en) * | 2017-12-20 | 2019-06-27 | シャープ株式会社 | Pulse wave detecting device |
JP2020072299A (en) * | 2018-10-29 | 2020-05-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Image processing device, imaging device, image processing method, and image processing program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004329928A (en) * | 2003-05-09 | 2004-11-25 | Samsung Electronics Co Ltd | Inserting into ear type biomedical signal measuring device and biomedical signal measuring method using this |
JP2009042870A (en) * | 2007-08-07 | 2009-02-26 | Hitachi Ltd | Biometrics device and information terminal |
-
2010
- 2010-01-25 JP JP2010013170A patent/JP2011149901A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004329928A (en) * | 2003-05-09 | 2004-11-25 | Samsung Electronics Co Ltd | Inserting into ear type biomedical signal measuring device and biomedical signal measuring method using this |
JP2009042870A (en) * | 2007-08-07 | 2009-02-26 | Hitachi Ltd | Biometrics device and information terminal |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013027340A1 (en) * | 2011-08-24 | 2013-02-28 | パナソニック株式会社 | Imaging device |
US9571770B2 (en) | 2012-01-19 | 2017-02-14 | National Institute Of Advanced Industrial Science And Technology | Sense circuit and method of operation thereof and photoelectric conversion array connected to inverting input of sense circuit |
JP2013148442A (en) * | 2012-01-19 | 2013-08-01 | National Institute Of Advanced Industrial & Technology | Sense circuit, operating method of the same, and photoelectric conversion array |
JP2015087494A (en) * | 2013-10-30 | 2015-05-07 | キヤノン株式会社 | Imaging device |
US9906705B2 (en) | 2013-10-30 | 2018-02-27 | Canon Kabushiki Kaisha | Image pickup apparatus |
US10265003B2 (en) | 2014-08-26 | 2019-04-23 | Seiko Epson Corporation | Biological information acquisition device and electronic device |
CN105380663B (en) * | 2014-08-26 | 2020-05-19 | 精工爱普生株式会社 | Biological information acquisition device and electronic apparatus |
EP2989972A1 (en) * | 2014-08-26 | 2016-03-02 | Seiko Epson Corporation | Biological information acquisition device and electronic device |
CN105380663A (en) * | 2014-08-26 | 2016-03-09 | 精工爱普生株式会社 | Biological information acquisition device and electronic device |
JP2016067393A (en) * | 2014-09-26 | 2016-05-09 | セイコーエプソン株式会社 | Light source system for biometry, and measuring apparatus |
JPWO2016174778A1 (en) * | 2015-04-30 | 2018-02-22 | オリンパス株式会社 | Imaging apparatus, image processing apparatus, and image processing method |
WO2016174778A1 (en) * | 2015-04-30 | 2016-11-03 | オリンパス株式会社 | Imaging device, image processing device, and image processing method |
WO2017098830A1 (en) * | 2015-12-11 | 2017-06-15 | ソニー株式会社 | Solid-state image capture element, image capture device, and method for manufacturing solid-state image capture element |
US10715751B2 (en) | 2015-12-11 | 2020-07-14 | Sony Corporation | Solid-state image pickup element, image pickup device, and method of manufacturing solid-state image pickup element |
US11159751B2 (en) | 2015-12-11 | 2021-10-26 | Sony Semiconductor Solutions Corporation | Solid-state image pickup element, image pickup device, and method of manufacturing solid-state image pickup element |
US11310444B2 (en) | 2015-12-11 | 2022-04-19 | Sony Semiconductor Solutions Corporation | Solid-state image pickup element, image pickup device, and method of manufacturing solid-state image pickup element |
JP2017157803A (en) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | Imaging apparatus |
WO2019124039A1 (en) * | 2017-12-20 | 2019-06-27 | シャープ株式会社 | Pulse wave detecting device |
JP2020072299A (en) * | 2018-10-29 | 2020-05-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Image processing device, imaging device, image processing method, and image processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011149901A (en) | Light receiving device and mobile apparatus | |
JP2011147469A (en) | Biological information acquisition device | |
JP2011151596A (en) | Biometrics authentication device and mobile device | |
JP5452137B2 (en) | Travel information recording device for vehicle | |
WO2010021342A2 (en) | Camera | |
KR102652492B1 (en) | Solid-state imaging devices, electronic devices | |
JP4259541B2 (en) | Panorama imaging device | |
WO2017169479A1 (en) | Image capturing element and image capturing device | |
JP4992481B2 (en) | Focus detection apparatus and imaging apparatus | |
JPWO2018212175A1 (en) | Photoelectric conversion device and imaging device | |
KR20200094741A (en) | Imaging apparatus, imaging method and imaging element | |
WO2012117617A1 (en) | 3d imaging device | |
WO2020149207A1 (en) | Imaging device and electronic equipment | |
JP2009267566A (en) | Image pickup apparatus | |
KR20230017768A (en) | Imaging element and imaging device | |
WO2020036054A1 (en) | Solid-state imaging element and electronic device | |
JP5815072B2 (en) | Vehicle monitoring device | |
JP2010227200A (en) | Endoscope | |
JP2016046772A (en) | On-vehicle camera | |
CN113412434A (en) | Light source unit, light source device, and distance measuring device | |
JP2009153074A (en) | Image photographing apparatus | |
JP5537870B2 (en) | Vehicle monitoring device | |
JP2010233857A (en) | Endoscope | |
JP7484904B2 (en) | Image pickup device, signal processing device, signal processing method, program, and image pickup device | |
JP2019080141A (en) | Solid-state imaging device and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140610 |