JP4864632B2 - 画像入力装置、画像入力方法、個人認証装置及び電子機器 - Google Patents

画像入力装置、画像入力方法、個人認証装置及び電子機器 Download PDF

Info

Publication number
JP4864632B2
JP4864632B2 JP2006278423A JP2006278423A JP4864632B2 JP 4864632 B2 JP4864632 B2 JP 4864632B2 JP 2006278423 A JP2006278423 A JP 2006278423A JP 2006278423 A JP2006278423 A JP 2006278423A JP 4864632 B2 JP4864632 B2 JP 4864632B2
Authority
JP
Japan
Prior art keywords
image
subject
living body
lens
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006278423A
Other languages
English (en)
Other versions
JP2008097327A (ja
Inventor
展弘 森田
祐治 山中
敏之 井関
利通 名須川
信一 小菅
博明 高橋
彰 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006278423A priority Critical patent/JP4864632B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to PCT/JP2007/070025 priority patent/WO2008044781A1/en
Priority to EP07829760A priority patent/EP2054850A4/en
Priority to KR1020087013841A priority patent/KR101027455B1/ko
Priority to US12/096,625 priority patent/US8085312B2/en
Priority to CNA2007800015522A priority patent/CN101361095A/zh
Priority to TW096137707A priority patent/TWI365417B/zh
Publication of JP2008097327A publication Critical patent/JP2008097327A/ja
Application granted granted Critical
Publication of JP4864632B2 publication Critical patent/JP4864632B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、生体内部の被写体（例えば人の指の静脈や皮下にある真皮の指紋）の画像を入力する目的に好適な画像入力装置及び方法と、そのような被写体の画像を利用する個人認証装置に関する。
また、複眼光学系を用いた薄型の画像入力装置が特許文献４，５及び非特許文献１に記載されている。非特許文献１には、指紋認証システムへの適用を目的とした指紋入力への応用例も記載されている。
特開２００４−２７２８１号公報 特開２００５−９２３７５号公報 特開平７−２１３７３号公報 特許第３７０５７６６号公報 特開２００１−６１１０９号公報 生源寺類ほか，「複眼光学系を用いた薄型画像入力装置の開発」，映像情報メディア学会誌 Vol.57，No.9, pp.1135−1141（2003）
特許文献１，２，３に記載されているような個人認証装置は、静脈パターンの画像入力に単眼光学系を用いているため被写体距離や撮像距離が制限され、薄型化に限界がある。個人認証装置を携帯電話、小型情報端末（ＰＤＡ等）、ノートパソコンといった電子機器に搭載するためには、個人認証装置の薄型化が求められている。
個人認証装置の薄型化のためには、指の静脈や真皮指紋等の生体内部の被写体の像を入力するための画像入力装置の薄型化が最も重要である。画像入力装置の薄型化には、特許文献４，５や非特許文献１に記載されているような複眼光学系を応用すると一般に有利であろう。しかし、個人認証のための画像入力装置としては、単に薄型化できればよいという訳ではなく、個人認証に利用するための生体内部の被写体像を品質の良い画像として入力できるものでなければならない。
よって、本発明の主たる目的は、指の静脈や真皮指紋等の生体内部の被写体像を入力する用途に好適で薄型化が容易な新規な画像入力装置と、それを用いた個人認証装置を提供することにある。
請求項１記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を、像面側に正のパワーを持つ面を有し、かつ、レンズのＭＴＦが高い空間周波数帯域まで非ゼロとなる特性を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記撮像手段により撮像された複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項１記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置であって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記撮像手段により撮像された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項２記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記撮像手段により撮像された複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする。
請求項３記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は請求項１又は２記載の発明に係る画像入力装置であって、前記光源により照射される近赤外光が含まれる所定の波長域の光のみを透過させる光学的バンドパスフィルタが、前記レンズアレイの前記生体側又は像面側に配設されていることを特徴とする。
請求項４記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記光源を発光又は消光させる制御を行う手段と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項５記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記光源を発光又は消光させる制御を行う手段と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする。
請求項６記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に対し近赤外光を照射する光源と、
前記光源に対し、前記生体に照射される近赤外光の強度を正弦波状に変化させる制御を行う手段と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記光源により前記生体に照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項７記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は、
前記生体に近赤外光を照射する光源と、
前記光源に対し、前記生体に照射される近赤外光の強度を正弦波状に変化させる制御を行う手段と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
前記光源により前記生体に照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする。
請求項８記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は請求項１，２，４，５，６，７のいずれか１項記載の発明に係る画像入力装置であって、前記距離検出手段は、前記撮像手段により撮像された複眼画像における個眼画像間の視差に基づいて前記距離を検出することを特徴とする。
請求項９記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は請求項１，２，４，５，６，７のいずれか１項記載の発明に係る画像入力装置であって、前記レンズアレイの前記生体と対向する側に、前記被写体と前記レンズアレイとの距離を調整するための透明平板が設けられたことを特徴とする。
請求項１０記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力装置を提供するものであって、該画像入力装置は請求項１，２，４，５，６，７記載の発明に係る画像入力装置であって、前記レンズアレイの前記複数のレンズの相互間の像面側における光線クロストークを防止する遮光手段を有することを特徴とする。
請求項１１記載の発明は、個人認証装置を提供するものであって、該個人認証装置は請求項１乃至１０のいずれか１項記載の発明に係る画像入力装置と、前記画像入力装置により入力された被写体の画像に基づいて個人認証処理を行う認証処理手段とを有することを特徴とする。
請求項１２記載の発明は電子機器を提供するものであって、該電子機器は請求項１１記載の発明に係る個人認証装置を備え、該個人認証装置による個人認証の結果に従って動作が制御されることを特徴とする。
請求項１３記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力方法を提供するものであって、該画像入力方法は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
前記被写体から前記レンズアレイまでの距離を検出し、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記撮像手段により撮像された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
前記再構成する処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項１４記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力方法を提供するものであって、該画像入力方法は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
前記光源を間欠的に発光させ、
前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分が除去された複眼画像を生成し、
前記被写体から前記レンズアレイまでの距離を検出し、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分が除去された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
前記再構成の処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
請求項１５記載の発明は、生体の内部に存在する被写体の画像を入力する画像入力方法を提供するものであって、該画像入力方法は、
前記生体に近赤外光を照射する光源と、
前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
前記光源より照射される近赤外光の強度を正弦波状に変化させ、
前記光源により照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分が除去された複眼画像を生成し、
前記被写体から前記レンズアレイまでの距離を検出し、
予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分が除去された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
前記再構成の処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする。
本発明の画像処理装置によれば、次のような効果が得られる。
（１）撮像光学系（光源、レンズアレイ、撮像素子）が薄型化の容易な構造であるので、全体として薄型化した画像入力装置を実現できる。
（２）生体内部の静脈等による吸収は大きいが、静脈等の存在しない部分では吸収の少ない近赤外光を光源により生体に照射するため、静脈等の鮮明な像を撮像素子に結像させることができる。また、複眼光学系では、レンズアレイにおけるレンズの正のパワーを持つ面（例えば平凸レンズの凸面）を被写体側に向けるのが通常であるが、本発明では、レンズアレイのレンズとして、被写体側に０又は負のパワーを持つ面を有し、かつ、像面側に正のパワーを持つ面を有するレンズ（例えば像面側に凸面を向けた平凸レンズ）を用いるため、被写体距離が小さい条件でも、被写体の見込み角（レンズへの光線の入射角）の違いに伴うＭＴＦの変化が小さくなり、また歪曲や湾曲といった面内誤差も抑えられる。さらに、皮膚厚みの個人差等によって被写体距離は変動するが、個眼画像間の視差を利用した複眼画像から単一画像の再構成処理は、被写体距離の変動に容易に対応し、解像度低下等を補償することができる。以上より、静脈等、生体内部の被写体の高品質な画像を入力可能になる。
（３）複眼画像に対し各個眼画像毎に、レンズの光学伝達関数データに基づいてレンズによる像劣化の補正処理を施すか、あるいは、複眼画像から再構成された単一画像に対し同様の補正処理を施すことにより、レンズによる像劣化が補正された、より高品質の画像を入力することができる。特に被写体距離に応じて像劣化の補正処理に用いる光学伝達関数データを選択することにより、被写体距離が変動しても高精度の像劣化補正を行うことができるため、被写体距離の違いによる影響を軽減し、入力画像の品質をさらに高めることができる。そして、レンズアレイのレンズとして、被写体側に０又は負のパワーを持つ面を有し、かつ、像面側に正のパワーを持つ面を有するレンズを用いることにより被写体の見込み角（レンズへの光線の入射角）の違いに伴うＭＴＦの変化が抑えられるため、像劣化の補正処理も容易である。
（４）光源による照射される近赤外光が含まれる所定波長域の光のみを透過させる光学的バンドパスフィルタを設けることにより、あるいは、光源の変調と演算処理によるバイアス成分除去を行うことにより、光源以外の外部光による影響を受けにくくなり、安定した被写体画像の入力が可能になる。
（５）隣接した個眼画像が被写体の共通部分を共有しなくなるほど被写体がレンズアレイに接近すると、視差を利用した再構成処理ができなくなり等の不都合があるが、被写体距離を調整するための透明平板を設けることにより、そのような不都合を回避することができる。
（６）遮光手段を設けることによりレンズアレイのレンズ相互間の像面側における光線クロストークを防止するため、ゴーストやフレアといったノイズの少ない画像を入力することができる。
本発明の個人認証装置によれば、次のような効果が得られる。
（１）薄型化が容易な画像入力装置を用いるため、電子機器への組み込み用途等に適した薄型の個人認証装置を実現することができる。
（２）静脈等の生体内被写体の像を高品質な画像として入力することができるため、高精度な個人認証を行うことができる。
（３）皮膚厚の個人差や外部光の影響を受けにくいため、安定な個人認証が可能である、等々の効果を得られる。
本発明の個人認証装置を備えた電子機器によれば、個人認証装置は薄型化可能であるため、電子機器の大型化を避けることができる。また、個人認証装置による認証結果に応じて小型情報端末やノートパソコンの電子機器におけるログイン制御等を行うことにより、電子機器に対するセキュリティを向上させることができる。
本発明の画像入力方法によれば、上記画像入力装置で述べたように、静脈等、生体内部の被写体の高品質な画像を入力することができ、また、光源以外の外部光による影響を受けにくくなり安定した被写体画像の入力が可能である。
以下、図面を参照し、本発明の実施の形態について詳細に説明する。ここでは、生体として人の指を想定し、被写体として指の内部の静脈を想定する。そして、静脈の画像を入力し、その静脈パターンの特徴を利用して個人認証を行う場合を想定する。また、以下の説明中で参照される複数の図面において、説明の重複を減らすため、同一の要素又は同様な要素に対し同一の参照番号を用いる。
［第１の実施形態］
図１は本発明の第１の実施形態に係る画像入力装置及び個人認証装置の説明図である。図１において、撮像光学系１００、前処理部１０１、再構成演算部１０２及び後処理部１０３により画像入力装置が構成される。認証演算部１０４と登録データメモリ１０５は、静脈パターンを利用して個人認証処理を行う認証処理手段を構成する。このような認証処理手段及び画像入力装置とから個人認証装置が構成される。
図１において、１は指（生体）を模式的に示している。この撮像光学系１００は、指１の内部の静脈２を被写体として、その像を撮像して入力するものである。撮像光学系１００は、光源６、レンズアレイ３、遮光部材（遮光手段）４、撮像素子（撮像手段）５及び光学的バンドパスフィルタ７から構成される。
レンズアレイ３は被写体像を結像させるためのもので、複数のレンズ３ａがレンズ光軸と略直交する平面内に二次元アレイ配列されたものである。ただし、レンズ３ａを一次元アレイ配列する態様もとり得るものであり、かかる態様も本実施形態に包含される。
本発明によれば、レンズアレイ３の各レンズ３ａは、被写体側に０又は負のパワーを持つ面を有し、像面側（図中、下面側）に正のパワーを持つ面を有するレンズとされる。本実施形態においては、図示のように、レンズ３ａとして像面側に凸面を向けた平凸レンズが用いられる。その凸面は球面でも非球面でもよく、非球面とするとレンズ３ａの光学特性を向上させる設計の自由度が大きくなる。
遮光部材４は、レンズアレイ３の各レンズ３ａを通過した光線の像面上でのクロストークを防止し、ゴーストやフレアなどのノイズ光を抑制するためのものである。本実施形態の遮光部材４は、レンズアレイ３の各レンズ３ａから像面までの高さを持ち、各レンズ３ａに対応した開口部（通し穴）が二次元アレイ配列された構造であり、各開口部は正方形断面形状を有する。なお、遮光手段として、レンズアレイ３の各レンズ３ａに開口部が対応したピンホールアレイでもよいし、各レンズ３ａに対応した開口部が形成された透明平行平板の上面又は下面あるいは上下両面に不透明膜を蒸着等で成膜したものであってもよい。
撮像素子５は、レンズアレイ３の各レンズ３ａにより結像される像（個眼画像）の集合である複眼画像を撮像するための撮像手段であり、具体的には例えば受光素子５ａが二次元アレイ配列されたＣＣＤ撮像素子やＣＭＯＳ撮像素子が用いられる。ここでは、撮像素子５は、受光素子５ａによる光電変換信号のゲインを調整したりアナログ信号からデジタル信号へ変換したりする回路を内蔵し、撮像画像をデジタル画像データとして出力する構成のものとする。なお、撮像素子５は個々の個眼画像を複数画素からなる画像として撮像する。
光源６は、生体による吸収率が低い近赤外光を指（生体）１に照射するものであり、例えば発光ダイオード（ＬＥＤ）である。光源６により指１に照射された近赤外光は、指１の内部の静脈（被写体）２内の還元ヘモグロビンに吸収されるが、静脈２以外の部分では殆ど吸収されることがないため、静脈パターンを透視可能である。この静脈パターンはレンズアレイ３の各レンズ３ａにより撮像素子５の撮像面に複眼画像として結像される。光学的バンドパスフィルタ７は、光源６より照射される近赤外光が含まれる所定の波長域の光のみを透過させるものである。この光学的バンドパスフィルタ７は、光源６以外の光源からのノイズ光の影響を除去するために設けられているものである。ノイズ光の入射を考慮する必要がない場合や、後記の第５の実施形態におけるように画像データの処理によってノイズ光の影響を除去する場合には、光学的バンドパスフィルタ７を省いてもよい。また、光学的バンドパスフィルタ７をレンズアレイ３の像面側、例えば撮像素子５の撮像面上に配置することも可能である。
なお、図１には光源６は１個のみ示されているが、被写体の領域を照明するような配置で複数個設置してもよい。光源６としてレーザダイオード（ＬＤ）を用いてもよい。また、図１では指１をレンズアレイ３と対向しない側の面（図中、上面）から照明するように光源６が配置されている。しかし、光源６より照射された近赤外光は指１の内部であらゆる方向に拡散されるため、指１を側面又は下面から照明するように光源６を配置してもよく、このようにしても静脈像を問題なく撮像可能である。また、光源６の発した近赤外光を指１へ向けて導く光導体を追加してもよい。
撮像素子５は、レンズアレイ３により結像される静脈パターン（被写体像）の複眼画像を撮像し、それをデジタル画像データとして出力する。このデジタル画像データは、前処理部１０１によって前処理を施された後、再構成演算部１０２に転送される。前処理部１０１による前処理では、例えば、複眼画像における遮光部材４による影部分を除いた各個眼画像の領域を抽出し、各個眼画像に対し平滑化もしくは平均化処理によって孤立点等のノイズ成分を除去したり、静脈パターンが含まれる個眼画像を抽出したり、さらには個眼画像に対し静脈パターンを鮮明にするための強調処理を必要に応じて施す。再構成演算部１０２は、前処理後の複眼画像から後述する個眼画像間の視差を利用した再構成演算により単一画像を再構成する。この単一画像データは、後処理部１０３によって再構成ノイズの除去などの後処理を必要に応じて施された後、静脈（被写体）画像データとして認証演算部１０４へ入力される。ここまでが画像入力装置としての動作である。なお、上記の前処理と後処理は再構成処理の前・後処理である。すなわち、前処理部１０１、後処理部１０３は再構成演算部１０２とともに「再構成処理手段」を構成している。
認証演算部１０４においては、入力された静脈画像データより静脈パターンの特徴量を抽出し、その特徴量と、登録データメモリ１０５に記憶されている登録者の静脈パターンの特徴量とを比較することにより個人認証を行う。すなわち、抽出した特徴量と登録者の特徴量との距離が所定値以下ならば、被認証者（指１の持ち主）は登録者本人であると認証されるが、そうでなければ認証を拒否される。このような静脈パターンを利用する個人認証技術自体は公知であるので、これ以上の詳細は省略する。
レンズアレイ３は透明の樹脂やガラス材料で作られ、例えば、リフロー法や面積階調マスク法、研磨法などの加工法で作成され、あるいは、これらの加工法で作製した型を用いた成形加工などにより作製することができる。遮光部材４も樹脂、ガラス、金属などの材料を用いて同様に加工できるが、不透明材料を用いたり透明材料にコーティングを施したりして、光の透過や反射を抑制するようにする。
なお、図１においては、遮光部材４の開口部（通し穴）は、レンズ光軸と略直交する平面内での断面積がレンズ３ａから撮像素子５の撮像面まで均一な形状となっているが、図２に示すように開口部４ａを断面積が撮像面に近づくほど減少するテーパ形状としてもよい。このようなテーパ状の開口部４ａとすると、図２に矢線として示すように、開口部４ａに斜めに入射した光線が開口部内面で撮像素子５の撮像面へ反射されにくくなるため、開口部４ａの内部反射によるフレアやゴーストを効果的に防ぐことができる。また、開口部４ａの大きさに対して遮光壁部材４の必要な高さが大きくなると遮光部材４の加工が困難になる。この場合、加工が容易な高さの遮光部材４を作成し、これを高さ方向に積層し接着した構造とすることができる。図３は、加工が容易な高さの遮光部材４を２段積層する構造を示している。
図４に、撮像光学系１００において撮像される複眼画像のシミュレーション例を示す。図４(a)は複眼画像を生成するための原画像で、図４（ｂ）が複眼画像である。複眼画像における個眼画像間に存在する黒部分は、遮光壁部材４による影である。個眼画像は、レンズアレイ３の各レンズ３ａにより結像される画像であり、レンズ位置に応じて被写体の異なる部分が撮像される。図１において、２ａは１つのレンズ３ａによる視野を表しており個眼画像として観察される領域に相当する。また、２ｂは隣接するレンズ３ａ間で視野が重なる部分を表しており、これは図４（ｂ）において隣接する個眼画像で共通する重複領域を表す。
指の皮膚表面から静脈までの距離には個人差があるため、図１におけるレンズアレイ３から静脈２までの距離は、被認証者によって変化する。図１の状態に対し、図５（ａ）に示すように静脈２がレンズアレイ３に近づくと、あるいは遮光部材４の高さが大きくなると、隣接する個眼画像間での重複領域がなくなる。逆に図１の状態に対し、図５（ｂ）に示すように静脈２がレンズアレイ３から遠ざかると、あるいは遮光部材４の高さが小さくなると、隣接する個眼画像間での重複領域が大きくなる。
隣接個眼画像間での重複領域がないときは、複眼画像中の個々の個眼画像を抽出し、各個眼画像をレンズ３ａによる上下左右の反転を元に戻してから単純に繋ぎ合わせることにより単一画像を再構成することができる。しかし、隣接個眼画像間での重複領域がある場合は、重複する領域の一方が無効になるため、個眼画像を単純に繋ぎ合わせる方法で単一画像を再構成すると、画像が小さくなり画像を構成する画素数が減るため解像力が低下する。また、図５(b)のように静脈がレンズアレイから遠ざかると、重複領域が増えて無効画素が増えると同時に撮像光学系の光学倍率が低下して静脈パターン像が小さくなるため、さらに解像力が低下する。
本実施形態においては、そのような無効画素の増加や光学倍率の低下に伴う解像力低下を補償するために、再構成演算部１０２で以下に説明するような個眼画像間の視差を利用した複眼画像から単一画像への再構成処理を行う。
個眼画像間にはレンズ３ａと静脈２つまり被写体との位置関係に起因した視差が存在するため、各個眼画像は視差に伴い少しずつシフトした画像となる。なお、本明細書において、個眼画像間の「視差」とは、複眼画像の中で基準とした個眼画像に対する各個眼画像のシフト量（単位は長さ）を表す。個眼画像の視差を利用すると、個眼画像における１つの画素に埋もれた被写体の構造を再現することができる。個眼画像間の視差の検出には、例えば次の（１）式で得られる個眼画像間の輝度偏差の二乗和を用いることができる。
Figure 0004864632
 （１）式において、ＩＢは複眼画像中の任意に設定した基準個眼画像であり、各個眼画像の視差の基準となる。Ｉｍは各個眼画像を表しており、ｍは個眼画像の番号で１からＮ（Ｎはレンズアレイ３を構成するレンズ３ａの個数）の値をとる。Pｘ，Pｙは個眼画像の基準個眼画像に対するx，y方向の視差を表す。個眼画像を構成する全画素について個眼画像と基準個眼画像の輝度偏差をとり、その二乗和Ｅを求める。Pｘ，Pｙを徐々に変化させながらＥを計算し、Ｅが最小となるときのPｘ，Pｙが、それぞれx、y方向における基準個眼画像に対する視差となる。図６にｘ軸にPｘ、y軸にPｙ、ｚ軸にＥをとったとき、Pｘ，Pｙの変化に伴うＥの変化の鳥瞰図を示す。
上述したように、図６でＥが最小となるときのPｘ，Pｙがx，y方向における個眼画像の基準個眼画像に対する視差である。視差の大きさが撮像素子５の画素サイズより小さくなることが考えられる場合は、視差の大きさが画素サイズあるいは画素サイズの整数倍になるように個眼画像を拡大し、すなわち個眼画像の構成画素数を増やし、拡大した個眼画像間の輝度偏差の最小二乗和から視差を求めればよい。その場合の個眼画像の拡大では、隣接画素を参照しながら各画素の輝度を決める補間演算を用いる必要がある。拡大率は、光学倍率とレンズアレイ３のレンズピッチ、撮像素子５の画素サイズから視差のおおよその値を推定できるため、推定した視差が画素サイズ分の長さになるように拡大率を決めればよい。レンズアレイ３のレンズピッチの加工精度が十分高い場合は、被写体のレンズアレイ３からの距離がわかれば、各個眼画像間の視差は幾何学的に算出可能である。そのため、１組の個眼画像間の視差を検出し、次の（２）式に基づき各個眼画像間の視差を算出してもよい。（２）式において、δは任意の個眼画像の視差、Δは実際に検出した個眼画像の視差、Ｎは画像内のｘ又はｙ方向（横又は縦方向）における基準個眼画像の中心から視差を検出した個眼画像の中心までの距離、ｎは基準個眼画像の中心から任意の個眼画像の中心までの距離をそれぞれ表す。
Figure 0004864632
 被写体距離が短い場合など、個眼画像間の視差が大きい場合は、基準個眼画像を１つの個眼画像に固定せず、隣接する個眼画像間で視差検出を実行するとよい。その場合、隣接する一方の個眼画像が基準個眼画像になり、他方が視差を検出する個眼画像になる。個眼画像の中には静脈パターンが観察されない個眼画像もあるので、前述したように、前処理で静脈パターンが観察される個眼画像を抽出し、それについて視差の検出を行い、静脈パターンが観測されない個眼画像の視差は、他の個眼画像について検出した視差を用い上記（２）式により算出すればよい。なお、輝度偏差の二乗和を最小化する方法に代えて、個眼画像間の相互相関計算による方法を用いてもよい。
図７は単一画像の再構成方法の説明図である。図７において、複眼画像９における各個眼画像９ａから画素輝度を取り出し、仮想空間における再構成画像８の該個眼画像の位置及び視差に応じて決まる位置に、取り出した画素輝度を配置する。各個眼画像の全画素について同様の画素輝度の配置を繰り返すことにより再構成画像８を得ることができる。
なお、視差の大きさや遮光部材の影などの影響で再構成画像８に輝度が欠失した画素が生じるときは、その隣接画素の輝度を参照して補間する。視差が画素サイズより小さいときは、視差の大きさが画素サイズあるいは画素サイズの整数倍になるように再構成画像を拡大し、すなわち再構成画像の構成画素数を増やしてから同様の画素輝度配置を行えばよい。
図８に再構成演算部１０２における処理フローの一例を示す。まず、複眼画像を取得する（ステップＳ１）。次に、前処理で抽出された静脈パターンが含まれている個眼画像の中から視差検出のための基準個眼画像を設定する（ステップＳ２）。この基準個眼画像に対する各個眼画像の視差を検出する（ステップＳ３）。ただし、静脈パターンが含まれない個眼画像に関しては、前記（２）式により視差を参照する。そして、視差を利用して複眼画像から単一画像への再構成演算を行い（ステップＳ４）、再構成した単一画像を出力する（ステップＳ５）。このような再構成処理により、画素に埋もれた被写体の構造を再現でき、被写体が遠くなって解像力が低下する場合でも解像力を向上させた単一像を取得することができる。
なお、個眼画像間の重複が小さい場合は、検出される視差が非常に小さくなったり異常値になったりすることがある。そこで、視差の大きさに関する閾値を設定しておき、例えばステップＳ４において、視差と閾値との比較判定を行い、視差が閾値未満の場合には複眼画像中の個眼画像を上下左右反転を元に戻して単純に繋ぎ合わせることにより単一画像を再構成し、視差が閾値以上の場合には上述したような視差を利用した再構成処理を行うようにしてもよい。
上に述べたような個眼画像間の視差を利用した再構成処理を可能にするためには、被写体からレンズアレイ３までの距離が所定の許容範囲内にあるときに、撮像素子５により撮像された隣接する個眼画像が被写体の共通部分を１画素以上共有する必要がある。そのために、レンズアレイ３を設計する段階で、レンズアレイ３から被写体までの距離が所定の許容距離範囲内で最小となったときに、隣接する個眼画像が常に重複領域を持つように、遮光部材４の高さ及びレンズアレイ３のレンズ３ａの間隔が設定される。あるいは、レンズアレイ３から被写体までの距離が所定の許容距離範囲の最小値より小さくならないように調整するための透明平板（不図示）が指（生体）とレンズアレイ３との間に、例えば光学的バンドパスフィルタ７の上面に設置され、あるいは、光学的バンドパスフィルタ７を省く場合には、それに代えて該透明平板が設置される。このようにすると、常に重複領域を有する複眼画像を取得できるため、上に述べたような視差の閾値との比較判定により再構成処理方法を変更する必要がなくなる。そして、被写体距離の変化は視差に反映されるため、視差を利用した再構成処理によって、皮膚の厚みの個人差などにより生じる被写体距離の変化にも容易に対応できる。
以上では、指内部の静脈パターンの入力と、静脈パターンを利用した個人認証を行う場合について説明した。しかし、本実施形態は、掌の静脈パターンや指の真皮指紋パターンを撮像して個人認証を行う用途にも利用可能であり、さらには非侵襲の血糖値計測のための生体内部情報を撮像する用途にも応用可能である。
なお、図１５に示すように、レンズアレイ３のバックフォーカスを短くすると光学倍率を小さくでき、より広い視野を確保できる。被写体サイズが大きい場合、汎用の撮像素子が使用できなくなり、特殊な撮像素子を使用せざるを得なくなるため装置コストが増大する。このようなコスト増加を抑えるためには、被写体サイズと汎用の撮像素子のサイズとから必要な光学倍率を設定し、汎用の撮像素子で被写体全体の像を撮像可能にするとよい。図１５ではレンズアレイのみで倍率を落とす例であるが、被写体の像を縮小するための別の光学系を付加することも可能である。
［第２の実施形態］
図９は本発明の第２の実施形態に係る画像入力装置及び個人認証装置の説明図である。本実施形態は、レンズアレイ３の各レンズ３ａによる像劣化の補正（ＭＴＦ補正）のための補正処理手段を構成する補正演算部２０１とメモリ２０２が追加されている点が前記第１の実施形態と相違し、これ以外の構成は前記第１の実施形態と同様である。メモリ２０２には、凸面を像面側に向けた平凸レンズ３ａに関する光学伝達関数（ＯＴＦ）データが予め格納されている。
図１０に、レンズ３ａのような平凸レンズの光学伝達関数のゲインであるＭＴＦと被写体見込み角との関係を、レンズの凸面を被写体側に向けた場合と像面側に向けた場合について例示する。
図１０（ａ）は凸面を被写体側に向けた平凸レンズのＭＴＦ特性を示し、図１０（ｂ）は本発明におけるレンズ３ａのように凸面を像面側に向けた平凸レンズのＭＴＦ特性を示している。図１０（ａ），（ｂ）における細実線、点線、一点鎖線はレンズに入射する光線角の違い、すなわち被写体の見込み角の違いを表している。図１０（ｂ）における太実線は補正後のＭＴＦ特性を示している。
平凸レンズの凸面を被写体側に向けた場合、図１０（ａ）に見られるように、ある見込み角では高空間周波数帯まで高いＭＴＦが得られるが、見込み角が変わるとＭＴＦ及びカットオフ周波数はともに大きく変化し、像は劣化する。許容見込み角全体にわたって高いＭＴＦとカットオフ周波数を保持するには、許容見込み角が非常に狭くなったり、複数枚のレンズや複雑な非球面形状が必要になったりして、簡単な構成で広い見込み角にわたって性能を保持するのは困難である。ＭＴＦが有限な範囲では補正演算によりＭＴＦ特性を向上させることもできるが、図１０（ａ）の場合、見込み角によりＭＴＦの変化が大きいため、見込み角ごとに補正をかける必要があり、補正のための処理負荷が著しく大きくなる。また見、込み角に伴ってＭＴＦが０に落ち込みやすいため、補正可能な見込み角の範囲も限定されてしまう。
一方、本発明におけるレンズ３ａのように、凸面を像面側に向けた平凸レンズの場合、図１０（ｂ）に見られるように、ＭＴＦは全体的に低くなるが、見込み角に伴うＭＴＦの変化は小さく、またカットオフ周波数も大きく変わらない。ＭＴＦの補正演算を前提にして、レンズの凸面を像面側に向けた構成で、ＭＴＦが有限でかつ均一になるように面形状を最適化することにより、小さい処理負荷で広い見込み角にわたってＭＴＦ性能を保持することができる。例えば図１０（ｂ）の太実線のようなＭＴＦ特性に容易に補正することができる。以上は、ＭＴＦについて述べたが、凸面を像面側に向けた場合には、凸面を被写体側に向けた場合に比べ、歪曲や湾曲といった面内誤差も減少する。以上に述べたことは、被写体側に負のパワーの面を有し、像面側に正のパワーを持つ面を有するレンズについても同様に当てはまる。
次に、補正演算部２０１におけるＭＴＦ補正処理について説明する。なお、補正演算部２０１は、補正演算に先立ち、撮像素子５により撮像された複眼画像における遮光部材４による影の部分を除いた各個眼画像の抽出を行う。したがって、前処理部１０１では、影部分を除いた個眼画像を抽出する処理を行う必要はない。
レンズ３ａで劣化を受けた被写体の像、すなわち撮像された複眼画像における個々の個眼画像の強度データは次の（３）式で表される。
Figure 0004864632
 （３）式において、ｘ，ｙは個眼画像における位置座標、Ｉは個眼画像の強度データ、Ｓは被写体のもつ強度データ、ＯＴＦはレンズ３ａの光学伝達関数データを表し、FFTはフーリエ変換オペレータ、FFT−１は逆フーリエ変換オペレータである。レンズ３ａの光学伝達関数データＯＴＦは、レンズ設計時に求められるレンズの波面収差データを用い、レンズの瞳関数の自己相関演算から求めることができる。
補正演算部２０１は、あらかじめ計算してメモリ２０２に記憶されているレンズ３ａに関する光学伝達関数データＯＴＦを用いて、複眼画像に対し各個眼画像毎に次の（４）式の演算によりレンズ３ａによる像劣化を補正し、ＭＴＦを向上させた個眼画像（の集合である複眼画像）を生成する。（４）式において、Ｒは補正後の個眼画像の強度データ、αは除算時のゼロ割やノイズ増幅を抑えるための定数である。
Figure 0004864632
 なお、光線角度に応じて光学伝達関数が変化しないということは、レンズ自体が傾いて設置されても光学伝達関数が変化しないことと等価であるため、撮像素子５を組付ける際の傾き設置誤差の影響が極めて小さくなるという効果が得られる。またレンズによる集光性能が高いと、像面の位置が光軸方向にわずかにずれただけで、集光点が大きく広がるため像劣化も大きくなるが、図１１(b)のように光線の集光性能が低いレンズでは、像面の位置が光軸方向に多少ずれても集光点の広がりは比較的大きくならない。したがって、レンズと像面との間隔誤差の影響も大きく減らすことができるという効果を得られる。また、レンズアレイ３と被写体部材４を組合せて装置を組付ける場合、像面側に凸面を向けたレンズ３ａは、その凸面が遮光部材４の対応した開口部（穴）にはまり込むので、アライメントがしやすいという利点もある。
Figure 0004864632
 なお、光線角度に応じて光学伝達関数が変化しないということは、レンズ自体が傾いて設置されても光学伝達関数が変化しないことと等価であるため、撮像素子５を組付ける際の傾き設置誤差の影響が極めて小さくなるという効果が得られる。またレンズによる集光性能が高いと、像面の位置が光軸方向にわずかにずれただけで、集光点が大きく広がるため像劣化も大きくなるが、図１０（ｂ）のように光線の集光性能が低いレンズでは、像面の位置が光軸方向に多少ずれても集光点の広がりは比較的大きくならない。したがって、レンズと像面との間隔誤差の影響も大きく減らすことができるという効果を得られる。また、レンズアレイ３と被写体部材４を組合せて装置を組付ける場合、像面側に凸面を向けたレンズ３ａは、その凸面が遮光部材４の対応した開口部（穴）にはまり込むので、アライメントがしやすいという利点もある。
本実施形態の変形例によれば、レンズ３ａによる像劣化の補正（ＭＴＦ補正）のための補正処理手段は、前処理部１０１の前段ではなく後処理部１０３の後段に配置される。すなわち、補正演算部２０１に対応した補正演算部が、後処理部１０３と認証演算部１０４との間に挿入され、この補正演算部には光学伝達関数データを格納したメモリが接続され、再構成された単一画像に対し像劣化の補正処理（ＭＴＦ補正）が施される。単一画像に対する補正処理は１回で済むので、個眼画像単位で補正処理を行うようりも一般的に演算時間を短縮できる利点がある。ただし、補正処理に用いられる光学伝達関数データは個々のレンズ３ａに関するものであって、個々の個眼画像の補正に適用すべきものであるから、単一画像に対する補正処理では、個眼画像毎に補正処理を施す場合に比べると補正誤差のある程度の増加は避けられない。
［第３の実施形態］
レンズの光学伝達関数は被写体距離によっても変化し、特に本発明の画像入力装置のように被写体がレンズアレイ３に近い撮像光学系の場合、被写体距離の変動に伴う光学伝達関数の変化が大きくなりやすい。
図１０（ｂ）の場合と同様の凸面を像面側に向けた平凸レンズにおける被写体距離の違いによるＭＴＦの変化の例を図１１に示す。図１１においては、所定の被写体見込み角で、被写体距離がＡ，Ｂ，ＣのときのＭＴＦ特性が細実線、点線、一点鎖線により示されている。この例から分かるように、被写体距離の変動が無視できない場合には、特定の被写体距離での光学伝達関数データに基づいて像劣化補正（ＭＴＦ補正）を行ったのでは補正誤差が大きくなってしまう。補正誤差を減らすためには、異なった被写体距離での光学伝達関数データを予め用意しておき、像劣化補正に用いる光学伝達関数データを被写体距離に応じて選択するのがよい。このような被写体距離に応じた像劣化補正によれば、例えば図１１に太実線で示すような適切なＭＴＦ特性に補正することができる。
図１２は本発明の第３の実施形態に係る画像入力装置及び個人認証装置の説明図である。本実施形態においては、上に述べたような被写体距離に応じた像劣化補正を実施するため、被写体距離（被写体２からレンズアレイ３までの距離）を検出する被写体距離検出部（距離検出手段）３０１が追加される。また、メモリ２０２には、複数の異なった被写体距離でのレンズ３ａに関する光学伝達関数データが予め格納されている。そして、補正演算部２０１では、被写体距離検出部３０１により検出された被写体距離に最も近い被写体距離に対応した光学伝達関数データをメモリ２０２より読み込み、この光学伝達関数データに基づいて、複眼画像に対し個眼画像毎に像劣化の補正（ＭＴＦ補正）を施す。これ以外の構成は前記第２の実施形態と同様である。
前記第１の実施形態に関連して説明したように、被写体距離に応じて個眼画像間での重複領域が変化する（図５参照）。したがって、重複領域すなわち検出した視差を用いて三角測量の原理から被写体距離を算出することができる。本実施形態に係る被写体距離検出部３０１は、そのような方法を採用するものであり、撮像素子５によって撮像された複眼画像における個眼画像間の視差を検出し、この視差を用い三角測量の原理により被写体距離を算出する。なお、被写体距離検出のためには２つの個眼画像間の視差を検出すればよく、全ての個眼画像間の視差を検出する必要はない。また、個眼画像間の視差の検出方法は既に説明した方法によればよい。
本実施形態の変形例によれば、レンズ３ａによる像劣化の補正（ＭＴＦ補正）のための補正処理手段は、前処理部１０１の前段ではなく後処理部１０３の後段に配置される。すなわち、補正演算部２０１に対応した補正演算部が、後処理部１０３と認証演算部１０４との間に挿入され、この補正演算部には光学伝達関数データを格納したメモリが接続され、被写体距離検出部３０１により検出された被写体距離に対応した光学伝達関数データを用いて、再構成された単一画像に対し像劣化の補正処理（ＭＴＦ補正）が施される。単一画像に対する補正処理は１回で済むので、個眼画像単位で補正処理を行うようりも一般的に演算時間を短縮できる利点がある。ただし、補正処理に用いられる光学伝達関数データは個々のレンズ３ａに関するものであって、個々の個眼画像の補正に適用すべきものであるから、単一画像に対する補正処理では、個眼画像毎に補正処理を施す場合に比べると補正誤差のある程度の増加は避けられない。
［第４の実施形態］
図１３は本発明の第４の実施形態に係る画像入力装置及び個人認証装置の説明図である。本実施形態では、光源６から照射される近赤外光以外の外部光（バイアス光）によるバイアス成分を除去した複眼画像データを得るため、バイアス成分除去処理部（バイアス成分除去処理手段）４０１と、光源６の駆動の制御等を行うための制御部（制御手段）４０２が設けられる。４０３は撮像素子５を駆動する撮像素子駆動部である。これ以外の構成は、図示しないが、前記第１の実施形態、前記第２の実施形態もしくはその変形形態、又は前記第３の実施形態もしくはその変形形態と同様である。なお、図１３には光学的バンドパスフィルタ７が示されているが、これを省いてもよい。光学的バンドパスフィルタ７を省く場合、光学的バンドパスフィルタ７の位置に例えば被写体距離を調整するための、又はレンズアレイ３を保護するための透明平板部材を設けることができる。また、撮像素子駆動部４０３は、前記各実施形態においても当然に存在するものであるが、作用説明に特に必要とされていないため図示及び説明が省略されていた。
（第１の実施例）
本実施形態の第１の実施例によれば、制御部４０２は光源６の駆動電流をオン、オフ制御することにより光源６を断続的に発光させる。すなわち、光源６を断続的に発光又は消光させる。そして、光源６の発光時と消光時における複眼画像をそれぞれ撮像素子５で撮像させ、それぞれの複眼画像をバイアス成分除去処理部４０１に取り込ませるため、制御部４０２より光源６の発光、消光に同期したタイミング信号が撮像素子駆動部４０３及びバイアス成分除去処理部４０１へ与えられる。バイアス成分除去処理部４０１においては、光源６の発光時に撮像された複眼画像と、光源６の消光時に撮像された複眼画像との差分をとることにより、外部光によるバイアス成分が除去された、光源６の照明光による成分のみからなる複眼画像を生成する。
（第２の実施例）
本実施形態の第２の実施例によれば、制御部４０２は光源６の駆動電流を正弦波状に変調することにより、光源６により照射される近赤外光の強度を正弦波状に変化させる。この近赤外光に外部光（バイアス光）も重畳するので、仮にそれら光がそのまま撮像素子５に入射するものとすると、画素ごとに図９に示すような光強度変調が連続的に得られる。画像内の任意の位置（x,y）における画素の強度は次の（５）式で表される。
Figure 0004864632
 （５）式のＩは画素の強度、Ａは外部光すなわちバイアス光の強度、Ｂは光源６による照明光の変調振幅、φは照明光の変調位相である。
変調周期を４等分する時間間隔で、例えば図９に示すt1、t2、t3、t4の各時点で画像を撮像すると、各時点で取得される画像強度は以下のように表される。
Figure 0004864632
 （６）〜（９）式を用いて照明光の変調振幅は次の（１０）式で求めることができる。したがって、上記各時点で撮像された画像について、バイアス成分除去処理部４０１において（１０）式の演算を行うことにより、バイアス光の影響（バイアス成分）を除去した画像を生成することができる。
Figure 0004864632
 上記では変調周期を４等分するサンプリング間隔で画像を取り込んだが、サンプリング数を増やしてもよいし、変調振幅を抽出する演算に離散フーリエ変換を用いてもよい。サンプリング数を増やすと、より厳密にバイアス成分を除去した画像を生成可能となる。
［第５の実施形態］
本発明に係る個人認証装置は、その撮像光学系全体を薄型構造とすることができるため、様々な電子機器に容易に組み込むことができる。そして、個人認証装置による認証結果に応じて電子機器の動作を制御し、例えば電子機器の利用者制限を図ることができる。
図１６に、本発明に係る個人認証装置を組み込んだ小型情報端末（例えばＰＤＡ）とノートブックパソコンの例を示す。図１６において、５００が個人認証装置であるが、その指を載せる部分（例えば光学的バンドパスフィルタ７の部分）のみが表面に露出している。この小型情報端末やノートブックパソコンを利用しようとする者は、個人認証装置５００の露出部分に指を載せて静脈パターンを読み取らせて認証させる。機器側では、例えば、その者が予め登録されている者と同一人であると認証されたならばログイン（ｌｏｇｉｎ）を許可し、同一人であると認証されないときにはログインを拒否する制御を行う。
［その他］
前記第１乃至第４の実施形態における再構成処理手段、補正処理手段、被写体距離検出手段、バイアス成分除去処理手段、認証処理手段をソフトウェアで実現することも可能である。
前記第１乃至第４の実施形態に係る画像入力装置についての説明は、本発明に係る画像入力方法の実施形態の説明でもあることは明らかである。よって、画像入力方法の説明は繰り返さない。
本発明の第１の実施形態の説明図である。 テーパ状開口部を持つ遮光部材の説明図である。 積層構造の遮光部材の説明図である。 撮像される複眼画像のシミュレーション例を示す図である。 被写体距離の違いによる隣接個眼画像間の重複領域の変化を説明するための図である。 個眼画像間のｘ，ｙ方向の視差をｘ，ｙ軸に、個眼画像間の画素輝度の差の二乗和Ｅをｚ軸にとったときの、視差の変化に伴うＥの変化を表す図である。 複眼画像から単一像を再構成する処理における画素の配置法を説明するための模式図である。 複眼画像から単一像を再構成するための処理フローの一例を示すフローチャートである。 本発明の第２の実施形態の説明図である。 平凸レンズの凸面を被写体側に向けた場合と像面側に向けた場合における被写体見込み角とＭＴＦの関係を示すＭＴＦ特性図である。 平凸レンズの凸面を像面側に向けた場合における被写体距離とＭＴＦとの関係を示すＭＴＦ特性図である。 本発明の第３の実施形態の説明図である。 本発明の第４の実施形態の説明図である。 照明光を正弦波状に強度変調し、その変調周期を４等分する位相間隔で画像をサンプリングする場合のタイミング説明図である。 撮像光学系の光学倍率を低下させて視野を拡大する例の説明図である。 本発明に係る個人認証装置が組み込まれた電子機器の例を示す模式的斜視図である。
符号の説明
１ 指（生体）
２ 静脈（被写体）
３ レンズアレイ
３ａ レンズアレイ上のレンズ
４ 遮光部材
５ 撮像素子
６ 光源
７ 光学的バンドパスフィルタ
１００ 撮像光学系
１０１ 前処理部
１０２ 再構成演算部
１０３ 後処理部
１０４ 認証演算部
１０５ 登録データメモリ
２０１ 補正演算部
２０２ 光学伝達関数データメモリ
３０１ 被写体距離検出部
４０１ バイアス成分除去処理部
４０２ 制御部
４０３ 撮像素子駆動部
５００ 電子機器に組み込まれた個人認証装置

Claims (15)

  1. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に近赤外光を照射する光源と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記撮像手段により撮像された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
    前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
    前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  2. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に近赤外光を照射する光源と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記撮像手段により撮像された複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
    前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  3. 前記光源により照射される近赤外光が含まれる所定の波長域の光のみを透過させる光学的バンドパスフィルタが、前記レンズアレイの前記生体側又は像面側に配設されていることを特徴とする請求項１又は２記載の画像入力装置。
  4. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に近赤外光を照射する光源と、
    前記光源を発光又は消光させる制御を行う手段と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
    前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
    前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  5. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に近赤外光を照射する光源と、
    前記光源を発光又は消光させる制御を行う手段と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
    前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
    前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  6. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に対し近赤外光を照射する光源と、
    前記光源に対し、前記生体に照射される近赤外光の強度を正弦波状に変化させる制御を行う手段と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記光源により前記生体に照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行う補正処理手段と、
    前記補正処理手段により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段とを有し、
    前記再構成処理手段により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  7. 生体の内部に存在する被写体の画像を入力する画像入力装置であって、
    前記生体に近赤外光を照射する光源と、
    前記光源に対し、前記生体に照射される近赤外光の強度を正弦波状に変化させる制御を行う手段と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、
    前記光源により前記生体に照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分を除去した複眼画像を生成するバイアス成分除去処理手段と、
    前記バイアス成分除去処理手段により生成されたバイアス成分除去後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行う再構成処理手段と、
    前記被写体から前記レンズアレイまでの距離を検出する距離検出手段と、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記距離検出手段により検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記再構成処理手段により再構成された単一画像に対し前記レンズによる像劣化の補正処理を行う補正処理手段とを有し、
    前記補正処理手段により補正処理後の単一画像を前記被写体の画像として入力することを特徴とする画像入力装置。
  8. 前記距離検出手段は、前記撮像手段により撮像された複眼画像における個眼画像間の視差に基づいて前記距離を検出することを特徴とする請求項１，２，４，５，６，７のいずれか１項記載の画像入力装置。
  9. 前記レンズアレイの前記生体と対向する側に、前記被写体と前記レンズアレイとの距離を調整するための透明平板が設けられたことを特徴とする請求項１，２，４，５，６，７のいずれか１項記載の画像入力装置。
  10. 前記レンズアレイの前記複数のレンズの相互間の像面側における光線クロストークを防止する遮光手段を有することを特徴とする請求項１，２，４，５，６，７のいずれか１項記載の画像入力装置。
  11. 請求項１乃至１０のいずれか１項記載の画像入力装置と、
    前記画像入力装置により入力された被写体の画像に基づいて個人認証処理を行う認証処理手段とを有することを特徴とする個人認証装置。
  12. 請求項１１記載の個人認証装置を備え、該個人認証装置による個人認証の結果に従って動作が制御されることを特徴とする電子機器。
  13. 生体の内部に存在する被写体の画像を入力する画像入力方法であって、
    前記生体に近赤外光を照射する光源と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
    前記被写体から前記レンズアレイまでの距離を検出し、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記撮像手段により撮像された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
    前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
    前記再構成する処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力方法。
  14. 生体の内部に存在する被写体の画像を入力する画像入力方法であって、
    前記生体に近赤外光を照射する光源と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
    前記光源を間欠的に発光させ、
    前記光源の発光時に前記撮像手段により撮像された複眼画像と、前記光源の消光時に前記撮像手段により撮像された複眼画像との差分をとることにより、前記光源により照射された近赤外光以外の光によるバイアス成分が除去された複眼画像を生成し、
    前記被写体から前記レンズアレイまでの距離を検出し、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分が除去された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
    前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
    前記再構成の処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力方法。
  15. 生体の内部に存在する被写体の画像を入力する画像入力方法であって、
    前記生体に近赤外光を照射する光源と、
    前記生体に対向する位置に設けられた、前記生体側に０又は負のパワーを持つ面を有しかつ像面側に正のパワーを持つ面を有する複数のレンズがアレイ配列されてなるレンズアレイと、
    前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより結像される前記被写体の像（以下、この像を個眼画像と記す）の集合である複眼画像を撮像する撮像手段と、からなる撮像光学系を用い、
    前記光源より照射される近赤外光の強度を正弦波状に変化させ、
    前記光源により照射される近赤外光の強度の正弦波状変化周期内の複数の異なった位相時点で前記撮像手段によりそれぞれ撮像された複数の複眼画像から演算処理によって、前記光源により照射された近赤外光以外の光によるバイアス成分が除去された複眼画像を生成し、
    前記被写体から前記レンズアレイまでの距離を検出し、
    予め用意された前記レンズに関する複数の光学伝達関数データの中から前記検出された前記距離に応じて１の光学伝達関数データを選択し、該選択した光学伝達関数データに基づいて、前記バイアス成分が除去された複眼画像に対し各個眼画像毎に前記レンズによる像劣化の補正処理を行い、
    前記補正処理により補正後の複眼画像から、その個眼画像間の視差を利用して単一画像を再構成する処理を行い、
    前記再構成の処理により再構成された単一画像を前記被写体の画像として入力することを特徴とする画像入力方法。
JP2006278423A 2006-10-12 2006-10-12 画像入力装置、画像入力方法、個人認証装置及び電子機器 Expired - Fee Related JP4864632B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006278423A JP4864632B2 (ja) 2006-10-12 2006-10-12 画像入力装置、画像入力方法、個人認証装置及び電子機器
EP07829760A EP2054850A4 (en) 2006-10-12 2007-10-05 PICTURE INPUT DEVICE, PICTURE INPUT METHOD, PERSONAL AUTHENTICATION DEVICE AND ELECTRONIC DEVICE
KR1020087013841A KR101027455B1 (ko) 2006-10-12 2007-10-05 화상 입력 장치, 화상 입력 방법, 개인 인증 장치 및 전자기기
US12/096,625 US8085312B2 (en) 2006-10-12 2007-10-05 Image input apparatus, image input method, personal authentication apparatus, and electronic apparatus
PCT/JP2007/070025 WO2008044781A1 (en) 2006-10-12 2007-10-05 Image input apparatus, image input method, personal authentication apparatus, and electronic apparatus
CNA2007800015522A CN101361095A (zh) 2006-10-12 2007-10-05 图像输入设备、图像输入方法、个人身份验证设备以及电子设备
TW096137707A TWI365417B (en) 2006-10-12 2007-10-08 Image input apparatus, image input method, personal authentication apparatus, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006278423A JP4864632B2 (ja) 2006-10-12 2006-10-12 画像入力装置、画像入力方法、個人認証装置及び電子機器

Publications (2)

Publication Number Publication Date
JP2008097327A JP2008097327A (ja) 2008-04-24
JP4864632B2 true JP4864632B2 (ja) 2012-02-01

Family

ID=39282966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006278423A Expired - Fee Related JP4864632B2 (ja) 2006-10-12 2006-10-12 画像入力装置、画像入力方法、個人認証装置及び電子機器

Country Status (7)

Country Link
US (1) US8085312B2 (ja)
EP (1) EP2054850A4 (ja)
JP (1) JP4864632B2 (ja)
KR (1) KR101027455B1 (ja)
CN (1) CN101361095A (ja)
TW (1) TWI365417B (ja)
WO (1) WO2008044781A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097328A (ja) * 2006-10-12 2008-04-24 Ricoh Co Ltd 画像入力装置、個人認証装置及び電子機器

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090083932A (ko) * 2006-11-17 2009-08-04 테쎄라 노쓰 아메리카, 아이엔씨. 광학 스택을 이용해 카메라 시스템의 내부 노이즈를 줄이는 구조 및 방법
JP5312774B2 (ja) * 2006-12-15 2013-10-09 日立オートモティブシステムズ株式会社 薄型認証センサ
US8204282B2 (en) 2007-09-14 2012-06-19 Ricoh Company, Ltd. Image input device and personal authentication device
JP5293950B2 (ja) * 2008-03-04 2013-09-18 株式会社リコー 個人認証装置及び電子機器
JP4748257B2 (ja) * 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
JP4947072B2 (ja) * 2009-03-04 2012-06-06 三菱電機株式会社 画像読取装置
JP4782899B2 (ja) 2009-07-22 2011-09-28 パナソニック株式会社 視差検出装置、測距装置及び視差検出方法
JP5363587B2 (ja) * 2009-10-30 2013-12-11 富士通フロンテック株式会社 生体情報登録方法、生体認証方法および生体認証装置
CN102131043B (zh) * 2010-01-19 2013-11-06 鸿富锦精密工业（深圳）有限公司 相机模组
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
JP5742272B2 (ja) * 2011-02-14 2015-07-01 株式会社リコー 複眼式撮像装置
JP5742348B2 (ja) * 2011-03-23 2015-07-01 セイコーエプソン株式会社 撮像装置
JP5170276B2 (ja) * 2011-03-31 2013-03-27 カシオ計算機株式会社 画像再構成装置、画像再構成方法、及び画像再構成プログラム
WO2013191546A1 (en) 2012-06-19 2013-12-27 Anteryon International B.V. A method for forming a lens module and a camera module
JP6044239B2 (ja) * 2012-10-01 2016-12-14 セイコーエプソン株式会社 撮像装置および医療機器
KR102106175B1 (ko) 2012-10-04 2020-05-04 아이비코리아 유한회사 충격-방지 릴리프 프린트 스캐닝
CN105892501A (zh) * 2013-09-10 2016-08-24 充梦霞 一种自适应图像信息采集系统的工作方法
KR101376227B1 (ko) * 2013-09-17 2014-03-25 실리콘 디스플레이 (주) 광학식 지문센서
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치
CN106163399B (zh) * 2014-03-31 2019-07-12 索尼公司 测量装置、测量方法、程序和记录介质
US10575766B2 (en) 2014-03-31 2020-03-03 Sony Corporation Measurement device, measurement method, program, and recording medium
CN104182727B (zh) * 2014-05-16 2021-07-30 深圳印象认知技术有限公司 超薄型指纹、掌纹采集装置及指纹、掌纹图像采集方法
CN104034768A (zh) * 2014-06-26 2014-09-10 无锡市崇安区科技创业服务中心 一种血糖仪及血糖监护系统
US10732771B2 (en) * 2014-11-12 2020-08-04 Shenzhen GOODIX Technology Co., Ltd. Fingerprint sensors having in-pixel optical sensors
WO2016125165A2 (en) * 2015-02-05 2016-08-11 Verifood, Ltd. Spectrometry system with visible aiming beam
US9558392B2 (en) * 2015-02-12 2017-01-31 Korecen Co., Ltd. Finger vein authentication system
KR20170109651A (ko) 2015-03-25 2017-09-29 애플 인크. 광학 이미지 센서 위의 핀 홀 어레이 마스크를 포함하는 전자 디바이스 및 관련 방법
CN107004130B (zh) * 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10282582B2 (en) 2015-09-30 2019-05-07 Apple Inc. Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN107292216A (zh) * 2016-03-31 2017-10-24 上海箩箕技术有限公司 光学指纹传感器模组
CN109074474B (zh) 2016-05-23 2022-06-28 苹果公司 包括用于感测来自间隔开的子阵列的图像的处理电路的电子设备及相关方法
WO2017204777A1 (en) 2016-05-23 2017-11-30 Apple Inc. Electronic device including pin hole array mask above optical image sensor and laterally adjacent light source and related methods
CN105893992A (zh) * 2016-05-31 2016-08-24 京东方科技集团股份有限公司 指纹识别结构和方法、显示装置
US10462377B2 (en) 2016-07-29 2019-10-29 Nokia Of America Corporation Single-aperture multi-sensor lensless compressive image acquisition
US20180035046A1 (en) * 2016-07-29 2018-02-01 Xin Yuan Block-based lensless compressive image acquisition
CN106682473A (zh) * 2016-12-20 2017-05-17 深圳芯启航科技有限公司 一种用户身份信息的识别方法及其装置
TWI631373B (zh) * 2017-05-05 2018-08-01 友達光電股份有限公司 血管掃描系統及方法
CN111201783B (zh) * 2017-10-19 2022-09-16 索尼公司 成像装置和方法以及图像处理装置和方法
EP3850534A4 (en) 2018-09-12 2022-04-27 Fingerprint Cards Anacatum IP AB RECONSTRUCTION OF FINGERPRINT SUB-IMAGES
CN109284708A (zh) * 2018-09-12 2019-01-29 京东方科技集团股份有限公司 一种指纹识别器件及显示装置
KR102142859B1 (ko) * 2018-10-16 2020-08-10 한국과학기술원 마이크로카메라 어레이를 구비한 초근접 영상촬영장치
KR20210019641A (ko) * 2019-08-12 2021-02-23 삼성전자주식회사 생체 정보 센싱 모듈 및 이를 포함하는 전자 장치
TWI729813B (zh) * 2020-05-18 2021-06-01 友達光電股份有限公司 血管成像系統
US11704929B2 (en) * 2020-07-06 2023-07-18 Visera Technologies Company Limited Optical structure and method of fabricating the same
FR3133687B1 (fr) * 2022-03-18 2024-03-15 Embodme Dispositif et procede de detection d’un objet au-dessus d’une surface de detection
WO2023175162A1 (fr) * 2022-03-18 2023-09-21 Embodme Dispositif et procede de detection d'un objet au-dessus d'une surface de detection

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193124A (en) * 1989-06-29 1993-03-09 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images
JPH0721373A (ja) 1993-06-17 1995-01-24 Asahi Optical Co Ltd 個人識別装置
US5818956A (en) * 1995-10-23 1998-10-06 Tuli; Raja Singh Extended fingerprint reading apparatus
US6259108B1 (en) 1998-10-09 2001-07-10 Kinetic Sciences Inc. Fingerprint image optical input apparatus
JP3821614B2 (ja) * 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
JP2001358904A (ja) 2000-06-15 2001-12-26 Nippon Sheet Glass Co Ltd ラインセンサモジュール
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
JP2002171537A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JP2002218160A (ja) 2001-01-19 2002-08-02 Nippon Sheet Glass Co Ltd 密着型イメージセンサ
JP2003060916A (ja) * 2001-08-16 2003-02-28 Minolta Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP3705766B2 (ja) * 2001-11-28 2005-10-12 独立行政法人科学技術振興機構 画像入力装置
JP4387643B2 (ja) * 2002-07-31 2009-12-16 富士通株式会社 個人認識機能付き処理装置
US8190239B2 (en) * 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
JP3770241B2 (ja) * 2003-03-04 2006-04-26 株式会社日立製作所 個人認証装置及び個人認証方法
JP2004272821A (ja) 2003-03-12 2004-09-30 Hitachi Ltd 個人認証装置
US7539330B2 (en) * 2004-06-01 2009-05-26 Lumidigm, Inc. Multispectral liveness determination
JP4347599B2 (ja) * 2003-04-10 2009-10-21 オリンパス株式会社 個人認証装置
US7158659B2 (en) * 2003-04-18 2007-01-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for multiplexing illumination in combined finger recognition and finger navigation module
US20070036399A1 (en) * 2003-08-13 2007-02-15 Hitachi, Ltd. Personal identification device
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
WO2005069216A1 (ja) 2004-01-15 2005-07-28 Matsushita Electric Industrial Co., Ltd. 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
JP4322155B2 (ja) 2004-03-24 2009-08-26 株式会社リコー 可動物体又は静止物体の形状測定装置及び測定方法
US7336372B2 (en) 2004-09-14 2008-02-26 Zvi Yaniv Noninvasive optical imaging by speckle ensemble
JP2006135823A (ja) * 2004-11-09 2006-05-25 Canon Inc 画像処理装置、撮像装置および画像処理プログラム
JP2007110588A (ja) * 2005-10-17 2007-04-26 Funai Electric Co Ltd 複眼撮像装置
JP2007156749A (ja) 2005-12-02 2007-06-21 Ricoh Co Ltd 画像入力装置
JP4673202B2 (ja) 2005-12-06 2011-04-20 株式会社リコー 画像入力装置
JP2007304525A (ja) 2006-05-15 2007-11-22 Ricoh Co Ltd 画像入力装置および電子機器および画像入力方法
JP4866147B2 (ja) 2006-05-22 2012-02-01 株式会社リコー 画像シフト検出方法および装置および画像入力装置
US8175346B2 (en) * 2006-07-19 2012-05-08 Lumidigm, Inc. Whole-hand multispectral biometric imaging
US8204282B2 (en) * 2007-09-14 2012-06-19 Ricoh Company, Ltd. Image input device and personal authentication device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097328A (ja) * 2006-10-12 2008-04-24 Ricoh Co Ltd 画像入力装置、個人認証装置及び電子機器

Also Published As

Publication number Publication date
EP2054850A1 (en) 2009-05-06
US20080316323A1 (en) 2008-12-25
KR20080088591A (ko) 2008-10-02
CN101361095A (zh) 2009-02-04
TWI365417B (en) 2012-06-01
EP2054850A4 (en) 2011-06-15
US8085312B2 (en) 2011-12-27
WO2008044781A1 (en) 2008-04-17
TW200834434A (en) 2008-08-16
KR101027455B1 (ko) 2011-04-06
JP2008097327A (ja) 2008-04-24

Similar Documents

Publication Publication Date Title
JP4864632B2 (ja) 画像入力装置、画像入力方法、個人認証装置及び電子機器
JP5293950B2 (ja) 個人認証装置及び電子機器
JP5067885B2 (ja) 画像入力装置及び個人認証装置
JP4915859B2 (ja) 物体の距離導出装置
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP2009225064A (ja) 画像入力装置、認証装置、およびそれらを搭載した電子機器
US10791282B2 (en) High dynamic range camera assembly with augmented pixels
JP5229489B2 (ja) 生体認証装置
JP2008212311A (ja) 生体認証装置
JP2007074079A (ja) 画像入力装置
US8204282B2 (en) Image input device and personal authentication device
JP4802121B2 (ja) 生体認証装置および生体認証装置を用いた認証方法
US20200260021A1 (en) Differentiated imaging using camera assembly with augmented pixels
JP7160044B2 (ja) 電子機器
CN111279677A (zh) 图像显示装置和图像显示方法
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
KR20120043980A (ko) 시선 추적 시스템 및 그 방법
JP4953292B2 (ja) 画像入力装置、個人認証装置及び電子機器
US11497392B2 (en) Extended depth of field intraoral imaging apparatus
JP7247890B2 (ja) 電子機器及び信号処理装置
JP5229490B2 (ja) 生体認証装置
JP4803676B2 (ja) 画像入力装置及び個人認証装置
JP2009223526A (ja) 画像入力装置及び個人認証装置
JP2010092148A (ja) 画像入力装置及び個人認証装置
WO2020178905A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4864632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees