JP2023029941A - 撮像システム、撮像方法、コンピュータプログラム及び記録媒体 - Google Patents

撮像システム、撮像方法、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP2023029941A
JP2023029941A JP2022192948A JP2022192948A JP2023029941A JP 2023029941 A JP2023029941 A JP 2023029941A JP 2022192948 A JP2022192948 A JP 2022192948A JP 2022192948 A JP2022192948 A JP 2022192948A JP 2023029941 A JP2023029941 A JP 2023029941A
Authority
JP
Japan
Prior art keywords
imaging
iris
point
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022192948A
Other languages
English (en)
Inventor
有加 荻野
Yuka OGINO
慶一 蝶野
Keiichi Chono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022192948A priority Critical patent/JP2023029941A/ja
Publication of JP2023029941A publication Critical patent/JP2023029941A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】移動する撮像対象を適切に撮像可能な撮像システム、撮像方法、コンピュータプログラム及び記録媒体を提供する。【解決手段】撮像システムである虹彩認証システム1は、認証対象者Tの移動方向に沿って基準地点P0から距離D1だけ離れたトリガ地点P1に位置する撮像対象である認証対象者Tのターゲット部位TPを撮像するである全体カメラ2と、トリガ地点よりも全体カメラ2側に位置し、基準地点P0から距離D2だけ離れるピント地点P2を撮像する複数の虹彩カメラ3と、全体カメラが撮像した画像における認証対象者Tの位置に基づいて、虹彩カメラ3が撮像する画像における認証対象者Tの虹彩位置を特定し、当該虹彩位置に基づいて虹彩カメラ3を制御する制御装置を備える。【選択図】図2

Description

本発明は、撮像対象を撮像可能な撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の技術分野に関する。
撮像対象を撮像可能な撮像システムの一例として、撮像対象の一例である対象者の虹彩を撮像することで虹彩認証を行う虹彩認証システムが知られている。例えば、特許文献1には、対象者が静止せずとも虹彩認証を可能にするウォークスルータイプの虹彩認証システムが記載されている。具体的には、特許文献1には、広角カメラと複数の虹彩カメラとを備え、広角カメラの画像を処理することで複数の虹彩カメラから認証に使用されるべき虹彩カメラを選択する虹彩認証システムが記載されている。
その他、本願発明に関連する先行技術文献として、特許文献2及び3があげられる。
特開2010-134735号公報 特開2014-067090号公報 特開平10-159529号公報
特許文献1に記載された虹彩認証システムは、虹彩カメラを用いて移動する対象者を適切に撮像できない可能性があるという技術的問題を有している。具体的には、広角カメラと複数の虹彩カメラとを備える虹彩認証システムは、移動する対象者が虹彩カメラの合焦位置に到達する前に、認証に使用されるべき虹彩カメラを選択する(更には、必要に応じて、選択された虹彩カメラのパラメータを設定する)必要がある。このため、虹彩認証システムは、移動する対象者が虹彩カメラの合焦位置に到達する前に広角カメラを用いて対象者を撮像し、広角カメラの画像に基づいて認証に使用されるべき虹彩カメラを選択することが望ましい。しかしながら、特許文献1では、この点について何ら考慮されていない。
尚、虹彩認証システムに限らず、第1撮像装置が撮像した撮像対象の画像に基づいて、移動する撮像対象を撮像するように第2撮像装置を制御する任意の撮像システムにおいても、上述した技術的問題が生じる可能性がある。
本発明は、上述した技術的問題を解決可能な撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体を提供することを課題とする。一例として、本発明は、移動する撮像対象を適切に撮像可能な撮像システム、撮像方法、コンピュータプログラム及び記録媒体を提供することを課題とする。
課題を解決するための撮像システムの第1の態様は、第1地点に位置する撮像対象を撮像する第1撮像装置と、前記第1地点よりも前記第1の撮像装置側に位置する第2地点を撮像する第2撮像装置と、前記第1撮像装置が撮像した画像における前記撮像対象の位置に基づいて、前記第2撮像装置が撮像する画像における前記撮像対象の虹彩位置を特定し、前記虹彩位置に基づいて前記第2撮像装置を制御する制御装置とを備える。
課題を解決するための撮像方法の第1の態様は、第1地点に位置する撮像対象を撮像する第1撮像装置が撮像した画像を取得する取得工程と、前記取得工程で取得された画像における前記撮像対象の位置に基づいて、前記第1地点よりも前記第1の撮像装置側に位置する第2地点を撮像する第2撮像装置を制御する制御工程であって、当該第2撮像装置が撮像する画像における前記撮像対象の虹彩位置を特定し、当該虹彩位置に基づいて前記第2撮像装置を制御する制御工程とを備える。
課題を解決するためのコンピュータプログラムの一の態様は、コンピュータに、上述した撮像方法の第1の態様を実行させる。
上述した撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体のそれぞれの一の態様によれば、移動する撮像対象を適切に撮像することができる。
図1は、本実施形態の虹彩認証システムの全体構成を示すブロック図である。 図2は、全体カメラ及び虹彩カメラと認証対象者との位置関係を示す模式図である。 図3は、本実施形態の虹彩認証装置のハードウェア構成を示すブロック図である。 図4は、本実施形態の虹彩認証装置が備えるCPU内で実現される機能ブロックを示すブロック図である。 図5は、本実施形態の虹彩認証システムの動作(つまり、虹彩認証動作)の流れを示すフローチャートである。 図6は、全体画像の一例を示す平面図である。 図7は、全体画像の一例を示す平面図である。 図8は、全体画像と複数の虹彩画像との関係を示す平面図である。 図9は、第1変形例の虹彩認証システムの全体構成を示すブロック図である。 図10は、第1変形例の虹彩認証システムの動作(つまり、虹彩認証動作)の流れを示すフローチャートである。 図11は、虹彩認証装置が備えるCPU内で実現される機能ブロックの変形例を示すブロック図である。
以下、図面を参照しながら、撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の実施形態について説明する。以下では、撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の実施形態が適用された虹彩認証システム1について説明する。虹彩認証システム1は、撮像対象の一例である認証対象者T(例えば、人間)の虹彩のパターンに基づいて認証対象者Tの認証を行う虹彩認証動作を実行する。このような虹彩認証システム1は、例えば、空港における入出国手続きを自動化するためのシステム(いわゆる、ABC(Automated Border Control))の一部として採用されてもよい。この場合、虹彩認証システム1は、移動する認証対象者Tの認証を行うウォークスルータイプの虹彩認証システムであってもよい。以下では、虹彩認証システム1がウォークスルータイプの虹彩認証システムである例を用いて説明を進める。但し、虹彩認証システム1がこの段落で例示した虹彩認証システムに限定されることはなく、虹彩認証システム1は、認証対象者Tの認証を行うことが可能な任意の虹彩認証システムとして用いられてもよい。尚、虹彩認証システム1は、後述する付記における「撮像システム」の一具体例である。
(1)虹彩認証システム1の構成
(1-1)虹彩認証システム1の全体構成
はじめに、図1を参照しながら、本実施形態の虹彩認証システム1の全体構成について説明する。図1は、本実施形態の虹彩認証システム1の全体構成を示すブロック図である。
図1に示すように、虹彩認証システム1は、後述する付記における「第1撮像装置」の一具体例である全体カメラ2と、夫々が後述する付記における「第2撮像装置」の一具体例である複数の虹彩カメラ3と、後述する付記における「制御装置」の一具体例である虹彩認証装置6とを備える。虹彩認証システム1は更に、後述する付記における「第1検知装置」の一具体例である人感センサ4と、後述する付記における「第2検知装置」の一具体例である人感センサ5とを備えていてもよい。図1は、虹彩認証システム1がn(但し、nは2以上の整数)個の虹彩カメラ3を備えている例を示している。以下の説明では、必要に応じて、n個の虹彩カメラ3を、夫々、虹彩カメラ3-1、虹彩カメラ3-2、・・・、及び虹彩カメラ3-nと称する。尚、虹彩カメラ3の数は、各虹彩カメラ3の特性(例えば、各虹彩カメラ3の視野範囲及び各虹彩カメラ3の解像度等の少なくとも一つ)に応じて適宜設定されてもよい。
全体カメラ2及び複数の虹彩カメラ3の夫々は、認証対象者Tを撮像可能な撮像装置である。以下、図2を参照しながら、全体カメラ2及び複数の虹彩カメラ3について更に詳細に説明する。図2は、全体カメラ2及び複数の虹彩カメラ3と認証対象者Tとの位置関係を示す模式図である。
図2に示すように、全体カメラ2は、各虹彩カメラ3の視野範囲よりも広い視野範囲で認証対象者Tを撮像する。つまり、全体カメラ2の視野範囲は、各虹彩カメラ3の視野範囲よりも広い。具体的には、全体カメラ2の視野範囲は、認証対象者Tの身長の長短にかかわらずに全体カメラ2が認証対象者Tを撮像できるように、適切な範囲に設定されている。つまり、全体カメラ2の視野範囲は、全体カメラ2が相対的に背の高い認証対象者Tを撮像できると共に相対的に背の低い認証対象者Tも撮像できるように、適切な範囲に設定されている。特に、全体カメラ2の視野範囲は、認証対象者Tの身長の長短にかかわらずに、全体カメラ2が、認証対象者Tのうち認証のために用いられるターゲット部位TP(本実施形態では、虹彩を含む目)を撮像できるように、適切な範囲に設定されている。
尚、本実施形態における「カメラの視野範囲」は、カメラが撮像可能な光景が含まれる範囲を意味しており、撮像範囲と称されてもよい。このような視野範囲の大きさは、典型的には、カメラの画角(言い換えれば、視野角)が大きくなるほど大きくなる。このため、典型的には、全体カメラ2の光学系(例えば、レンズ)は、各虹彩カメラ3の光学系よりも広角な光学系となる。つまり、全体カメラ2の画角は、各虹彩カメラ3の画角よりも広くなる。また、カメラの画角は、典型的には、カメラが備える光学系(例えば、レンズ)の焦点距離が短くなればなるほど大きくなる。このため、典型的には、全体カメラ2の光学系の焦点距離は、各虹彩カメラ3の光学系の焦点距離よりも短くなる。
全体カメラ2は、トリガ地点P1に位置する認証対象者Tを撮像する。つまり、全体カメラ2の視野範囲は、トリガ地点P1に位置する認証対象者Tを全体カメラ2が撮像できるように、適切な視野範囲に設定されている。トリガ地点P1は、認証対象者Tの移動経路上に位置する地点である。更に、トリガ地点P1は、トリガ地点P1に向かって移動している認証対象者Tから見て、基準地点P0よりも手前側に位置する地点である。つまり、トリガ地点P1は、基準地点P0よりも、認証対象者Tの移動方向における手前側(つまり、後方側)に位置する地点である。更に、トリガ地点P1は、認証対象者Tの移動方向に沿って基準地点P0から距離D1だけ離れた地点である。基準地点P0は、例えば、各虹彩カメラ3が設置されている地点であってもよい。或いは、基準地点P0は、例えば、移動する認証対象者Tの目的地であってもよい。目的地は、例えば、認証対象者Tが認証後に通過する地点(例えば、空港のゲートが設置されている地点)であってもよい。
図2に示す例では、認証対象者Tは、紙面左側から右側に向かって移動している。従って、図2に示す例では、トリガ地点P1は、基準地点P0から紙面左側に向かって距離D1だけ離れた地点である。尚、認証対象者Tは、移動方向が常に同一となる直線状の経路に沿って移動してもよいし、移動方向が途中で変わる経路(例えば、曲線状の経路又は折れ曲がった経路)に沿って移動してもよい。
全体カメラ2は、全体カメラ2の合焦位置がトリガ地点P1に位置するように配置されることが好ましい。尚、本実施形態における「合焦位置」は、ベストフォーカス位置の前後に広がる一定の領域(例えば、ピントが合っているとみなすことが可能な領域であり、被写界深度に相当する領域)を意味するものとする。この場合には、全体カメラ2は、全体カメラ2の合焦位置がトリガ地点P1を含む領域となる(つまり、合焦位置に相当する領域内にトリガ地点P1が位置する)ように配置されることが好ましい。逆に言えば、全体カメラ2の合焦位置に、トリガ地点P1が設定される。
全体カメラ2は、全体カメラ2が撮像した画像である全体画像200から、トリガ地点P1に位置する認証対象者Tの顔を識別することができる程度の解像度を有している。特に、全体カメラ2は、トリガ地点P1に位置する認証対象者Tのターゲット部位TP(つまり、目)が全体画像200内のどこに位置しているかを全体画像200から識別することができる程度の解像度を有している。
一方で、各虹彩カメラ3は、ピント地点P2に位置する認証対象者Tを撮像する。つまり、各虹彩カメラ3の視野範囲は、ピント地点P2に位置する認証対象者Tを各虹彩カメラ3が撮像できるように、適切な視野範囲に設定されている。ピント地点P2は、トリガ地点P1と同様に、認証対象者Tの移動経路上に位置する地点である。更に、ピント地点P2は、トリガ地点P1と同様に、ピント地点P2に向かって移動している認証対象者Tから見て基準地点P0よりも手前側に位置する地点である。つまり、ピント地点P2は、基準地点P0よりも、認証対象者Tの移動方向における手前側(つまり、後方側)に位置する地点である。更に、ピント地点P2は、認証対象者Tの移動方向に沿って基準地点P0から距離D2だけ離れた地点である。図2に示す例では、認証対象者Tは、紙面左側から右側に向かって移動している。従って、図2に示す例では、ピント地点P2は、基準地点P0から紙面左側に向かって距離D2だけ離れた地点である。
ピント地点P2と基準地点P0との間の距離D2は、トリガ地点P1と基準地点P0との間の距離D1よりも短い。このため、ピント地点P2は、トリガ地点P1よりも、認証対象者Tの移動方向における奥側(つまり、前方側)に位置する。言い換えれば、トリガ地点P1は、ピント地点P2よりも、認証対象者Tの移動方向における手前側(つまり、後方側)に位置する。従って、移動する認証対象者Tは、トリガ地点P1を通過した後に、ピント地点P2を通過する。言い換えれば、移動する認証対象者Tは、ピント地点P2を通過する前に、トリガ地点P1を通過する。尚、距離D1及びD2は、距離D2が距離D1よりも短いという関係を満たす限りは、どのような値に設定されてもよい。一例として、距離D1及びD2は、夫々、3m及び2mに設定されてもよい。
各虹彩カメラ3は、各虹彩カメラ3の合焦位置がピント地点P2に位置するように配置される。具体的には、各虹彩カメラ3は、各虹彩カメラ3の合焦位置がピント地点P2を含む領域となる(つまり、合焦位置に相当する領域内にピント地点P2が位置する)ように配置されると言える。逆に言えば、各虹彩カメラ3の合焦位置に、ピント地点P2が設定される。尚、上述したように全体カメラ2の画角が各虹彩カメラ3の画角よりも広くなる(つまり、全体カメラ2の光学系の焦点距離が各虹彩カメラ3の光学系の焦点距離よりも短くなる)がゆえに、各虹彩カメラ3の合焦位置に相当する領域と比較して、全体カメラ2の合焦位置に相当する領域は広くなる。
複数の虹彩カメラ3は、複数の虹彩カメラ3の視野範囲がピント地点P2において垂直方向(或いは、垂直方向とは異なる所望の方向)に沿って部分的に重複するように配置される。図2に示す例では、複数の虹彩カメラ3は、ピント地点P2において虹彩カメラ3-k(但し、kは、1≦k<nを満たす整数)の視野範囲の下端部と虹彩カメラ3-m(但し、mは、1<k+1=m≦nを満たす整数)の視野範囲の上端部とが重複するように配置されている。その結果、視野範囲が部分的に重複する2つの虹彩カメラ3が夫々撮像した2つの画像内には、部分的に同じ光景が映り込む。図2に示す例では、虹彩カメラ3-kが撮像した画像の下端部と虹彩カメラ3-mが撮像した画像の上端部とに、同じ光景が写り込む。
複数の虹彩カメラ3は、複数の虹彩カメラ3の視野範囲を合成した合成視野範囲が、水平方向に所定の水平長さを有し且つ垂直方向に所定の垂直長さを有するように配置される。所定の水平長さは、ピント地点P2に位置する認証対象者Tのターゲット部位TPを合成視野範囲に含めることができる長さ(例えば、0.2m)であってもよい。所定の垂直長さは、認証対象者Tの身長の長短に関わらずにピント地点P2に位置する認証対象者Tのターゲット部位TPを合成視野範囲に含めることができる長さ(例えば、0.4m)であってもよい。
各虹彩カメラ3は、各虹彩カメラ3が撮像した画像である虹彩画像300から、ピント地点P2に位置する認証対象者Tのターゲット部位TPを識別することができる程度の解像度を有している。特に、各虹彩カメラ3は、各虹彩カメラ3が撮像した画像である虹彩画像300から、ピント地点P2に位置する認証対象者Tの虹彩のパターンを識別することができる程度の解像度を有している。
尚、図2に示す例では、全体カメラ2の視野範囲が複数の虹彩カメラ3の少なくとも一つの視野範囲と部分的に重複している。この場合、トリガ地点P1に位置する認証対象者T(特に、ターゲット部位TP)及びピント地点P2に位置する認証対象者T(特に、ターゲット部位TP)の双方が全体カメラ2の視野範囲に含まれていてもよい。例えば、トリガ地点P1に位置する認証対象者T(特に、ターゲット部位TP)及びピント地点P2に位置する認証対象者T(特に、ターゲット部位TP)の双方が、各虹彩カメラ3の視野範囲に含まれていてもよい。但し、全体カメラ2の視野範囲は、複数の虹彩カメラ3の夫々の視野範囲と重複していなくてもよい。例えば、トリガ地点P1に位置する認証対象者T(特に、ターゲット部位TP)が全体カメラ2の視野範囲に含まれる一方で、ピント地点P2に位置する認証対象者T(特に、ターゲット部位TP)が全体カメラ2の視野範囲に含まれなくてもよい。例えば、ピント地点P2に位置する認証対象者T(特に、ターゲット部位TP)が各虹彩カメラ3の視野範囲に含まれる一方で、トリガ地点P1に位置する認証対象者T(特に、ターゲット部位TP)が各虹彩カメラ3の視野範囲に含まれなくてもよい。
再び図1において、人感センサ4は、トリガ地点P1に認証対象者Tが位置しているか否かを検知するための検知装置である。人感センサ4の検知結果は、虹彩認証装置6に出力される。人感センサ4の検知結果は、全体カメラ2がトリガ地点P1に位置する認証対象者Tを撮像するか否かを決定するための条件として用いられる。
人感センサ5は、ピント地点P2に認証対象者Tが位置しているか否かを検知するための検知装置である。人感センサ5の検知結果は、虹彩認証装置6に出力される。人感センサ5の検知結果は、虹彩カメラ3がピント地点P2に位置する認証対象者Tを撮像するか否かを決定するための条件として用いられる。
虹彩認証装置6は、虹彩認証システム1の全体の動作を制御する。本実施形態では特に、虹彩認証装置6は、虹彩認証動作を実行する。虹彩認証動作は、例えば、全体カメラ2が撮像した全体画像200に基づいて、複数の虹彩カメラ3の中からピント地点P2に位置する認証対象者Tを撮像するための一の虹彩カメラ3を選択する処理と、選択された一の虹彩カメラ3が撮像した虹彩画像300に基づいて、認証対象者Tの認証を行う処理とを含む動作である。以下、このような虹彩認証動作を実行する虹彩認証装置6の構成について、更に詳細に説明する。
(1-2)虹彩認証装置6の構成
続いて、図3を参照しながら、本実施形態の虹彩認証装置6の構成について説明する。図3は、本実施形態の虹彩認証装置6のハードウェア構成を示すブロック図である。
図3に示すように、虹彩認証装置6は、CPU(Central Processing Unit)61と、RAM(Random Access Memory)62と、ROM(Read Only Memory)63と、記憶装置64と、入力装置65と、出力装置66とを備えている。CPU61と、RAM62と、ROM63と、記憶装置64と、入力装置65と、出力装置66とは、データバス67を介して接続されている。但し、虹彩認証装置6は、RAM62、ROM63、記憶装置64、入力装置65、出力装置66及びデータバス67の少なくとも一つを備えていなくてもよい。
CPU61は、コンピュータプログラムを読み込む。例えば、CPU61は、RAM62、ROM63及び記憶装置64のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込んでもよい。例えば、CPU61は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。CPU61は、ネットワークインタフェースを介して、虹彩認証装置6の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。CPU61は、読み込んだコンピュータプログラムを実行することで、RAM62、記憶装置64、入力装置65及び出力装置66を制御する。本実施形態では特に、CPU61が読み込んだコンピュータプログラムを実行すると、CPU61内には、虹彩認証動作を実行するための論理的な機能ブロックが実現される。つまり、CPU61は、虹彩認証動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
虹彩認証動作を行うためにCPU61内に実現される論理的な機能ブロックの一例が図4に示されている。図4に示すように、CPU61内には、虹彩認証動作を実行するための論理的な機能ブロックとして、後述する付記における「取得手段」の一具体例である画像取得部611と、後述する付記における「制御手段」の一具体例である領域検出部612と、後述する付記における「制御手段」の一具体例である座標推定部613と、後述する付記における「制御手段」の一具体例であるカメラ設定部614と、後述する付記における「制御手段」の一具体例である撮像制御部615と、認証部616とが実現される。尚、画像取得部611、領域検出部612、座標推定部613、カメラ設定部614、撮像制御部615及び認証部616の夫々の動作については、図5等を参照しながら後に詳述するため、ここでの詳細な説明を省略する。
再び図3において、RAM62は、CPU61が実行するコンピュータプログラムを一時的に記憶する。RAM62は、CPU61がコンピュータプログラムを実行している際にCPU61が一時的に使用するデータを一時的に記憶する。RAM62は、例えば、D-RAM(Dynamic RAM)であってもよい。
ROM63は、CPU61が実行するコンピュータプログラムを記憶する。ROM63は、その他に固定的なデータを記憶していてもよい。ROM63は、例えば、P-ROM(Programmable ROM)であってもよい。
記憶装置64は、虹彩認証装置6が長期的に保存するデータを記憶する。記憶装置64は、CPU61の一時記憶装置として動作してもよい。記憶装置64は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入力装置65は、虹彩認証装置6のユーザからの入力指示を受け取る装置である。入力装置65は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
出力装置66は、虹彩認証装置6に関する情報を外部に対して出力する装置である。例えば、出力装置66は、虹彩認証装置6に関する情報を表示可能な表示装置であってもよい。
(2)虹彩認証動作の流れ
続いて、図5を参照しながら、本実施形態の虹彩認証システム1の動作(つまり、虹彩認証動作)の流れについて説明する。図5は、本実施形態の虹彩認証システム1の動作(つまり、虹彩認証動作)の流れを示すフローチャートである。
図5に示すように、撮像制御部615は、人感センサ4の検知結果に基づいて、トリガ地点P1に認証対象者Tが位置しているか否かを判定する(ステップS11)。ステップS11における判定の結果、トリガ地点P1に認証対象者Tが位置していないと判定された場合には(ステップS11:No)、ステップS11の処理が繰り返し行われる。他方で、ステップS11における判定の結果、トリガ地点P1に認証対象者Tが位置していると判定された場合には(ステップS11:Yes)、撮像制御部615は、トリガ地点P1に位置している認証対象者Tを撮像するように、全体カメラ2を制御する(ステップS12)。その結果、全体カメラ2は、トリガ地点P1に位置している認証対象者Tを撮像する(ステップS12)。全体カメラ2が撮像した全体画像200は、画像取得部611によって取得される(ステップS12)。
その後、領域検出部612は、ステップS12において取得された全体画像200に対して画像処理を行うことで、全体画像200のうちターゲット部位TPが写り込んでいる画像部分を、ターゲット領域TAとして検出する(ステップS21)。例えば、全体画像200中のターゲット領域TAの一例を示す平面図である図6に示すように、領域検出部612は、全体画像200のうちターゲット部位TPが写り込んでいる矩形状の(或いは、その他の形状の)画像部分を、ターゲット領域TAとして検出する。更に、領域検出部612は、検出したターゲット領域TAの全体画像200内での位置座標Cを算出する(ステップS21)。位置座標Cは、ターゲット領域TAの所望部分(例えば、隅部分)の座標を含んでいてもよい。位置座標Cは、典型的には、二次元座標(或いは、二次元ベクトル)である。尚、以降の説明では、説明の便宜上、ステップS21で算出される位置座標Cを、“位置座標C(全体:P1)”と称する。
その後、座標推定部613は、ステップS21で算出したターゲット領域TAの位置座標C(全体:P1)に基づいて、ピント地点P2に位置する同じ認証対象者Tを全体カメラ2が撮像したと仮定した場合に取得される全体画像200内でのターゲット領域TAの位置座標Cを推定する(ステップS22)。より具体的には、座標推定部613は、トリガ地点P1からピント地点P2に移動した認証対象者Tを全体カメラ2が撮像したと仮定した場合に取得されると想定される全体画像200内でのターゲット領域TAの位置座標Cを推定する(ステップS22)。つまり、座標推定部613は、トリガ地点P1に位置していた認証対象者Tがピント地点P2に移動した状況下で全体カメラ2がピント地点P2に位置する認証対象者Tを撮像したと仮定した場合に取得されると想定される全体画像200内でのターゲット領域TAの位置座標Cを推定する(ステップS22)。尚、以降の説明では、説明の便宜上、ステップS22で推定される位置座標Cを、“位置座標C(全体:P2)”と称する。また、以降の説明では、説明の便宜上、トリガ地点P1に位置する認証対象者Tを全体カメラ2が撮像することで実際に取得された全体画像200を、“全体画像200(P1)”と称する一方で、トリガ地点P1からピント地点P2に移動した認証対象者Tを全体カメラ2が撮像したと仮定した場合に取得されると想定される全体画像200を、“全体画像200(P2)”と称することで、両者を区別する。
トリガ地点P1とピント地点P2とが異なるがゆえに、全体画像200(P1)を示す図6及び全体画像200(P2)を示す図7に示すように、全体画像200(P1)内での認証対象者Tの大きさ及び位置の少なくとも一方は、全体画像200(P2)内での認証対象者Tの大きさ及び位置の少なくとも一方と異なる可能性が高い。特に、トリガ地点P1とピント地点P2とが離れれば離れるほど、全体画像200(P1)内での認証対象者Tの大きさ及び位置の少なくとも一方は、全体画像200(P2)内での認証対象者Tの大きさ及び位置の少なくとも一方とより一層大きく異なる可能性が高い。このため、典型的には、位置座標C(全体:P1)と位置座標C(全体:P2)とが異なるものとなる可能性が高い。
座標推定部613は、全体画像200(P1)に写り込んでいる物体と全体画像200(P2)に写り込んでいる同じ物体との対応関係(典型的には、位置関係)を示す第1対応情報を用いて、位置座標C(全体:P1)から位置座標C(全体:P2)を推定してもよい。このような第1対応情報は、典型的には、全体画像200(P1)に写り込んでいる物体の全体画像200(P1)内での位置座標と、当該物体がトリガ地点P1からピント地点P2に向かって認証対象者Tと同じように移動した場合に取得されると想定される全体画像200(P2)に写り込んでいる同じ物体の全体画像200(P2)内での位置座標との対応関係を示す。このため、第1対応情報は、実質的には、認証対象者Tの移動態様(例えば、認証対象者Tの移動方向)が反映された情報となる。つまり、第1対応情報は、実質的には、認証対象者Tの移動態様(例えば、認証対象者Tの移動方向)に関する情報を含む。
第1対応情報は、トリガ地点P1に位置する物体を全体カメラ2が実際に撮像することで取得される全体画像200と、トリガ地点P1からピント地点P2に向かって認証対象者Tと同じように移動した同じ物体を全体カメラ2が実際に撮像することで取得される全体画像200とに基づいて、事前に(例えば、虹彩認証動作が実行される前に)算出されていてもよい。具体的には、第1対応情報は、トリガ地点P1に位置する物体の全体画像200内での位置座標と、ピント地点P2に位置する物体の全体画像200内での位置座標とに基づいて算出されていてもよい。或いは、第1対応情報は、トリガ地点P1に位置する物体を全体カメラ2が撮像した場合に取得されると想定される全体画像200と、トリガ地点P1からピント地点P2に向かって認証対象者Tと同じように移動した物体を全体カメラ2が撮像した場合に取得されると想定される全体画像200とをシミュレーション等によって算出すると共に、当該シミュレーションの結果に基づいて、事前に算出されていてもよい。シミュレーションの際には、全体カメラ2の位置、全体カメラ2のカメラパラメータ、トリガ地点P1の位置及びピント地点P2の位置の少なくとも一つが考慮されてもよい。或いは、第1対応情報は、その他の任意の方法で算出されていてもよい。
第1対応情報の一例として、位置座標C(全体:P1)を位置座標C(全体:P2)に変換する第1変換行列H1があげられる。この場合、座標推定部613は、位置座標C(全体:P2)=H1×位置座標C(全体:P1)という数式を用いて、位置座標C(全体:P2)を推定してもよい。このような第1変換行列H1は、例えば、トリガ地点P1に位置する物体をピント地点P2に位置する仮想的な面に投影する射影変換を表す行列であってもよい。
その後、座標推定部613は、ステップS22で推定した位置座標C(全体:P2)に基づいて、ピント地点P2に位置する同じ認証対象者Tを複数の虹彩カメラ3が撮像したと仮定した場合に夫々取得される複数の虹彩画像300内でのターゲット領域TAの位置座標Cを推定する(ステップS23)。より具体的には、座標推定部613は、トリガ地点P1からピント地点P2に移動した認証対象者Tを複数の虹彩カメラ3が撮像したと仮定した場合に夫々取得されると想定される複数の虹彩画像300内でのターゲット領域TAの位置座標Cを推定する(ステップS23)。つまり、座標推定部613は、トリガ地点P1に位置していた認証対象者Tがピント地点P2に移動した状況下で複数の虹彩カメラ3がピント地点P2に位置する認証対象者Tを撮像したと仮定した場合に夫々取得されると想定される複数の虹彩画像300内でのターゲット領域TAの位置座標Cを推定する(ステップS23)。尚、以降の説明では、説明の便宜上、ステップS23で推定される位置座標Cを、“位置座標C(虹彩:P2)”と称する。また、以降の説明では、説明の便宜上、トリガ地点P1からピント地点P2に移動した認証対象者Tを各虹彩カメラ3が撮像したと仮定した場合に取得されると想定される虹彩画像300を、“虹彩画像300(P2)”と称する。
上述したように各虹彩カメラ3の視野範囲が全体カメラ2の視野範囲よりも狭い。このため、全体画像200(P2)と複数の虹彩画像300との関係を示す図8に示すように、全体画像200(P2)に写り込んでいるターゲット領域TAが複数の虹彩画像300(P2)の全てに写り込んでいるとは限らない。つまり、複数の虹彩画像300(P2)は、ターゲット領域TAが写り込んでいる虹彩画像300(P2)及びターゲット領域TAが写り込んでいない虹彩画像300(P2)の双方を含んでいる可能性がある。図8に示す例では、ターゲット領域TAは、虹彩カメラ3-1が撮像すると想定される虹彩画像300(P2)-1に写り込んでいる一方で、虹彩カメラ3-2から3-nが夫々撮像すると想定される虹彩画像300(P2)-2から300(P2)-nに写り込んでいない。このため、ステップS23において、座標推定部613は、位置座標C(全体:P2)に基づいて、ターゲット領域TAが写り込むと想定される虹彩画像300(P2)を特定すると共に、特定した虹彩画像300(P2)内でのターゲット領域TAの位置座標C(虹彩:P2)を推定する。
座標推定部613は、全体画像200(P2)に写り込んでいる物体と複数の虹彩画像300(P2)の夫々に写り込んでいる同じ物体との対応関係(典型的には、位置関係)を示す第2対応情報を用いて、位置座標C(全体:P2)から位置座標C(虹彩:P2)を推定してもよい。このような第2対応情報は、典型的には、全体画像200(P2)に写り込んでいる物体の全体画像200(P2)内での位置座標と、複数の虹彩画像300(P2)の夫々に写り込んでいる同じ物体の虹彩画像300(P2)内での位置座標との対応関係を示す。
第2対応情報は、ピント地点P2に位置する物体を全体カメラ2が実際に撮像することで取得される全体画像200と、ピント地点P2に位置する同じ物体を複数の虹彩カメラ3が実際に撮像することで夫々取得される複数の虹彩画像300とに基づいて、事前に(つまり、虹彩認証動作が実行される前に)算出されていてもよい。具体的には、第2対応情報は、ピント地点P2の物体の全体画像200内での位置座標と、ピント地点P2の物体の虹彩画像300内での位置座標とに基づいて算出されていてもよい。或いは、対応情報は、ピント地点P2に位置する物体を全体カメラ2が撮像した場合に取得されると想定される全体画像200と、ピント地点P2に位置する同じ物体を複数の虹彩カメラ3が撮像した場合に夫々取得されると想定される複数の虹彩画像300とをシミュレーション等によって算出すると共に、当該シミュレーションの結果に基づいて、事前に算出されていてもよい。シミュレーションの際には、全体カメラ2の位置、全体カメラ2のカメラパラメータ、複数の虹彩カメラ3の位置、複数の虹彩カメラ3のカメラパラメータ、トリガ地点P1の位置及びピント地点P2の位置の少なくとも一つが考慮されてもよい。或いは、第2対応情報は、その他の任意の方法で算出されていてもよい。
第2対応情報の一例として、位置座標C(全体:P2)を位置座標C(虹彩:P2)に変換する第2変換行列H2があげられる。この場合、座標推定部613は、位置座標C(虹彩:P2)=H2×位置座標C(全体:P2)という数式を用いて、位置座標C(虹彩:P2)を推定してもよい。
その後、カメラ設定部614は、ステップS23で推定された位置座標C(虹彩:P2)に基づいて、複数の虹彩カメラ3の中から、ピント地点P2に位置する認証対象者Tを撮像するための一の虹彩カメラ3を選択する(ステップS31)。具体的には、上述したように、座標推定部613は、位置座標C(全体:P2)に基づいて、ターゲット領域TAが写り込んでいる虹彩画像300(P2)を特定している。従って、カメラ設定部614は、複数の虹彩カメラ3のうちターゲット領域TAが写り込んでいる虹彩画像300(P2)に対応する虹彩カメラ3を、ピント地点P2に位置する認証対象者Tを撮像するための一の虹彩カメラ3として選択する。図8に示す例では、カメラ設定部614は、虹彩画像300(P2)-1に対応する虹彩カメラ3-1を、ピント地点P2に位置する認証対象者Tを撮像するための一の虹彩カメラ3として選択する。
その後、カメラ設定部614は、ステップS31で選択された一の虹彩カメラ3が撮像する虹彩画像300のうちの虹彩認証を行うために実際に取得される(つまり、読み出される)画像部分を規定する注視領域(ROI:Region of Interest)IAを設定する(ステップS32)。具体的には、図8に示すように、カメラ設定部614は、例えば、選択された一の虹彩カメラ3が撮像する虹彩画像300のうちターゲット部位TPが写り込むと想定される矩形状の(或いは、その他の形状の)領域を、注視領域IAに設定する。つまり、図8に示すように、カメラ設定部614は、例えば、選択された一の虹彩カメラ3が撮像する虹彩画像300のうちターゲット領域TAを含む、ターゲット領域TAと一致する又はターゲット領域TAに含まれると想定される矩形状の(或いは、その他の形状の)領域を、注視領域IAに設定する。上述したように、ステップS23で推定された位置座標C(全体:P2)は、虹彩画像300(P2)内のターゲット領域TAの位置座標を示している。ターゲット領域TAにターゲット部位TPが含まれているため、カメラ設定部614は、位置座標C(虹彩:P2)に基づいて、注視領域IAを適切に設定することができる。図8に示す例では、カメラ設定部614は、虹彩画像300(P2)-1の一部を、注視領域IAに設定する。
注視領域IAが設定された場合には、虹彩認証システム1は、注視領域モードで動作する。この場合、画像取得部611は、虹彩カメラ3が撮像した虹彩画像300全体を取得することに代えて、虹彩画像300のうち注視領域IA内の画像部分(つまり、虹彩画像300の画像データのうちの一部)を取得する。つまり、画像取得部611は、虹彩画像300のうち注視領域IA以外の領域内の画像部分(つまり、虹彩画像300の画像データのうちの残りの一部)を取得しなくてもよい。その結果、虹彩画像300全体を取得する場合と比較して、画像取得部611が虹彩カメラ3から虹彩画像300を取得するフレームレートが実質的に向上する。例えば、虹彩画像300の半分の領域が注視領域IAに設定された場合には、虹彩画像300全体を取得する場合と比較して、フレームレートが2倍に向上する。このため、虹彩カメラ3自身のフレームレートが、虹彩認証に必要なフレームレートに満たない場合であっても、画像取得部611は、虹彩認証に必要なフレームレートで虹彩画像300を取得することができる。
その後、撮像制御部615は、人感センサ5の検知結果に基づいて、ピント地点P2に認証対象者Tが位置しているか否かを判定する(ステップS41)。つまり、撮像制御部615は、人感センサ5の検知結果に基づいて、ステップS11においてトリガ地点P1に位置していると判定された認証対象者Tが、ピント地点P2に移動したか否かを判定する(ステップS41)。ステップS41における判定の結果、ピント地点P2に認証対象者Tが位置していないと判定された場合には(ステップS41:No)、ステップS41の処理が繰り返し行われる。他方で、ステップS41における判定の結果、ピント地点P2に認証対象者Tが位置していると判定された場合には(ステップS41:Yes)、撮像制御部615は、ピント地点P2に位置している認証対象者Tを撮像するように、ステップS31で選択された一の虹彩カメラ3を制御する(ステップS42)。その結果、選択された一の虹彩カメラ3は、ピント地点P2に位置している認証対象者Tを撮像する(ステップS42)。選択された一の虹彩カメラ3が撮像した虹彩画像300(特に、虹彩画像300のうち注視領域IA内の画像部分)は、画像取得部611によって取得される(ステップS42)。
その後、認証部616は、ステップS42で取得された虹彩画像300を用いて、虹彩認証を行う(ステップS51)。例えば、認証部616は、ステップS42で取得された虹彩画像300に基づいて、認証対象者Tの虹彩のパターンを特定する。その後、認証部616は、特定したパターンが、記憶装置64等に記憶されたデータベースに登録されたパターンと一致するか否かを判定する。特定したパターンがデータベースに登録されたパターンと一致する場合には、認証部616は、認証対象者Tが正当な人物であると判定する。特定したパターンがデータベースに登録されたパターンと一致する場合には、認証部616は、認証対象者Tが正当な人物でないと判定する。
(3)虹彩認証システム1の技術的効果
以上説明したよう虹彩認証システム1では、虹彩カメラ3がピント地点P2に位置する認証対象者Tを撮像する前に、ピント地点P2とは異なる(具体的には、手前にある)トリガ地点P1に位置する認証対象者Tを全体カメラ2が撮像する。このため、虹彩認証システム1は、認証対象者Tがピント地点P2に位置する前に、認証対象者Tを撮像する一の虹彩カメラ3を選択することができる。言い換えれば、虹彩認証システム1は、認証対象者Tがトリガ地点P1からピント地点P2に移動する時間を利用して、認証対象者Tを撮像する一の虹彩カメラ3を選択する(更には、注視領域IAを設定する)ことができる。このため、虹彩認証システム1は、移動する認証対象者T(特に、そのターゲット部位TP)を適切に撮像することができる。
このようにトリガ地点P1とピント地点P2とが異なっていたとしても、虹彩認証システム1は、全体カメラ2が撮像した全体画像200(P1)に基づいて、認証対象者Tを撮像する一の虹彩カメラ3を適切に選択することができる。なぜならば、虹彩認証システム1は、全体画像200(P2)内でのターゲット領域TAの位置座標C(全体:P1)から、ピント地点P2に移動した認証対象者Tを全体カメラ2が撮像したと仮定した場合に取得されると想定される全体画像200(P2)内のターゲット領域TAの位置座標C(全体:P2)を推定し、その後、ピント地点P2に移動した認証対象者Tを虹彩カメラ3が撮像したと仮定した場合に取得されると想定される虹彩画像300(P2)内のターゲット領域TAの位置座標C(虹彩:P2)を推定しているからである。
ここで、トリガ地点P1とピント地点P2とが異なるがゆえに、上述した図6及び図7に示すように、位置座標C(全体:P1)と位置座標C(全体:P2)とが異なるものとなる可能性が高いことは上述したとおりである。従って、仮に位置座標C(全体:P1)がそのまま位置座標C(全体:P2)として用いられるとすれば、認証対象者Tを撮像するように選択された一の虹彩カメラ3が、ターゲット部位TPを適切に撮像することができなくなる可能性がある。つまり、仮に位置座標C(全体:P1)がそのまま位置座標C(全体:P2)として用いられるとすれば、カメラ設定部614は、ピント地点P2に位置する認証対象者Tのターゲット部位TPを撮像することができない虹彩カメラ3を、認証対象者Tを撮像するための一の虹彩カメラ3として誤って選択してしまう可能性がある、しかるに、本実施形態では、位置座標C(全体:P1)から位置座標C(全体:P2)が推定された後に、位置座標(虹彩:P2)が推定される。このため、位置座標C(全体:P1)がそのまま位置座標C(全体:P2)として用いられる場合と比較して、認証対象者Tを撮像するように選択された一の虹彩カメラ3がターゲット部位TPを適切に撮像することができなくなる可能性は小さくなる。つまり、ピント地点P2に位置する認証対象者Tのターゲット部位TPを撮像することができない虹彩カメラ3が、認証対象者Tを撮像するための一の虹彩カメラ3として誤って選択される可能性が小さくなる。このため、位置座標C(全体:P1)から位置座標C(全体:P2)を推定する処理は、ピント地点P2に位置する認証対象者Tのターゲット部位TPを撮像する虹彩カメラ3の適切な選択(つまりは、虹彩カメラ3によるターゲット部位TPの適切な撮像)に大きく寄与すると言える。
また、本実施形態では、トリガ地点P1及びピント地点P2に夫々対応する複数の人感センサ(つまり、人感センサ4及び5)が設置される。このため、虹彩認証システム1は、トリガ地点P1及びピント地点P2の夫々に認証対象者Tが位置するか否かを適切に判定することができる。つまり、虹彩認証システム1は、トリガ地点P1に位置する認証対象者Tを全体カメラ2で適切に撮像することができ、且つ、ピント地点P2に位置する認証対象者Tを虹彩カメラ3で適切に撮像することができる。
(4)変形例
(4-1)第1変形例
(4-1-1)第1変形例の虹彩認証システムaの構成
はじめに、図9を参照しながら、第1変形例の虹彩認証システム1aの全体構成について説明する。図9は、第1変形例の虹彩認証システム1aの全体構成を示すブロック図である。尚、以下の説明では、上述した虹彩認証システム1が備える構成要素と同一の構成要素については、同一の参照符号を付してその詳細な説明を省略する。
図9に示すように、虹彩認証システム1aは、虹彩認証システム1と比較して、全体カメラ2及び複数の虹彩カメラ3に代えて、単一の共通カメラ7aを備えているという点で異なっている。虹彩認証システム1aのその他の特徴は、虹彩認証システム1のその他の特徴と同一であってもよい。
共通カメラ7aは、全体カメラ2及び複数の虹彩カメラ3と同様に、認証対象者Tを撮像可能な撮像装置である。共通カメラ7aは、虹彩認証装置6の制御下で、その状態を、全体カメラ2として機能可能な全体撮像状態と、複数の虹彩カメラ3のうちの少なくとも一つとして機能可能な虹彩撮像状態との間で切替可能である。尚、全体撮像状態及び虹彩撮像状態は、夫々、後述する付記における「第1状態」及び「第2状態」の一具体例である。
全体撮像状態にある共通カメラ7aは、上述した全体カメラ2と実質的に等価である。つまり、全体撮像状態にある共通カメラ7aは、上述した全体カメラ2と同様に動作する。このため、全体撮像状態にある共通カメラ7aの特徴については、上述した全体カメラ2と同一であってもよいため、その詳細な説明を省略する。
虹彩撮像状態にある共通カメラ7aは、上述した複数の虹彩カメラ3のうちの少なくとも一つと実質的に等価である。つまり、虹彩撮像状態にある共通カメラ7aは、上述した複数の虹彩カメラ3の少なくとも一つと同様に動作する。このため、虹彩撮像状態にある共通カメラ7aの特徴については、上述した複数の虹彩カメラ3のうちの少なくとも一つと同一であってもよいため、その詳細な説明を省略する。尚、虹彩撮像状態にある共通カメラ7aの視野範囲は、典型的には、複数の虹彩カメラ3の視野範囲を合成した合成視野範囲(図2参照)と同一になる。このため、虹彩撮像状態にある共通カメラ7aは、上述した複数の虹彩カメラ3を単一のカメラとみなしたものと実質的に等価である。
状態を切り替えるために、共通カメラ7aは、例えば、光学的な特性(例えば、焦点距離)が可変な光学系を備えていてもよい。この場合、典型的には、全体撮像状態にある共通カメラ7aの光学系の焦点距離は、虹彩撮像状態にある共通カメラ7aの光学系の焦点距離よりも短くなる。その結果、共通カメラ7aは、全体カメラ2として機能可能となるとと共に、複数の虹彩カメラ3のうちの少なくとも一つとして機能可能となる。
一例として、共通カメラ7aは、いわゆるズームレンズを含む光学系を備えていてもよい。この場合、ズームレンズを含む光学系の焦点距離が相対的に短い第1の距離(例えば、上述した全体カメラ2の焦点距離に相当する第1の距離)に設定されると、共通カメラ7aの状態は、全体撮像状態となる。つまり、共通カメラ7aの合焦位置がトリガ地点P1を含む領域に設定され、共通カメラ7aは、相対的に広い視野範囲で(つまり、相対的に広い画角)で、トリガ地点P1に位置する認証対象者Tを撮像可能となる。一方で、ズームレンズを含む光学系の焦点距離が第1の距離から相対的に長い第2の距離(例えば、上述した虹彩カメラ3の焦点距離に相当する第2の距離)に設定されると、共通カメラ7aの状態は、全体撮像状態から虹彩撮像状態へと切り替わる。つまり、共通カメラ7aの合焦位置がピント地点P2を含む領域に設定され、共通カメラ7aは、相対的に狭い視野範囲で(つまり、相対的に狭い画角)で、ピント地点P2に位置する認証対象者Tを撮像可能となる。また、ズームレンズを含む光学系の焦点距離が第2の距離から第1の距離に設定されると、共通カメラ7aの状態が虹彩撮像状態から全体撮像状態へと戻る。
第1変形例では、虹彩認証動作として、例えば、全体撮像状態にある共通カメラ7aが撮像した画像に基づいて、虹彩撮像状態にある共通カメラ7aが撮像する画像のうちの虹彩認証を行うために実際に取得される(つまり、読み出される)画像部分を規定する注視領域(ROI:Region of Interest)IAを設定する処理と、虹彩撮像状態にある共通カメラ7aが撮像した画像に基づいて、認証対象者Tの認証を行う処理とを含む動作を行う。以下、このような第1変形例の虹彩認証動作について、更に詳細に説明する。尚、以下では、全体撮像状態にある共通カメラ7aが撮像した画像は、実質的に全体カメラ2が撮像した全体画像200と等価であるため、説明の便宜上、“全体画像200”と称する。また、虹彩撮像状態にある共通カメラ7aが撮像した画像は、実質的に複数の虹彩カメラ3が夫々撮像した複数の虹彩画像300を合成して得られる画像と等価であるため、説明の便宜上、“虹彩画像300”と称する。
(4-1-2)第1変形例の虹彩認証動作の流れ
続いて、図10を参照しながら、第1変形例の虹彩認証システム1aの動作(つまり、虹彩認証動作)の流れについて説明する。図10は、第1変形例の虹彩認証システム1aの動作(つまり、虹彩認証動作)の流れを示すフローチャートである。尚、上述した図5で説明した処理と同一の処理については、同一のステップ番号を付してその詳細な説明を省略する。
図10に示すように、第1変形例では、トリガ地点P1に認証対象者Tが位置していると判定された場合には(ステップS11:Yes)、撮像制御部615は、トリガ地点P1に位置している認証対象者Tを撮像するように、共通カメラ7aを制御する(ステップS12a)。この際、撮像制御部615は、トリガ地点P1に位置している認証対象者Tを撮像するように共通カメラ7aを制御する前に、共通カメラ7aの状態が全体撮像状態となるように共通カメラ7aを制御する。例えば、上述したように共通カメラ7aがズームレンズを含む光学系を備えている場合には、撮像制御部615は、ズームレンズを含む光学系の焦点距離が相対的に短い第1の距離に設定されるように、ズームレンズを制御する(例えば、ズームレンズに含まれる可動レンズを動かす)。その後、撮像制御部615は、トリガ地点P1に位置している認証対象者Tを撮像するように、共通カメラ7aを制御する。その結果、共通カメラ7aは、トリガ地点P1に位置している認証対象者Tを撮像する(ステップS12a)。共通カメラ7aが撮像した全体画像200(P1)は、画像取得部611によって取得される(ステップS12a)。
その後、領域検出部612は、ステップS12aにおいて取得された全体画像200(P1)に対して画像処理を行うことで、全体画像200(P1)のうちターゲット部位TPが写り込んでいる画像部分を、ターゲット領域TAとして検出する(ステップS21)。更に、領域検出部612は、検出したターゲット領域TAの全体画像200(P1)内での位置座標C(全体:P1)を算出する(ステップS21)。
その後、座標推定部613は、ステップS21で算出したターゲット領域TAの位置座標C(全体:P1)に基づいて、トリガ地点P1からピント地点P2に移動した認証対象者Tを全体撮像状態にある共通カメラ7aが撮像したと仮定した場合に取得されると想定される全体画像200(P2)内でのターゲット領域TAの位置座標C(全体:P2)を推定する(ステップS22a)。尚、ステップS22aにおいて、座標推定部613は、上述したステップS22と同様に、全体画像200(P1)に写り込んでいる物体と全体画像200(P2)に写り込んでいる同じ物体との対応関係を示す第1対応情報を用いて、位置座標C(全体:P1)から位置座標C(全体:P2)を推定してもよい。但し、第1変形例の第1対応情報は、共通カメラ7aを対象にする情報であるという点で、全体カメラ2を対象にする上述した第1対応情報とは異なる。
その後、座標推定部613は、ステップS22で推定した位置座標C(全体:P2)に基づいて、トリガ地点P1からピント地点P2に移動した認証対象者Tを虹彩撮像状態にある共通カメラ7aが撮像したと仮定した場合に取得されると想定される虹彩画像300内でのターゲット領域TAの位置座標C(虹彩:P2)を推定する(ステップS23a)。尚、ステップS23aにおいて、座標推定部613は、上述したステップS23と同様に、全体画像200(P2)に写り込んでいる物体と虹彩画像300(P2)に写り込んでいる同じ物体との対応関係を示す第2対応情報を用いて、位置座標C(全体:P2)から位置座標C(虹彩:P2)を推定してもよい。但し、第1変形例の第2対応情報は、全体撮像状態にある共通カメラ7a及び虹彩撮像状態にある共通カメラ7a(特に、ピント地点P2に位置する認証対象者Tのターゲット部位TPを撮像可能な虹彩撮像状態にある共通カメラ7a)を対象にする情報であるという点で、全体カメラ2及び虹彩カメラ3を対象にする上述した第2対応情報とは異なる。尚、第1変形例では、複数の虹彩カメラ3に代えて共通カメラ7aが用いられるがゆえに、座標推定部613は、位置座標C(全体:P2)に基づいて、複数の虹彩画像300(P2)の中からターゲット領域TAが写り込むと想定される一の虹彩画像300(P2)を特定する処理を行うことなく、虹彩画像300(P2)内でのターゲット領域TAの位置座標C(虹彩:P2)を推定する。
その後、カメラ設定部614は、ステップS23で推定された位置座標C(虹彩:P2)に基づいて、虹彩撮像状態にある共通カメラ7aが撮像する虹彩画像300のうちの虹彩認証を行うために実際に取得される(つまり、読み出される)画像部分を規定する注視領域(ROI:Region of Interest)IAを設定する(ステップS32a)。尚、ステップS32aの処理は、共通カメラ7aを対象としている点を除いては、虹彩カメラ3を対象としている上述したステップS32aの処理と同一であってもよい。
その後、ピント地点P2に認証対象者Tが位置していると判定された場合には(ステップS41:Yes)、撮像制御部615は、ピント地点P2に位置している認証対象者Tを撮像するように、共通カメラ7aを制御する(ステップS42a)。この際、撮像制御部615は、ピント地点P2に位置している認証対象者Tを撮像するように共通カメラ7aを制御する前に、共通カメラ7aの状態が全体撮像状態から虹彩撮像状態に切り替わるように共通カメラ7aを制御する。具体的には、撮像制御部615は、ステップS12aにおいて全体画像200が取得されてからステップS42aにおいて虹彩画像300が取得される前に、共通カメラ7aの状態が全体撮像状態から虹彩撮像状態に切り替わるように共通カメラ7aを制御してもよい。上述したように共通カメラ7aがズームレンズを含む光学系を備えている場合には、撮像制御部615は、ズームレンズを含む光学系の焦点距離が相対的に長い第2の距離に設定されるように、ズームレンズを制御する(例えば、ズームレンズに含まれる可動レンズを動かす)。つまり、撮像制御部615は、ズームレンズを含む光学系の焦点距離を、相対的に短い第1の距離から相対的に長い第2の距離に変更する。その結果、共通カメラ7aの状態が全体撮像状態から虹彩撮像状態に切り替わる。その後、撮像制御部615は、ピント地点P2に位置している認証対象者Tを撮像するように、共通カメラ7aを制御する。その結果、共通カメラ7aは、ピント地点P2に位置している認証対象者Tを撮像する(ステップS42a)。共通カメラ7aが撮像した虹彩画像300(特に、虹彩画像300のうち注視領域IA内の画像部分)は、画像取得部611によって取得される(ステップS42a)。
その後、認証部616は、ステップS42で取得された虹彩画像300を用いて、虹彩認証を行う(ステップS51)。
このような第1変形例の虹彩認証システム1aは、上述した虹彩認証システム1が享受可能な効果と同様の効果を享受することができる。
(4-2)その他の変形例
上述した説明では、座標推定部613は、第1及び第2対応情報という2つの対応情報を用いて、位置座標C(全体:P1)から位置座標C(全体:P2)を推定し、その後、位置座標C(全体:P2)から位置座標C(虹彩:P2)を推定している。しかしながら、座標推定部613は、第1及び第2対応情報という2つの対応情報に代えて、第1及び第2対応情報の双方が反映された単一の対応情報(例えば、第1変換行列H1×第2変換行列H2に相当する単一の変換行列)を用いて、位置座標C(全体:P1)から位置座標C(虹彩:P2)を直接的に推定してもよい。この場合であっても、単一の対応情報に第1対応情報が反映されている限りは、位置座標C(全体:P1)から位置座標C(虹彩:P2)を直接的に推定する動作は、位置座標C(全体:P1)から位置座標C(全体:P2)を推定し、その後、位置座標C(全体:P2)から位置座標C(虹彩:P2)を推定する動作と等価である。
上述した説明では、単一のトリガ地点P1が設定されている。しかしながら、基準地点P0からの距離が互いに異なる複数のトリガ地点P1が設定されていてもよい。この場合、全体カメラ2は、複数のトリガ地点P1のうちの少なくとも一つのトリガ地点P1に位置する認証対象者Tを撮像してもよい。或いは、虹彩認証システム1は、複数のトリガ地点P1に夫々対応する複数の全体カメラ2を備えていてもよい。また、複数のトリガ地点P1が設定される場合には、虹彩認証システム1は、複数のトリガ地点P1に夫々対応する複数の人感センサ4を備えていてもよい。
虹彩認証システム1は、単一の虹彩カメラ3を備えていてもよい。この場合、虹彩カメラ3の視野範囲は、認証対象者Tの身長の長短に関わらずにピント地点P2に位置する認証対象者Tのターゲット部位TPを虹彩カメラ3が撮像できるように、適切な範囲に設定されていてもよい。また、虹彩認証システム1が単一の虹彩カメラ3を備えている場合には、カメラ設定部614は、図5のステップS31の処理(つまり、認証対象者Tを撮像する一の虹彩カメラ3を選択する処理)を行わなくてもよい。
カメラ設定部614は、注視領域IAを設定する処理(図5のステップS32又は図10のステップS32aに相当する処理)を行わなくてもよい。この場合には、虹彩認証システム1は、注視領域モードで動作しなくてもよい。具体的には、画像取得部611は、虹彩カメラ3又は共通カメラ7aが撮像した虹彩画像300の全体を取得してもよい。認証部616は、虹彩カメラ3又は共通カメラ7aが撮像した虹彩画像300の全体を用いて虹彩認証を行ってもよい。
上述した説明では、虹彩認証装置6は、画像取得部611、領域検出部612、座標推定部613、カメラ設定部614、撮像制御部615及び認証部616を備えている。しかしながら、虹彩認証装置6の変形例を示すブロック図である図11に示すように、虹彩認証装置6は、領域検出部612、座標推定部613及びカメラ設定部614の少なくとも一つを備えていなくてもよい。この場合、撮像制御部615が、領域検出部612、座標推定部613及びカメラ設定部614の夫々が行う処理を実行してもよい。或いは、虹彩認証装置6の外部の装置が、領域検出部612、座標推定部613及びカメラ設定部614の夫々が行う処理を実行してもよい。また、図11に示すように、虹彩認証装置6は、認証部616を備えていなくてもよい。この場合、虹彩認証装置6の外部の装置が、認証部616が行う処理を実行してもよい。
上述した説明では、虹彩認証システム1は、人感センサ4を備えている。しかしながら、虹彩認証システム1は、人感センサ4を備えていなくてもよい。この場合には、全体カメラ2又は共通カメラ7aは、認証対象者Tがトリガ地点P1に位置しているか否かに関わらず、所定のフレームレート(つまり、撮像レート)で視野範囲内の光景を撮像し続けてもよい。典型的には、全体カメラ2又は共通カメラ7aは、少なくとも認証対象者Tがトリガ地点P1を通過する期間中は、所定のフレームレートで視野範囲内の光景を撮像し続けてもよい。その結果、虹彩認証システム1が人感センサ4を備えていない場合であっても、全体カメラ2又は共通カメラ7aは、認証対象者Tがトリガ地点P1に到達したタイミングで、認証対象者Tを撮像することができる。つまり、虹彩認証システム1が人感センサ4を備えていない場合であっても、画像取得部611は、トリガ地点P1に位置する認証対象者Tが写っている全体画像200を取得することができる。
虹彩認証システム1が人感センサ4を備えていない場合には、虹彩認証装置6(例えば、領域検出部612)は、全体画像200を画像解析することで、トリガ地点P1に位置している認証対象者Tが写った全体画像200を取得したか否かを判定してもよい。つまり、虹彩認証装置6は、全体画像200を画像解析することで、認証対象者Tがトリガ地点P1に位置しているか否かを判定してもよい。認証対象者Tがトリガ地点P1に位置している(つまり、トリガ地点P1に位置している認証対象者Tが写った全体画像200を取得した)と判定された場合には、虹彩認証装置6は、全体画像200に基づいて、ピント地点P2に位置する認証対象者Tを撮像するための一の虹彩カメラ3を選択する処理(具体的には、図5又は図10のステップS21からステップS32に至る一連の処理)を行う。一方で、認証対象者Tがトリガ地点P1に位置していないと判定された場合には、虹彩認証装置6は、図5又は図10のステップS21からステップS32に至る一連の処理を開始しない。尚、虹彩認証装置6は、認証対象者Tがトリガ地点P1に位置しているか否かを判定するための画像解析の方法として、既存の方法を採用してもよい。例えば、虹彩認証装置6は、全体画像200から深度を推定することで、認証対象者Tがトリガ地点P1に位置しているか否かを判定してもよい。例えば、虹彩認証装置6は、全体画像200に写っている認証対象者Tの足元を検知し、且つ、検知した足元がトリガ地点P1に位置しているか否かを判定することで、認証対象者Tがトリガ地点P1に位置しているか否かを判定してもよい。例えば、虹彩認証装置6は、全体画像200に写っている認証対象者Tの両目の間の間隔が所定値になったか否かを判定することで、認証対象者Tがトリガ地点P1に位置しているか否かを判定してもよい。
上述した説明では、虹彩認証システム1は、人感センサ5を備えている。しかしながら、虹彩認証システム1は、人感センサ5を備えていなくてもよい。この場合には、図5のステップS32において虹彩カメラ3の注視領域IAが設定された後に、注視領域IAが設定された虹彩カメラ3は、認証対象者Tがピント地点P2に位置しているか否かに関わらず、所定のフレームレート(つまり、撮像レート)で視野範囲内の光景を撮像し続けてもよい。或いは、図10のステップS32aにおいて共通カメラ7aの注視領域IAが設定された後に、注視領域IAが設定された共通カメラ7aは、認証対象者Tがピント地点P2に位置しているか否かに関わらず、所定のフレームレートで視野範囲内の光景を撮像し続けてもよい。典型的には、虹彩カメラ3又は共通カメラ7aは、少なくとも認証対象者Tがピント地点P2を通過する期間中は、所定のフレームレート(つまり、撮像レート)で視野範囲内の光景を撮像し続けてもよい。その結果、虹彩認証システム1が人感センサ5を備えていない場合であっても、虹彩カメラ3又は共通カメラ7aは、認証対象者Tがトリガ地点P1からピント地点P2に到達したタイミングで、認証対象者Tを撮像することができる。つまり、虹彩認証システム1が人感センサ5を備えていない場合であっても、画像取得部611は、ピント地点P2に位置する認証対象者Tが写っている虹彩画像300を取得することができる。
上述した説明では、撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の実施形態が虹彩認証システム1に対して適用されている。しかしながら、撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の実施形態は、認証対象者Tの虹彩とは異なる所定部位の特徴量に基づいて認証対象者Tの認証を行う任意の認証システムに適用されてもよい。つまり、虹彩認証システム1は、虹彩認証動作に代えて任意の認証動作を行う任意の認証システムに改変されてもよい。このような任意の認証システムの一例として、認証対象者Tの顔の特徴量に基づいて認証対象者Tの認証を行う顔認証システムがあげられる。或いは、撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体の実施形態は、全体カメラ2(或いは、第1撮像装置)が撮像した撮像対象者の画像に基づいて、移動する撮像対象者を撮像するように虹彩カメラ3(或いは、第2撮像装置)を制御する任意の撮像システムに適用されてもよい。つまり、虹彩認証システム1は、少なくとも2種類の撮像装置を用いて上述したトリガ地点P1及びピント地点P2で撮像対象者を夫々撮像する任意の撮像システムに改変されてもよい。
虹彩認証システム1は、認証対象者Tの虹彩を用いて認証対象者Tを認証することに加えて又は代えて、認証対象者Tの任意の部位を用いて認証対象者Tを認証してもよい。つまり、認証対象者Tの任意の部位を用いて認証対象者Tの認証を行う任意の認証システムが、虹彩認証システム1と同様の構成を有し且つ同様の動作を行ってもよい。このような、任意の認証システムの一例として、認証対象者Tの顔を用いて認証対象者Tを認証する顔認証システムがあげられる。
(5)付記
以上説明した実施形態に関して、更に以下の付記を開示する。
(5-1)付記1
付記1に記載の撮像システムは、第1地点に位置する撮像対象を撮像する第1撮像装置と、前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に合焦位置が設定されている第2撮像装置と、前記第1撮像装置が撮像した画像に基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2撮像装置を制御する制御装置とを備える撮像システムである。
(5-2)付記2
付記2に記載の撮像システムは、前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置と、前記第2地点に前記撮像対象が位置しているか否かを検知する第2検知装置とを更に備える付記1に記載の撮像システムである。
(5-3)付記3
付記3に記載の撮像システムは、前記第1撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像し、前記第2撮像装置は、前記第2地点に前記撮像対象が位置していることを前記第2検知装置が検知した場合に、前記第2地点に位置する前記撮像対象を撮像する付記2に記載の撮像システムである。
(5-4)付記4
付記4に記載の撮像システムは、前記第2撮像装置は、前記撮像対象が前記第2地点を通過する期間中に、所定の撮像レートで撮像し続ける付記1に記載の撮像システムである。
(5-5)付記5
付記5に記載の撮像システムは、前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置を更に備え、前記第1撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像する付記1又は4に記載の撮像システムである。
(5-6)付記6
付記6に記載の撮像システムは、前記制御装置は、(i)前記第1撮像装置が撮像した画像に基づいて、前記第1地点に位置する前記撮像対象の、前記第1撮像装置が撮像した画像内での位置である第1位置を特定し、(ii)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第2撮像装置が撮像したと仮定した状況下での、前記第2撮像装置が撮像した画像内での前記撮像対象の位置である第2位置を推定し、(iii)前記第2位置に基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2撮像装置を制御する付記1から5のいずれか一項に記載の撮像システムである。
(5-7)付記7
付記7に記載の撮像システムは、前記制御装置は、前記第1位置に基づいて前記第2位置を推定するために、(i)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第1撮像装置が撮像したと仮定した状況下での、前記第1撮像装置が撮像した画像内での前記撮像対象の位置である第3位置を推定し、(ii)前記第3位置に基づいて前記第2位置を推定する付記6に記載の撮像システムである。
(5-8)付記8
付記8に記載の撮像システムは、前記第2撮像装置を複数備え、前記制御装置は、前記第1撮像装置が撮像した画像から前記撮像対象の画像内の位置を特定し、特定した前記位置に基づいて前記第2地点に位置する前記撮像対象を撮像する一の前記第2撮像装置を選択する付記1から7のいずれか一項に記載の撮像システムである。
(5-9)付記9
付記9に記載の撮像システムは、前記制御装置は、前記第1位置と前記撮像対象の移動方向に関する情報とに基づいて、前記第3位置を推定する付記7に記載の撮像システムである。
(5-10)付記10
付記10に記載の撮像システムは、前記制御装置は、前記第1撮像装置が撮像した画像と、前記撮像対象の移動方向に関する情報とに基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2撮像装置を制御する付記1から9のいずれか一項に記載の撮像システムである。
(5-11)付記11
付記11に記載の撮像システムは、前記移動方向に関する情報は、前記第1地点に位置する物体を前記第1撮像装置が撮像したと仮定した状況下での、前記第1撮像装置が撮像した画像内での前記物体の位置と、前記第2地点に位置する前記物体を前記第1撮像装置が撮像したと仮定した状況下での、前記第1撮像装置が撮像した画像内での前記物体の位置との対応関係を示す情報を含む付記9又は10に記載の撮像システムである。
(5-12)付記12
付記12に記載の撮像システムは、前記第2撮像装置を複数備え、前記制御装置は、前記第1撮像装置が撮像した画像に基づいて、前記複数の第2撮像装置のうち前記第2地点に位置する前記撮像対象を撮像するべき一の第2撮像装置を選択し、前記第2地点に位置する前記撮像対象を撮像するように前記選択した一の第2撮像装置を制御する付記1から11のいずれか一項に記載の撮像システムである。
(5-13)付記13
付記13に記載の撮像システムは、前記第1地点が複数設定されており、前記第1撮像装置は、前記複数の第1地点のうちの少なくとも一つに位置する前記撮像対象を撮像する付記1から12のいずれか一項に記載の撮像システム。
(5-14)付記14
付記14に記載の撮像システムは、第1の状態と第2の状態との間で状態切替可能であって、前記第1の状態では第1地点に位置する撮像対象を撮像し、前記第2の状態では前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に位置する前記撮像対象を撮像する撮像装置と、前記第1の状態の前記撮像装置が撮像した画像に基づいて、前記撮像装置を制御することで、前記撮像装置を前記第1の状態から前記第2の状態に切替える制御装置とを備える撮像システムである。
(5-15)付記15
付記15に記載の撮像システムは、前記撮像装置は、前記第1の状態では前記第1地点を含む領域に合焦位置を設定し、前記第2の状態では前記第2地点を含む領域に合焦位置を設定する付記14に記載の撮像システムである。
(5-16)付記16
付記16に記載の撮像システムは、前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置と、前記第2地点に前記撮像対象が位置しているか否かを検知する第2検知装置とを更に備える付記14又は15に記載の撮像システムである。
(5-17)付記17
付記17に記載の撮像システムは、前記第1の状態の前記撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像し、前記第2の状態の前記撮像装置は、前記第2地点に前記撮像対象が位置していることを前記第2検知装置が検知した場合に、前記第2地点に位置する前記撮像対象を撮像する付記16に記載の撮像システムである。
(5-18)付記18
付記18に記載の撮像システムは、前記撮像装置は、前記撮像対象が前記第2地点を通過する期間中に、所定の撮像レートで撮像し続ける付記14から17のいずれか一項に記載の撮像システムである。
(5-19)付記19
付記19に記載の撮像システムは、前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置を更に備え、前記撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像する付記14、15又は18に記載の撮像システムである。
(5-20)付記20
付記20に記載の撮像システムは、前記制御装置は、(i)前記第1の状態の前記撮像装置が撮像した画像に基づいて、前記第1地点に位置する前記撮像対象の、前記第1の状態の前記撮像装置が撮像した画像内での位置である第1位置を特定し、(ii)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第2の状態の前記撮像装置が撮像したと仮定した状況下での、前記第2の状態の前記撮像装置が撮像した画像内での前記撮像対象の位置である第2位置を推定し、(iii)前記第2位置に基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2の状態の前記撮像装置を制御する付記14から19のいずれか一項に記載の撮像システムである。
(5-21)付記21
付記21に記載の撮像システムは、前記制御装置は、前記第1位置に基づいて前記第2位置を推定するために、(i)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第1の状態の前記撮像装置が撮像したと仮定した状況下での、前記第1の状態の前記撮像装置が撮像した画像内での前記撮像対象の位置である第3位置を推定し、(ii)前記第3位置に基づいて前記第2位置を推定する付記20に記載の撮像システムである。
(5-22)付記22
付記22に記載の撮像システムは、前記制御装置は、前記第1位置と前記撮像対象の移動方向に関する情報とに基づいて、前記第3位置を推定する付記21に記載の撮像システムである。
(5-23)付記23
付記23に記載の撮像システムは、前記制御装置は、前記第1の状態の前記撮像装置が撮像した画像と、前記撮像対象の移動方向に関する情報とに基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2の状態の前記撮像装置を制御する付記14から22のいずれか一項に記載の撮像システムである。
(5-24)付記24
付記24に記載の撮像システムは、前記移動方向に関する情報は、前記第1地点に位置する物体を前記第1の状態の前記撮像装置が撮像したと仮定した状況下での、前記第1の状態の前記撮像装置が撮像した画像内での前記物体の位置と、前記第2地点に位置する前記物体を前記第1の状態の撮像装置が撮像したと仮定した状況下での、前記第1の状態の前記撮像装置が撮像した画像内での前記物体の位置との対応関係を示す情報を含む付記22又は23に記載の撮像システム。
(5-25)付記25
付記25に記載の撮像システムは、前記第1地点が複数設定されており、前記第1の状態の前記撮像装置は、前記複数の第1地点のうちの少なくとも一つに位置する前記撮像対象を撮像する付記14から24のいずれか一項に記載の撮像システム。
(5-26)付記26
付記26に記載の撮像方法は、第1地点に位置する撮像対象を撮像する第1撮像装置が撮像した画像を取得する取得工程と、前記取得工程で取得された画像に基づいて、前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に位置する前記撮像対象を撮像するように、前記第2地点に合焦位置が設定されている第2撮像装置を制御する制御工程とを備える撮像方法である。
(5-27)付記27
付記27に記載の撮像方法は、第1の状態と第2の状態との間で状態切替可能であって、前記第1の状態では第1地点に位置する撮像対象を撮像し、前記第2の状態では前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に位置する前記撮像対象を撮像する撮像装置から、前記第1の状態にある前記撮像装置が撮像した画像を取得する取得工程と、前記取得工程で取得された画像に基づいて前記撮像装置を制御することで、前記撮像装置を前記第1の状態から前記第2の状態に切替える制御工程とを備える撮像方法である。
(5-28)付記28
付記28に記載の制御装置は、第1地点に位置する撮像対象を撮像する第1撮像装置が撮像した画像を取得する取得手段と、前記取得手段が取得した画像に基づいて、前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に位置する前記撮像対象を撮像するように、前記第2地点に合焦位置が設定されている第2撮像装置を制御する制御手段とを備える制御装置である。
(5-29)付記29
付記29に記載の制御装置は、第1の状態と第2の状態との間で状態切替可能であって、前記第1の状態では第1地点に位置する撮像対象を撮像し、前記第2の状態では前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に位置する前記撮像対象を撮像する撮像装置から、前記第1の状態にある前記撮像装置が撮像した画像を取得する取得手段と、前記取得手段が取得した画像に基づいて前記撮像装置を制御することで、前記撮像装置を前記第1の状態から第2の状態に切替える制御手段とを備える撮像方法である。
(5-30)付記30
付記30に記載のコンピュータプログラムは、コンピュータに、付記26又は27に記載の撮像方法を実行させるコンピュータプログラムである。
(5-31)付記31
付記31に記載の記録媒体は、付記30に記載のコンピュータプログラムが記録された記録媒体である。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。
1 虹彩認証システム
2 全体カメラ
200 全体画像
3 虹彩カメラ
300 虹彩画像
4、5 人感センサ
6 虹彩認証装置
61 CPU
611 画像取得部
612 領域検出部
613 座標推定部
614 カメラ設定部
615 撮像制御部
616 認証部
7a 共通カメラ
P1 トリガ地点
P2 ピント地点

Claims (11)

  1. 第1地点に位置する撮像対象を撮像する第1撮像装置と、
    前記第1地点よりも前記第1の撮像装置側に位置する第2地点を撮像する第2撮像装置と、
    前記第1撮像装置が撮像した画像における前記撮像対象の位置に基づいて、前記第2撮像装置が撮像する画像における前記撮像対象の虹彩位置を特定し、前記虹彩位置に基づいて前記第2撮像装置を制御する制御装置と
    を備える撮像システム。
  2. 前記第2撮像装置は、前記第1地点よりも前記撮像対象の移動方向における奥側に位置する第2地点に合焦位置が設定されており、
    前記制御装置は、前記第1撮像装置が撮像した画像に基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2撮像装置を制御する
    請求項1に記載の撮像システム。
  3. 前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置と、
    前記第2地点に前記撮像対象が位置しているか否かを検知する第2検知装置と
    を更に備える請求項1又は2に記載の撮像システム。
  4. 前記第1撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像し、
    前記第2撮像装置は、前記第2地点に前記撮像対象が位置していることを前記第2検知装置が検知した場合に、前記第2地点に位置する前記撮像対象を撮像する
    請求項3に記載の撮像システム。
  5. 前記第2撮像装置は、前記撮像対象が前記第2地点を通過する期間中に、所定の撮像レートで撮像し続ける
    請求項1又は2に記載の撮像システム。
  6. 前記第1地点に前記撮像対象が位置しているか否かを検知する第1検知装置を更に備え、
    前記第1撮像装置は、前記第1地点に前記撮像対象が位置していることを前記第1検知装置が検知した場合に、前記第1地点に位置する前記撮像対象を撮像する
    請求項1又は5に記載の撮像システム。
  7. 前記制御装置は、(i)前記第1撮像装置が撮像した画像に基づいて、前記第1地点に位置する前記撮像対象の、前記第1撮像装置が撮像した画像内での位置である第1位置を特定し、(ii)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第2撮像装置が撮像したと仮定した状況下での、前記第2撮像装置が撮像した画像内での前記撮像対象の位置である第2位置を推定し、(iii)前記第2位置に基づいて、前記第2地点に位置する前記撮像対象を撮像するように前記第2撮像装置を制御する
    請求項1から6のいずれか一項に記載の撮像システム。
  8. 前記制御装置は、前記第1位置に基づいて前記第2位置を推定するために、(i)前記第1位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第1撮像装置が撮像したと仮定した状況下での、前記第1撮像装置が撮像した画像内での前記撮像対象の位置である第3位置を推定し、(ii)前記第3位置に基づいて、前記第1地点から前記第2地点に移動した前記撮像対象を前記第2撮像装置が撮像したと仮定した状況下での、前記第2撮像装置が撮像した画像内での前記撮像対象の位置である前記第2位置を推定する
    請求項7に記載の撮像システム。
  9. 前記第2撮像装置を複数備え、
    前記制御装置は、前記第1撮像装置が撮像した画像から前記撮像対象の画像内の位置を特定し、特定した前記位置に基づいて前記第2地点に位置する前記撮像対象を撮像する一の前記第2撮像装置を選択する
    請求項1から8のいずれか一項に記載の撮像システム。
  10. 第1地点に位置する撮像対象を撮像する第1撮像装置が撮像した画像を取得する取得工程と、
    前記取得工程で取得された画像における前記撮像対象の位置に基づいて、前記第1地点よりも前記第1の撮像装置側に位置する第2地点を撮像する第2撮像装置を制御する制御工程であって、当該第2撮像装置が撮像する画像における前記撮像対象の虹彩位置を特定し、当該虹彩位置に基づいて前記第2撮像装置を制御する制御工程とを備える
    撮像方法。
  11. コンピュータに、請求項10に記載の撮像方法を実行させるコンピュータプログラム。
JP2022192948A 2019-06-18 2022-12-01 撮像システム、撮像方法、コンピュータプログラム及び記録媒体 Pending JP2023029941A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022192948A JP2023029941A (ja) 2019-06-18 2022-12-01 撮像システム、撮像方法、コンピュータプログラム及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/024068 WO2020255244A1 (ja) 2019-06-18 2019-06-18 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体
JP2021528091A JP7226549B2 (ja) 2019-06-18 2019-06-18 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体
JP2022192948A JP2023029941A (ja) 2019-06-18 2022-12-01 撮像システム、撮像方法、コンピュータプログラム及び記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021528091A Division JP7226549B2 (ja) 2019-06-18 2019-06-18 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2023029941A true JP2023029941A (ja) 2023-03-07

Family

ID=74040288

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021528091A Active JP7226549B2 (ja) 2019-06-18 2019-06-18 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体
JP2022192948A Pending JP2023029941A (ja) 2019-06-18 2022-12-01 撮像システム、撮像方法、コンピュータプログラム及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021528091A Active JP7226549B2 (ja) 2019-06-18 2019-06-18 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体

Country Status (5)

Country Link
US (2) US11997377B2 (ja)
EP (1) EP3989532A4 (ja)
JP (2) JP7226549B2 (ja)
CN (1) CN113966607B (ja)
WO (1) WO2020255244A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935328B2 (en) * 2019-02-18 2024-03-19 Nec Corporation Image pick-up apparatus, method, system, and computer readable medium
WO2023135640A1 (ja) 2022-01-11 2023-07-20 日本電気株式会社 撮像システム、撮像装置、撮像方法、及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006130325A (ja) * 2005-12-15 2006-05-25 Oki Electric Ind Co Ltd 個人識別装置
JP2006163683A (ja) * 2004-12-06 2006-06-22 Matsushita Electric Ind Co Ltd 眼画像撮影装置およびそれを用いた認証装置
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2007082655A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 眼画像撮影装置ならびにそれを用いた生体判別装置、認証装置および登録装置ならびに眼画像撮影方法
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3389800B2 (ja) 1996-11-29 2003-03-24 スズキ株式会社 エンジンの潤滑装置
JP4759426B2 (ja) * 2005-03-30 2011-08-31 Hoya株式会社 撮影装置
US7656432B2 (en) 2005-03-30 2010-02-02 Hoya Corporation Method and apparatus for photographing moving object
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
US8243133B1 (en) * 2008-06-28 2012-08-14 Aoptix Technologies, Inc. Scale-invariant, resolution-invariant iris imaging using reflection from the eye
JP2010134735A (ja) 2008-12-05 2010-06-17 Panasonic Corp 虹彩認証装置
JP2011211678A (ja) * 2010-03-12 2011-10-20 Omron Corp 画像処理装置および画像処理プログラム
JP2013045249A (ja) * 2011-08-23 2013-03-04 Hitachi Ltd 車両逆走防止システムおよび車両逆走防止方法
JP5938281B2 (ja) 2012-06-25 2016-06-22 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP5949389B2 (ja) 2012-09-24 2016-07-06 富士通株式会社 検出装置、検出プログラムおよび検出方法
US10459103B1 (en) * 2016-09-29 2019-10-29 Amazon Technologies, Inc. Magnetic entry portal identification system
US11328044B2 (en) * 2017-01-19 2022-05-10 Huawei Technologies Co., Ltd. Dynamic recognition method and terminal device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2006163683A (ja) * 2004-12-06 2006-06-22 Matsushita Electric Ind Co Ltd 眼画像撮影装置およびそれを用いた認証装置
JP2007082655A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 眼画像撮影装置ならびにそれを用いた生体判別装置、認証装置および登録装置ならびに眼画像撮影方法
JP2006130325A (ja) * 2005-12-15 2006-05-25 Oki Electric Ind Co Ltd 個人識別装置
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム

Also Published As

Publication number Publication date
WO2020255244A1 (ja) 2020-12-24
US11997377B2 (en) 2024-05-28
EP3989532A1 (en) 2022-04-27
EP3989532A4 (en) 2022-06-01
US20220360705A1 (en) 2022-11-10
CN113966607A (zh) 2022-01-21
JPWO2020255244A1 (ja) 2020-12-24
CN113966607B (zh) 2024-02-20
JP7226549B2 (ja) 2023-02-21
US20240267610A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
JP2023029941A (ja) 撮像システム、撮像方法、コンピュータプログラム及び記録媒体
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US8982180B2 (en) Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
US8723959B2 (en) Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
JP5894711B2 (ja) 眼および視線追跡のためのタイル画像ベースの頭位置の走査
US9460337B2 (en) Information processor and information processing method
JP6698127B2 (ja) 固定カメラに対するパンチルトズームカメラの方向を校正する方法、およびこのような校正が行われるシステム
EP1933694A1 (en) Eye tracker having an extended span of operating distances
WO2016025328A1 (en) Systems and methods for depth enhanced and content aware video stabilization
JP5101429B2 (ja) 画像監視装置
WO2018176116A1 (en) High speed pupil detection system and method
JP6406044B2 (ja) カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
TWI784330B (zh) 物件追蹤方法及其處理裝置與系統
JP7211511B2 (ja) 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体
JP2022524787A (ja) 物体検出範囲推定のための、方法、システム、及びプログラム
JP6574149B2 (ja) 追跡装置および追跡方法
KR101401809B1 (ko) 스크린에서의 다중사용자 인터페이스 제공 장치 및 방법
JP7420150B2 (ja) 判定システム、判定方法、コンピュータプログラム、及び認証システム
JP6344903B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
WO2023053359A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
US20230014562A1 (en) Image processing apparatus, image processing method, and image processing program
JP2016224888A (ja) 情報処理装置、座標推定プログラム及び座標推定方法
CN113556607A (zh) 智能电视的观看距离提醒方法、装置、设备及存储介质
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240530

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240903