JP2017521742A - 虹彩画像を取得する方法および装置、ならびに虹彩識別機器 - Google Patents

虹彩画像を取得する方法および装置、ならびに虹彩識別機器 Download PDF

Info

Publication number
JP2017521742A
JP2017521742A JP2016562587A JP2016562587A JP2017521742A JP 2017521742 A JP2017521742 A JP 2017521742A JP 2016562587 A JP2016562587 A JP 2016562587A JP 2016562587 A JP2016562587 A JP 2016562587A JP 2017521742 A JP2017521742 A JP 2017521742A
Authority
JP
Japan
Prior art keywords
image
iris
imaging
eye
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016562587A
Other languages
English (en)
Other versions
JP6391708B2 (ja
JP2017521742A5 (ja
Inventor
タオ・ジャン
フェイ・ロン
ジージュン・チェン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2017521742A publication Critical patent/JP2017521742A/ja
Publication of JP2017521742A5 publication Critical patent/JP2017521742A5/ja
Application granted granted Critical
Publication of JP6391708B2 publication Critical patent/JP6391708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4851Prosthesis assessment or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Abstract

本開示は、虹彩画像を取得する方法および装置ならびに虹彩を識別する機器に関し、ユーザーの高度な協働を要さずに虹彩画像を正確に取得できる。当該方法は、眼部位を含む画像を取得し、画像を画像識別にかけて画像内での眼球位置パラメータを決定し、画像内での眼球位置パラメータに基づき虹彩を撮影するための撮影パラメータを決定し、撮影パラメータに基づき虹彩を撮影し虹彩画像を得ることを含む。上記方法により、ユーザーの高度な協働を要さずに虹彩画像を正確に取得可能であるので、ユーザー体験効果を向上できる。

Description

[関連出願へのクロスリファレンス]
本出願は、中華人民共和国特許出願第201510373998.4号(出願日2015年06月30日、この参照によりその開示の全容は本明細書に含まれる)の優先権の利益を請求するものである。
[技術分野]
本開示は概して画像取得方法の分野に関し、より具体的には虹彩画像を取得する方法および装置ならびに虹彩識別機器に関する。
現在、虹彩はその高い唯一性から、個人識別の分野により幅広く適用されるようになってきている。しかし既存の虹彩取得(キャプチャ)方法は虹彩取得器を介して行う必要がある。これはつまり、ユーザーから虹彩を取得する際には、眼を虹彩取得器に着ける必要があるので、ユーザーは虹彩取得器と高度な協働をしなくてはならず、ユーザーによる使用が難しいものになってしまっていた。
本開示に係る実施形態では、虹彩画像を取得するための方法および装置ならびに虹彩識別のための機器が提供されることにより、ユーザーが虹彩取得装置と高度に協働する必要無く、虹彩画像を正確に取得することが可能となる。
本開示に係る実施形態の第一の態様によれば、虹彩画像取得方法が提供され、当該方法は、
眼部位を含む画像を取得するステップと、
前記画像を画像識別にかけることで、前記画像内での眼球位置パラメータを決定するステップと、
前記画像内での眼球位置パラメータに基づいて、虹彩を撮影するための撮影パラメータを決定するステップと、
前記撮影パラメータに基づいて虹彩を撮影することで、虹彩画像を得るステップと
を含む。
或る実施形態においては、前記画像を画像識別にかけることで前記画像内での眼球位置パラメータを決定するステップが、
前記画像を画像識別にかけることで、前記画像内の眼の位置を決定するステップと、
前記眼の位置に基づいて、前記画像内での眼球の中心位置および眼球の半径を決定するステップと
を含む。
或る実施形態においては、前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するステップが、
予め定められた眼球半径を取得するステップと、
前記画像内の前記眼球の中心位置および前記予め定められた眼球半径に基づいて、虹彩を近赤外撮影するための焦点および焦点距離を決定するステップと
を含む。
或る実施形態においては、眼部位を含む画像を取得するステップが、
前記眼部位を撮影して、前記眼部位を含んだ画像を取得するステップ
を含む。
或る実施形態においては、前記画像内の眼の位置を決定するステップが、
自己適合強化型AdaBoostアルゴリズムにより、前記画像内に前記眼が在る領域を決定するステップ
を含む。
或る実施形態においては、前記眼の位置に基づいて前記画像内での眼球の中心位置および眼球の半径を決定するステップが、
前記眼が在る領域内で、放射対称変換(RST)法により前記画像内での眼球の中心位置および眼球の半径を決定するステップ
を含む。
或る実施形態においては、画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するステップが、
前記画像内での眼球位置パラメータに基づいて前記虹彩を撮影するための、近赤外撮影パラメータを決定するステップを含み、且つ、
前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を得るステップが、
前記近赤外撮影パラメータに基づいて前記虹彩を撮影することで虹彩画像を得るステップ
を含む。
本開示の実施形態に係る第二の態様によれば、虹彩画像を取得するための装置が提供され、当該装置は、
眼部位を含んだ画像を取得するように構成された、取得モジュールと、
前記画像を画像識別にかけることで前記画像内での眼球位置パラメータを決定するように構成された、第一の決定モジュールと、
前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、第二の決定モジュールと、
前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を得るように構成された、撮影モジュールと
を含む。
或る実施形態においては、前記第一の決定モジュールが、
前記画像を画像識別にかけることで、前記画像内の眼の位置を決定するように構成された、第一の決定サブモジュールと、
前記眼の位置に基づいて、前記画像内での眼球の中心位置および眼球の半径を決定するように構成された、第二の決定サブモジュールと
を含む。
或る実施形態においては、前記第二の決定モジュールが、
予め定められた眼球半径を取得し、前記画像内の前記眼球の中心位置および前記予め定められた眼球半径に基づいて虹彩を近赤外撮影するための焦点および焦点距離を決定するように構成された、第三の決定サブモジュール
を含む。
或る実施形態においては、前記取得モジュールが、
前記眼部位を撮影して、前記眼部位を含んだ画像を取得するように構成された、取得サブモジュール
を含む。
或る実施形態においては、前記第一の決定サブモジュールがさらに、自己適合強化型AdaBoostアルゴリズムにより、前記画像内に前記眼が在る領域を決定するように構成される。
或る実施形態においては、前記第二の決定サブモジュールがさらに、前記眼が在る領域内で、放射対称変換(RST)法により前記画像内での眼球の中心位置および眼球の半径を決定するように構成される。
或る実施形態においては、前記第二の決定モジュールが、
前記画像内での眼球位置パラメータに基づいて前記虹彩を撮影するための、近赤外撮影パラメータを決定するように構成された、第四の決定サブモジュール
を含み、且つ、
前記撮影モジュールが、
前記近赤外撮影パラメータに基づいて前記虹彩を撮影することで虹彩画像を得るように構成された、撮影サブモジュール
を含む。
本開示の実施形態に係る第三の態様によれば、虹彩を識別するための機器が提供され、当該機器は、
眼部位を撮影して前記眼部位を含んだ画像を得るように構成された、第一の撮影部品と、
前記画像を画像識別にかけて前記画像内での眼球位置パラメータを決定し、前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、処理チップと、
前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を取得し、前記虹彩画像を前記処理チップへと伝送するように構成された、第二の撮影部品と
を含み、
前記処理チップがさらに、前記虹彩画像を識別して虹彩特徴情報を得、前記虹彩特徴情報が予め定められた虹彩特徴情報と合致するかどうかを判断するように構成される。
或る実施形態においては、前記第一の撮影部品が可視光カメラであり、前記第二の撮影部品が近赤外光カメラである。
本開示の実施形態に係る第四の態様によれば、虹彩画像を取得するための装置が提供され、当該装置は、
プロセッサと、
前記プロセッサにより実行可能な命令を格納するためのメモリと
を含み、
前記プロセッサは、
眼部位を含んだ画像を取得し、
前記画像を画像識別にかけることで、前記画像内での眼球位置パラメータを決定し、
前記画像内での眼球位置パラメータに基づいて、虹彩を撮影するための撮影パラメータを決定し、
前記撮影パラメータに基づいて虹彩を撮影し、虹彩画像を得る
ように構成される。
本開示の実施形態に則る技術的解決手段は、下記に挙げた有益な効果を奏することができる。すなわち、取得した眼部位を含む画像に基づいて、虹彩を撮影するための撮影パラメータが定められる。眼部位を含む画像はさまざまな手法で取得可能であり、例えば一般的な可視光撮影法で取得できる。その結果として上述の方法では、ユーザーが眼を規定の位置に着ける必要も無く、また虹彩取得器と高度に協調した動作を取る必要も無く、ユーザーがただ普通に立っているだけでユーザーの眼部位を撮影でき、然る後に虹彩を撮影するための撮影パラメータを決定可能というわけである。つまり上述の方法では、ユーザーが虹彩取得器と高度な協働をしなくとも虹彩画像を精度良く取得できるので、ユーザー体験を向上できる効果があることが理解されよう。
上記の一般的な記載と下記の詳細な説明は共にあくまで例示と説明のためのものであり、本開示を限定しようとするものでは無いことに留意されたい。
本明細書の一部を為すものとして組込まれた添付の図面は、本発明に係る実施形態を示すものであって、発明の詳細な説明と共に本発明の原則を説明する役割を担うものである。
例示的な実施形態に則る、虹彩画像を取得するための方法を示すフローチャートである。 例示的な実施形態に則る、虹彩画像を取得するための装置を描いたブロック図である。 例示的な実施形態に則る、虹彩画像を取得するための別の装置を描いたブロック図である。 例示的な実施形態に則る、虹彩画像を取得するための別の装置を描いたブロック図である。 例示的な実施形態に則る、虹彩を識別するための機器を描いたブロック図である。 例示的な実施形態に則る、虹彩画像を取得するための装置 900 を描いたブロック図である。
添付の図面に示した例示的な実施形態や実施例を詳細に説明する。以下の記載においては、別段の断わりが無いかぎりは、異なる図面において同じ参照番号を以って示している場合、同じまたは類似の要素を示している。下記の例示的な実施形態の説明において掲げている実施例は、本発明と整合するあらゆる実施例を表しているわけではない。むしろそれらは単に、添付の特許請求の範囲に示される本発明に関連した態様と整合する装置や方法の例示であるに過ぎない。
本開示に係る実施形態では、虹彩画像を取得するための方法が提供される。当該方法は、虹彩画像を取得して識別するために使用でき、且つ虹彩画像取得装置において使用可能である。図1に示したように、当該方法には下記のステップ S101〜S104 が含まれる。
ステップ S101 では、眼部位を含んだ画像を取得する。
或る実施形態においては、ステップ S101 を行うにあたり、眼部位を撮影して当該眼部位を含んだ画像を得ることができる。実践的な実施例では、虹彩画像を取得するための指示を受けた後に、AdaBoost分類器を使って眼部位の大体の領域を高速に検出し、撮影領域内の眼部位を一度もしくは複数回に亘り撮影することで、眼部位を含んだ画像をひとつ以上得ることができる。こうした実施例では、可視光カメラを撮影に使い、眼部位を含んだ画像を得ることができる。
ステップ S102 では、画像を画像識別にかけることで、当該画像内での眼球位置パラメータを決定する。
或る実施形態においては、ステップ S102 を実施するにあたり、画像を画像識別にかけることで当該画像内の眼の位置を決定し、その眼の位置に基づいて当該画像内での眼球の中心位置および眼球の半径を決定できる。これはつまり画像内の眼球位置パラメータに眼球の中心位置と眼球の半径とが含まれるということであり、これら二種のパラメータのみを得れば虹彩画像撮影用の撮影パラメータを決定できるということである。眼部位を含んだ画像の識別にあたっては、放射対称変換(RST; radial symmetry transform)法を用いることができる。RST法とは円形を高速で検出できる方法であって、複数の画像上の各点について勾配(gradient)を取得し、続いてその放射方向に在る全ての点を逆に累積投票(cumulative voting)にかけることで、最終的に最多票数が集まるのが眼球の中心位置になるという方法である。これにより、眼球位置パラメータを得ることができる。
別の実施形態では、画像中の眼の位置を決定するにあたり、自己適合強化型AdaBoostアルゴリズムによって画像中の眼が在る領域を決定することができる。眼の位置に基づいて画像内の眼球の中心位置と眼球の半径を定めるにあたっては、眼が在る領域内において、放射対称変換(RST)法により眼球の中心位置および眼球の半径を決定するようにできる。
ステップ S103 においては、画像内の眼球位置パラメータに基づき、虹彩を撮影するための撮影パラメータを決定する。
或る実施形態における撮影パラメータは、焦点位置、焦点距離、ならびに明度およびコントラストなどを含み、当該撮影パラメータを上記のステップ S102 で得られた眼球位置パラメータに基づいて設定して、完全且つ明瞭な虹彩画像を適切なサイズを以って得られるようにする。例えば、可視光カメラで撮影して得られる眼部位を含んだ画像に基づくと、眼球の中心位置を決定した後に、眼球の中心位置までの距離が30cmであって現在の環境明度が100cd/m2であると判断されたとすると、焦点(眼球の中心位置)を捕捉した後に、虹彩を撮影するための撮影パラメータを焦点距離8倍、明度-20、コントラスト18というように設定可能である。
別の実施形態においては、ステップ S103 を行うにあたり、予め定められた眼球半径を取得し、画像内の眼球の中心位置および予め定められた眼球半径に基づいて、虹彩を近赤外撮影するための焦点および焦点距離を決定することができる。こうすることで、眼球半径を毎度決定する必要が無くなる。個々人の眼球半径にはそれほど大きな差は無いので、通常の人の眼球半径の値を予め保存しておいて、ステップ S103 を行う度に直接そこから取得することができる。こうした手法は簡便かつ高速であり、本方法の実施効率向上に寄与する。
ステップ S104 においては、撮影パラメータに基づいて、虹彩を撮影して虹彩画像を得る。
或る実施形態においては、虹彩を撮影する主体を近赤外カメラとすることができ、このとき上述のステップ S103 で定めた撮影パラメータを、そうした近赤外カメラに適用可能な近赤外撮影パラメータとすることが可能である。したがってステップ S104 を実施するにあたり、この近赤外撮影パラメータに基づいて虹彩を撮影し、虹彩画像を得るようにしてもよい。こうした近赤外撮影手法で得られる虹彩画像は、さらに明瞭となる。
本開示の実施形態に係る方法では、取得した眼部位を含んだ画像に基づいて、虹彩を撮影するための撮影パラメータを決定する。眼部位を含んだ画像はさまざまな手法で得ることができ、例えば通常の可視光撮影法によって得ることができる。このため上述の方法では、ユーザーが眼を規定の位置に着けたり虹彩取得器と高度な協働をしたりする必要が無く、ただ普通に立っているユーザーの眼部位を撮影することで、虹彩を撮影するための撮影パラメータを決定可能なのである。上述の方法により、ユーザーに高度な協調を強いること無く虹彩画像を正確に撮影できるため、ユーザー体験を向上できる効果があることが理解されよう。
或る実施形態では、ステップ S101 を「眼部位を撮影して、当該眼部位を含んだ画像を取得する」ことによって行う場合に、上述した方法は下記の有益な効果を奏する。すなわち、得られた眼部位を含んだ画像に基づいて、虹彩を撮影するための撮影パラメータを決定する。眼部位を含んだ画像は普通の可視光撮影法で得られる。したがって、ユーザーが眼を規定の位置に着けたり撮影装置と高度な協働をしたりする必要が無く、ただ普通に立っているユーザーの眼部位を撮影することで、眼部位を含んだ画像を撮って、虹彩を撮影するための撮影パラメータを決定可能である。上述の方法により、ユーザーに高度な協調を強いること無く虹彩画像を正確に撮影できるため、ユーザー体験を向上できる効果があることが理解されよう。
本開示の実施形態に係る第二の態様によれば、虹彩画像を取得するための上述の方法に対応するものとして、虹彩画像を取得するための装置が提供される。図2に示すように、当該装置は、
眼部位を含んだ画像を取得するように構成された、取得モジュール 21 と、
前記画像を画像識別にかけることで前記画像内での眼球位置パラメータを決定するように構成された、第一の決定モジュール 22 と、
前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、第二の決定モジュール 23 と、
前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を得るように構成された、撮影モジュール 24 と
を含む。
或る実施形態においては、図3に示すように第一の決定モジュール 22 が、
前記画像を画像識別にかけることで、前記画像内の眼の位置を決定するように構成された、第一の決定サブモジュール 221 と、
前記眼の位置に基づいて、前記画像内での眼球の中心位置および眼球の半径を決定するように構成された、第二の決定サブモジュール 222 と
を含むことができる。
図4に示したように、第二の決定モジュール 23 は、
予め定められた眼球半径を取得し、前記画像内の前記眼球の中心位置および前記予め定められた眼球半径に基づいて虹彩を近赤外撮影するための焦点および焦点距離を決定するように構成された、第三の決定サブモジュール 231
を含んでいてもよい。
或る実施形態では図4に示したように、第二の決定モジュール 23 が、
前記画像内での眼球位置パラメータに基づいて前記虹彩を撮影するための、近赤外撮影パラメータを決定するように構成された、第四の決定サブモジュール 232
を含んでよく、
撮影モジュール 24 が、
前記近赤外撮影パラメータに基づいて前記虹彩を撮影することで虹彩画像を得るように構成された、撮影サブモジュール 241
を含んでよい。
或る実施形態では図4に示すように、取得モジュール 21 が、
前記眼部位を撮影して、前記眼部位を含んだ画像を取得するように構成された、取得サブモジュール 211
を含んでもよい。
また或る実施形態では、第一の決定サブモジュール 221 がさらに、自己適合強化型AdaBoostアルゴリズムにより、前記画像内に前記眼が在る領域を決定するように構成されていてもよい。
また或る実施形態においては、第二の決定サブモジュール 222 がさらに、前記眼が在る領域内で、放射対称変換(RST)法により眼球の中心位置および眼球の半径を決定するように構成されていてもよい。
本開示の実施形態に係る第三の態様によれば、虹彩を識別するための機器が提供される。図5に示したように、当該機器には、
眼部位を撮影して当該眼部位を含んだ画像を得るように構成された、第一の撮影部品 51 と、
当該画像を画像識別にかけて当該画像内での眼球位置パラメータを決定し、当該画像内の眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、処理チップ 52 と、
当該撮影パラメータに基づいて虹彩を撮影することで虹彩画像を取得し、当該虹彩画像を処理チップ 52 へと伝送するように構成された、第二の撮影部品 53 と
を含めることができ、処理チップ 52 はさらに、当該虹彩画像を識別して虹彩特徴情報を得、当該虹彩特徴情報が予め定められた虹彩特徴情報と合致するかどうかを判断するように構成できる。
或る実施形態においては、第一の撮影部品 51 が可視光カメラであり、第二の撮影部品 53 が近赤外カメラである。
或る実施形態においては、第一の撮影部品 51 および第二の撮影部品 53 が、同一の近赤外光カメラであってもよい。
本開示の実施形態に係る第四の態様によれば、虹彩画像を取得するための装置が提供され、当該装置には、
プロセッサと、
前記プロセッサにより実行可能な命令を格納するためのメモリと
を含むことができ、前記プロセッサは、
眼部位を含んだ画像を取得し、
前記画像を画像識別にかけることで、前記画像内での眼球位置パラメータを決定し、
前記画像内での眼球位置パラメータに基づいて、虹彩を撮影するための撮影パラメータを決定し、
前記撮影パラメータに基づいて虹彩を撮影し、虹彩画像を得る
ように構成される。
図6に示すように、例示的な実施形態に則った虹彩画像を取得するための装置 900 が提供される。装置 900 は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲーム機器、タブレット機器、医療機器、フィットネス器具、パーソナルデジタルアシスタント(PDA)、車載携帯端末などであってよい。
図6を参照すると、装置 900 が、下記に挙げる部品のうちの一種以上を含むことができ、すなわち、処理部 902 、メモリ 904 、電源部 906 、マルチメディア部 908 、音響部 910 、入出力(I/O)インターフェイス 912 、センサー部 914 、および通信部 916 のうちの一種以上を含むことが可能である。
処理部 902 は、典型的には装置 900 の全般の動作を制御するものであって、例えばディスプレイに関連した動作、電話着呼、データ通信、カメラ動作、および録音動作などを制御する。処理部 902 は、一個以上のプロセッサ 920 を含むことで、上述した方法の有するステップのすべてもしくは一部を実施するための命令を実行可能である。さらに処理部 902 は、処理部 902 と他の部品との間の相互作用を促進するための一個以上のモジュールを含んでもよい。例えば処理部 902 が、マルチメディアモジュールを含むことで、マルチメディア部 908 と処理部 902 との間の相互作用を促進できる。
メモリ 904 は、装置 900 の動作を支持するために、種々のデータを格納するように構成される。そうしたデータの例としては、装置 900 上で作業される任意のアプリケーションもしくはメソッドのための命令、交友録データ、電話帳データ、メッセージ、写真、動画などが挙げられる。メモリ 904 は、任意の種類の揮発性もしくは不揮発性のメモリ装置またはそれらの組み合わせを用いて実施可能であり、例えばスタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読取専用メモリ(EEPROM)、消去可能プログラマブル読取専用メモリ(EPROM)、プログラマブル読取専用メモリ(PROM)、読取専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスク、または光学ディスクといった装置を用いることが可能である。
電源部 906 は、装置 900 の有する種々の部品に電力を供給する。電源部 906 が含むことができるものとしては、電力管理システム、一個以上の電源、ならびに装置 900 中の電力発電、管理、および分配に関連する任意の他の部品がある。
マルチメディア部 908 は、装置 900 とユーザーとの間をとりもつ出力インタフェイスを提供する画面を含む。そうした画面に、液晶ディスプレイ(LCD)やタッチパネル(TP)が含まれる実施形態があってもよい。画面にタッチパネルが含まれる場合には、ユーザーからの入力信号を受けつけるタッチスクリーンとして当該画面を実施してもよい。そうしたタッチパネルには、タッチ、スワイプ、およびタッチパネル上のジェスチャーを感知するための一個以上のタッチセンサーが含まれる。そうしたタッチセンサーは、タッチやスワイプの動作の境界を感知するにはとどまらず、タッチやスワイプの動作に伴う持続時間と圧力をも感知するものであってもよい。或る実施形態でのマルチメディア部 908 には、前方カメラおよび/または後方カメラが含まれる。そうした前方カメラおよび/または後方カメラは、装置 900 が動作モード(撮像モードや動画撮影モードなど)に在るときに、外部からのマルチメディアデータを受信することが可能である。前方カメラと後方カメラの各々は、固定式光学レンズ系であってもよいし、またはフォーカス機能と光学ズーム機能を具えるものであってもよい。
音響部 910 は、音響信号を出力および/または入力をするように構成される。例えば音響部 910 が含むものとしては、装置 900 が動作モード(通話モード、録音モード、音声認識モードなど)に在るときに、外部からの音響信号を受信するように構成されたマイクロフォン(MIC)がある。受信された音響信号を、さらにメモリ 904 に格納してもよいし、または通信部 916 を介して伝送してもよい。或る実施形態においては、音響部 910 がさらに音響信号を出力するためのスピーカーを含む。
I/Oインターフェイス 912 は、処理部 902 と周辺インターフェイスモジュール(キーボード、クリックホイール、ボタンなど)のためのインターフェイスを提供するものである。そうしたボタンとしては例えば、ホームボタン、音量ボタン、起動ボタン、およびロッキングボタンなどが含まれるが、これらに限定はされない。
センサー部 914 は、装置 900 の種々の態様の状態評価を提供するための、一個以上のセンサーを含む。例えばセンサー部 914 は、装置 900 の開閉状態、および部品間の相対位置(例えば装置 900 のディスプレイとキーパッドとの相対位置など)を検出することが可能である。またセンサー部 914 は、装置 900 の位置変化や装置 900 中の部品の位置変化、装置 900 にユーザーが接触しているか否か、装置 900 の向きもしくは加減速、ならびに装置 900 の温度変化を検出することも可能である。センサー部 914 には、物理的な接触はしていないが近接した物体を検出するように構成された、近接センサーを含めてもよい。またセンサー部 914 は、撮像用途のために光センサー(CMOSイメージセンサーもしくはCCDイメージセンサーなど)を含んでもよい。或る実施形態においてはセンサー部 914 が、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー、または温度センサーを含んでいてもよい。
通信部 916 は、装置 900 と他の装置との間での有線通信もしくは無線通信を容易にするために構成されている。装置 900 は通信規格に基づいた無線ネットワークにアクセス可能であり、そうした通信規格としては例えばWi-Fi、2G、もしくは3G、またはこれらの組み合わせといったものが挙げられる。例示的な一実施形態においては、通信部 916 が、ブロードキャスト信号もしくはブロードキャストの関連情報を、外部のブロードキャスト管理システムからブロードキャストチャネルを介して受信可能である。例示的な一実施形態においては、通信部 916 がさらにNFC(near field communication)モジュールを含むことで、近距離通信を容易とする。例えばそうしたNFCモジュールは、RFID(無線周波数認識)技術、IrDA(赤外線データ通信)技術、UWB(超広帯域無線)技術、Bluetooth(登録商標)(BT)技術、および他の技術に基づいたものであってよい。
例示的な実施形態では、虹彩画像を取得するための上述した方法を行うために、一種以上の特定用途用集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、またはその他の電子部品を以って装置 900 を実施してもよい。
例示的な実施形態においては、命令(メモリ 904 に含まれる命令など)を含んだ非一過性のコンピュータ可読記憶媒体が提供され、当該命令は上述した方法を行うために装置 900 中のプロセッサ 920 によって実行可能なものである。例えば非一過性のコンピュータ可読記憶媒体としては、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク、光学データ記憶装置などを挙げることができる。
当該技術分野における当業者は、本明細書およびここに開示された本発明の実践を考慮することで、本発明のその他の実施形態に容易に想到できる。本出願は、本発明の原理に従い且つ当該技術分野において公知または慣用の技術に包含される派生例をも含むような、本発明のあらゆる変形例、用途、または応用例をも包摂することを企図している。本明細書および実施例は、あくまで例示のためのものであることを企図しており、本発明の真の範囲および精髄は下記の特許請求の範囲によって示される。
本発明は、上述したとおりや添付の図面に示したとおりのそのままの構成には限定はされず、本発明の精髄から逸脱すること無く種々の改変や変形を施してもよいことを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることを企図している。

Claims (17)

  1. 虹彩画像を取得するための方法であって、
    眼部位を含んだ画像を取得するステップと、
    前記画像を画像識別にかけることで、前記画像内での眼球位置パラメータを決定するステップと、
    前記画像内での眼球位置パラメータに基づいて、虹彩を撮影するための撮影パラメータを決定するステップと、
    前記撮影パラメータに基づいて虹彩を撮影することで、虹彩画像を得るステップと
    を含む、方法。
  2. 前記画像を画像識別にかけることで前記画像内での眼球位置パラメータを決定するステップが、
    前記画像を画像識別にかけることで、前記画像内の眼の位置を決定するステップと、
    前記眼の位置に基づいて、前記画像内での眼球の中心位置および眼球の半径を決定するステップと
    を含む
    ことを特徴とする、請求項1に記載の方法。
  3. 前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するステップが、
    予め定められた眼球半径を取得するステップと、
    前記画像内の前記眼球の中心位置および前記予め定められた眼球半径に基づいて、虹彩を近赤外撮影するための焦点および焦点距離を決定するステップと
    を含む
    ことを特徴とする、請求項1に記載の方法。
  4. 眼部位を含んだ画像を取得するステップが、
    前記眼部位を撮影して、前記眼部位を含んだ画像を取得するステップ
    を含む
    ことを特徴とする、請求項1に記載の方法。
  5. 前記画像内の眼の位置を決定するステップが、
    自己適合強化型AdaBoostアルゴリズムにより、前記画像内に前記眼が在る領域を決定するステップ
    を含む
    ことを特徴とする、請求項2に記載の方法。
  6. 前記眼の位置に基づいて前記画像内での眼球の中心位置および眼球の半径を決定するステップが、
    前記眼が在る領域内で、放射対称変換(RST)法により前記画像内での眼球の中心位置および眼球の半径を決定するステップ
    を含む
    ことを特徴とする、請求項5に記載の方法。
  7. 前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するステップが、
    前記画像内での眼球位置パラメータに基づいて前記虹彩を撮影するための、近赤外撮影パラメータを決定するステップを含み、且つ、
    前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を得るステップが、
    前記近赤外撮影パラメータに基づいて前記虹彩を撮影することで虹彩画像を得るステップ
    を含む
    ことを特徴とする、請求項1に記載の方法。
  8. 虹彩画像を取得するための装置であって、
    眼部位を含んだ画像を取得するように構成された、取得モジュールと、
    前記画像を画像識別にかけることで前記画像内での眼球位置パラメータを決定するように構成された、第一の決定モジュールと、
    前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、第二の決定モジュールと、
    前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を得るように構成された、撮影モジュールと
    を含むことを特徴とする、装置。
  9. 前記第一の決定モジュールが、
    前記画像を画像識別にかけることで、前記画像内の眼の位置を決定するように構成された、第一の決定サブモジュールと、
    前記眼の位置に基づいて、前記画像内での眼球の中心位置および眼球の半径を決定するように構成された、第二の決定サブモジュールと
    を含むことを特徴とする、請求項8に記載の装置。
  10. 前記第二の決定モジュールが、
    予め定められた眼球半径を取得し、前記画像内の前記眼球の中心位置および前記予め定められた眼球半径に基づいて虹彩を近赤外撮影するための焦点および焦点距離を決定するように構成された、第三の決定サブモジュール
    を含むことを特徴とする、請求項8に記載の装置。
  11. 前記取得モジュールが、
    前記眼部位を撮影して、前記眼部位を含んだ画像を取得するように構成された、取得サブモジュール
    を含むことを特徴とする、請求項8に記載の装置。
  12. 前記第一の決定サブモジュールがさらに、
    自己適合強化型AdaBoostアルゴリズムにより、前記画像内に前記眼が在る領域を決定するように構成される、請求項9に記載の装置。
  13. 前記第二の決定サブモジュールがさらに、前記眼が在る領域内で、放射対称変換(RST)法により前記画像内での眼球の中心位置および眼球の半径を決定するように構成される、請求項12に記載の装置。
  14. 前記第二の決定モジュールが、
    前記画像内での眼球位置パラメータに基づいて前記虹彩を撮影するための、近赤外撮影パラメータを決定するように構成された、第四の決定サブモジュール
    を含み、且つ、
    前記撮影モジュールが、
    前記近赤外撮影パラメータに基づいて前記虹彩を撮影することで虹彩画像を得るように構成された、撮影サブモジュール
    を含む
    ことを特徴とする、請求項8に記載の装置。
  15. 虹彩を識別するための機器であって、
    眼部位を撮影して前記眼部位を含んだ画像を得るように構成された、第一の撮影部品と、
    前記画像を画像識別にかけて前記画像内での眼球位置パラメータを決定し、前記画像内での眼球位置パラメータに基づいて虹彩を撮影するための撮影パラメータを決定するように構成された、処理チップと、
    前記撮影パラメータに基づいて虹彩を撮影することで虹彩画像を取得し、前記虹彩画像を前記処理チップへと伝送するように構成された、第一の撮影部品と
    を含み、
    前記処理チップがさらに、前記虹彩画像を識別して虹彩特徴情報を得、前記虹彩特徴情報が予め定められた虹彩特徴情報と合致するかどうかを判断するように構成される
    ことを特徴とする、機器。
  16. 前記第一の撮影部品が可視光カメラであり、
    前記第二の撮影部品が近赤外光カメラである
    ことを特徴とする、請求項15に記載の機器。
  17. 虹彩画像を取得するための装置であって、
    プロセッサと、
    前記プロセッサにより実行可能な命令を格納するためのメモリと
    を含み、
    前記プロセッサは、
    眼部位を含んだ画像を取得し、
    前記画像を画像識別にかけることで、前記画像内での眼球位置パラメータを決定し、
    前記画像内での眼球位置パラメータに基づいて、虹彩を撮影するための撮影パラメータを決定し、
    前記撮影パラメータに基づいて虹彩を撮影し、虹彩画像を得る
    ように構成される
    ことを特徴とする、装置。
JP2016562587A 2015-06-30 2015-11-23 虹彩画像を取得する方法および装置、ならびに虹彩識別機器 Active JP6391708B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510373998.4 2015-06-30
CN201510373998.4A CN104933419B (zh) 2015-06-30 2015-06-30 获取虹膜图像的方法、装置及红膜识别设备
PCT/CN2015/095338 WO2017000491A1 (zh) 2015-06-30 2015-11-23 获取虹膜图像的方法、装置及红膜识别设备

Publications (3)

Publication Number Publication Date
JP2017521742A true JP2017521742A (ja) 2017-08-03
JP2017521742A5 JP2017521742A5 (ja) 2017-09-14
JP6391708B2 JP6391708B2 (ja) 2018-09-19

Family

ID=54120579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016562587A Active JP6391708B2 (ja) 2015-06-30 2015-11-23 虹彩画像を取得する方法および装置、ならびに虹彩識別機器

Country Status (8)

Country Link
US (1) US9924090B2 (ja)
EP (1) EP3113071A1 (ja)
JP (1) JP6391708B2 (ja)
KR (1) KR101906748B1 (ja)
CN (1) CN104933419B (ja)
MX (1) MX367515B (ja)
RU (1) RU2654157C1 (ja)
WO (1) WO2017000491A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933419B (zh) 2015-06-30 2019-05-21 小米科技有限责任公司 获取虹膜图像的方法、装置及红膜识别设备
CN106131419B (zh) * 2016-07-21 2019-11-08 北京小鸟看看科技有限公司 一种用于同步多个无线摄像设备的方法和系统及虚拟现实系统
CN107341466B (zh) * 2017-06-30 2020-01-10 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN107341469B (zh) * 2017-06-30 2022-06-14 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN107341467A (zh) * 2017-06-30 2017-11-10 广东欧珀移动通信有限公司 虹膜采集方法及设备、电子装置和计算机可读存储介质
CN107463877A (zh) * 2017-07-05 2017-12-12 广东欧珀移动通信有限公司 虹膜采集方法、电子装置和计算机可读存储介质
CN107292285B (zh) * 2017-07-14 2020-01-14 Oppo广东移动通信有限公司 虹膜活体检测方法及相关产品
CN109002796B (zh) * 2018-07-16 2020-08-04 阿里巴巴集团控股有限公司 一种图像采集方法、装置和系统以及电子设备
KR102175481B1 (ko) * 2018-10-29 2020-11-09 상명대학교산학협력단 생체 인식 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169790A (ja) * 2001-12-05 2003-06-17 Matsushita Electric Ind Co Ltd カメラヘッド分離型虹彩認証装置
JP2010026039A (ja) * 2008-07-16 2010-02-04 Fujifilm Corp 撮影装置および撮影装置の制御方法並びにプログラム
JP2013542461A (ja) * 2010-09-28 2013-11-21 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知及びトラッキングに基づいた連続的なオートフォーカス

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892676B (zh) * 2005-06-03 2010-05-12 沈洪泉 面部/虹膜组合光学成像的装置及方法
KR100872495B1 (ko) * 2008-05-30 2008-12-08 탐투스 주식회사 홍채 촬영장치
TW201140511A (en) * 2010-05-11 2011-11-16 Chunghwa Telecom Co Ltd Drowsiness detection method
WO2011148366A1 (en) * 2010-05-26 2011-12-01 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
RU2442526C1 (ru) * 2010-08-05 2012-02-20 Общество с ограниченной ответственностью "АВТЭКС" Специализированная видеокамера контроля оператора
CN101930543B (zh) * 2010-08-27 2012-06-27 南京大学 一种自拍视频中眼睛图像的调正方法
US20120308089A1 (en) * 2011-06-03 2012-12-06 Korea Basic Science Institute Method of biometric authentication by using pupil border and apparatus using the method
KR20130000828A (ko) * 2011-06-24 2013-01-03 엘지이노텍 주식회사 얼굴 피쳐 검출 방법
EP2583619B1 (en) * 2011-10-22 2022-03-16 Alcon Inc. Apparatus for monitoring one or more surgical parameters of the eye
KR101417433B1 (ko) * 2012-11-27 2014-07-08 현대자동차주식회사 눈동자의 움직임을 이용한 사용자 인증 장치 및 그 방법
CN103106401B (zh) * 2013-02-06 2017-02-22 北京中科虹霸科技有限公司 一种具有人机交互机制的移动终端虹膜识别装置
JP5935849B2 (ja) * 2013-10-04 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
TWI533224B (zh) * 2013-11-14 2016-05-11 原相科技股份有限公司 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
CN104123543B (zh) * 2014-07-23 2018-11-27 泰亿格电子(上海)有限公司 一种基于人脸识别的眼球运动识别方法
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
CN104460185A (zh) * 2014-11-28 2015-03-25 小米科技有限责任公司 自动对焦方法及装置
KR20160072682A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 생체 정보를 이용한 인증 방법 및 이를 위한 전자 장치
CN104933419B (zh) * 2015-06-30 2019-05-21 小米科技有限责任公司 获取虹膜图像的方法、装置及红膜识别设备
CN105160306B (zh) * 2015-08-11 2019-05-07 北京眼神智能科技有限公司 虹膜图像模糊判断的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169790A (ja) * 2001-12-05 2003-06-17 Matsushita Electric Ind Co Ltd カメラヘッド分離型虹彩認証装置
JP2010026039A (ja) * 2008-07-16 2010-02-04 Fujifilm Corp 撮影装置および撮影装置の制御方法並びにプログラム
JP2013542461A (ja) * 2010-09-28 2013-11-21 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知及びトラッキングに基づいた連続的なオートフォーカス

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
澤田 暁彦 他: "対称性に基づいた顔の特徴点抽出", 電子情報通信学会技術研究報告, vol. 第98巻 第576号, JPN6017043246, 3 February 1999 (1999-02-03), JP, pages 31 - 36, ISSN: 0003679612 *

Also Published As

Publication number Publication date
MX2017005398A (es) 2017-11-30
EP3113071A1 (en) 2017-01-04
JP6391708B2 (ja) 2018-09-19
US20170006216A1 (en) 2017-01-05
CN104933419B (zh) 2019-05-21
WO2017000491A1 (zh) 2017-01-05
US9924090B2 (en) 2018-03-20
KR20170048555A (ko) 2017-05-08
CN104933419A (zh) 2015-09-23
MX367515B (es) 2019-08-26
KR101906748B1 (ko) 2018-10-10
RU2654157C1 (ru) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6391708B2 (ja) 虹彩画像を取得する方法および装置、ならびに虹彩識別機器
US10706173B2 (en) Method and device for displaying notification information
US10452890B2 (en) Fingerprint template input method, device and medium
US9674395B2 (en) Methods and apparatuses for generating photograph
RU2596846C1 (ru) Способ и устройство для отображения информации уведомления
JP6267363B2 (ja) 画像を撮影する方法および装置
WO2021031609A1 (zh) 活体检测方法及装置、电子设备和存储介质
US10115019B2 (en) Video categorization method and apparatus, and storage medium
EP2960822A1 (en) Method and device for locking file
US20170064182A1 (en) Method and device for acquiring image file
WO2017214793A1 (zh) 指纹模板生成方法及装置
WO2017124899A1 (zh) 一种信息处理方法及装置、电子设备
WO2018098860A1 (zh) 照片合成方法及装置
EP3246850A1 (en) Image sending method and apparatus, computer program and recording medium
US20180144176A1 (en) Fingerprint template acquisition method and device
TWI752105B (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
WO2022110837A1 (zh) 图像处理方法及装置
US20170244891A1 (en) Method for automatically capturing photograph, electronic device and medium
CN107133551B (zh) 指纹验证方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180821

R150 Certificate of patent or registration of utility model

Ref document number: 6391708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250