JP2021018729A - Personal identification apparatus, head-mounted display, content distribution server, and personal identification method - Google Patents
Personal identification apparatus, head-mounted display, content distribution server, and personal identification method Download PDFInfo
- Publication number
- JP2021018729A JP2021018729A JP2019135471A JP2019135471A JP2021018729A JP 2021018729 A JP2021018729 A JP 2021018729A JP 2019135471 A JP2019135471 A JP 2019135471A JP 2019135471 A JP2019135471 A JP 2019135471A JP 2021018729 A JP2021018729 A JP 2021018729A
- Authority
- JP
- Japan
- Prior art keywords
- image
- personal identification
- user
- head
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000009826 distribution Methods 0.000 title claims description 10
- 210000001508 eye Anatomy 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 33
- 210000005252 bulbus oculi Anatomy 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 33
- 239000003086 colorant Substances 0.000 claims description 13
- 238000010191 image analysis Methods 0.000 claims description 8
- 210000004087 cornea Anatomy 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 38
- 230000008859 change Effects 0.000 description 11
- 230000004424 eye movement Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Abstract
Description
本発明は、ヘッドマウントディスプレイを装着したユーザを識別する個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法に関する。 The present invention relates to a personal identification device for identifying a user wearing a head-mounted display, a head-mounted display, a content distribution server, and a personal identification method.
電子コンテンツを楽しむための表示形態として、ヘッドマウントディスプレイなどのウェアラブルディスプレイが普及している。ウェアラブルディスプレイによれば、３次元の仮想世界や撮影されたパノラマ映像のうち、ユーザの頭部の動きに応じた視野で画像を表示させることにより、画像世界に没入している感覚を与えることができる。 Wearable displays such as head-mounted displays have become widespread as display forms for enjoying electronic contents. According to the wearable display, it is possible to give a feeling of being immersed in the image world by displaying the image in the field of view according to the movement of the user's head in the three-dimensional virtual world or the captured panoramic image. it can.
近年、コンテンツの再生時や、ネットワークを介したサービスの利用時など様々な場面で、個人認証が求められるようになってきた。ところがユーザの目を覆う形式の遮蔽型のヘッドマウントディスプレイを装着した状態では、ユーザＩＤやパスワードなどの文字入力がしにくいという問題がある。虹彩や骨格など身体の部位を認証に用いると文字入力の手間がなくなるが、高精度な認証には専用の装置が必要となり、製造コストが上がるうえ、軽量化の妨げとなる。また顔の半分が装置に覆われた状態のため、顔全体を認証に用いることも難しい。 In recent years, personal authentication has come to be required in various situations such as when playing content or when using services via a network. However, there is a problem that it is difficult to input characters such as a user ID and a password when a shielded head-mounted display that covers the user's eyes is attached. Using body parts such as the iris and skeleton for authentication saves the trouble of entering characters, but high-precision authentication requires a dedicated device, which increases manufacturing costs and hinders weight reduction. Moreover, since half of the face is covered with the device, it is difficult to use the entire face for authentication.
本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの個人識別を容易に実現できる技術を提供することにある。 The present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of easily realizing personal identification of a user wearing a head-mounted display.
本発明のある態様は個人識別装置に関する。この個人識別装置は、ヘッドマウントディスプレイの表示パネルを所定規則で発光させる表示制御部と、表示パネルを見ているユーザからの反射光に係る測定データを取得するセンサ情報取得部と、測定データを登録情報と照合することによりユーザを識別する識別部と、を備えたことを特徴とする。 One aspect of the present invention relates to a personal identification device. This personal identification device has a display control unit that causes the display panel of the head-mounted display to emit light according to a predetermined rule, a sensor information acquisition unit that acquires measurement data related to reflected light from a user who is viewing the display panel, and measurement data. It is characterized by including an identification unit that identifies a user by collating with registered information.
本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記個人識別装置と、表示パネルと、反射光に係るデータを測定するセンサと、を備えたことを特徴とする。 Another aspect of the invention relates to a head-mounted display. The head-mounted display is characterized by including the personal identification device, a display panel, and a sensor for measuring data related to reflected light.
本発明のさらに別の態様はコンテンツ配信サーバに関する。このコンテンツ配信サーバは、所定規則で発光するヘッドマウントディスプレイの表示パネルを見ているユーザからの反射光に係る測定データを取得するセンサ情報取得部と、測定データを登録情報と照合することによりユーザを識別する識別部と、識別部による識別結果に基づき前記ヘッドマウントディスプレイへのデータ伝送の是非を決定する認証部と、を備えたことを特徴とする。 Yet another aspect of the present invention relates to a content distribution server. This content distribution server has a sensor information acquisition unit that acquires measurement data related to reflected light from a user who is looking at the display panel of a head-mounted display that emits light according to a predetermined rule, and a user by collating the measurement data with registration information. It is characterized by including an identification unit for identifying the data and an authentication unit for determining whether or not data transmission to the head-mounted display is performed based on the identification result by the identification unit.
本発明のさらに別の態様は個人識別方法に関する。この個人識別方法は個人識別装置が、ヘッドマウントディスプレイの表示パネルを所定規則で発光させるステップと、表示パネルを見ているユーザからの反射光に係る測定データを取得するステップと、測定データを登録情報と照合することによりユーザを識別するステップと、を含むことを特徴とする。 Yet another aspect of the present invention relates to a personal identification method. In this personal identification method, the personal identification device registers a step of causing the display panel of the head-mounted display to emit light according to a predetermined rule, a step of acquiring measurement data related to reflected light from a user who is viewing the display panel, and measurement data. It is characterized by including a step of identifying a user by collating with information.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present invention between methods, devices, systems, computer programs, recording media on which computer programs are recorded, etc. are also effective as aspects of the present invention. ..
本発明によると、ヘッドマウントディスプレイを装着したユーザの個人識別を容易に実現できる。 According to the present invention, personal identification of a user wearing a head-mounted display can be easily realized.
図１は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。 FIG. 1 shows an example of the appearance of the head-mounted display of the present embodiment. In this example, the head-mounted display 100 is composed of an output mechanism unit 102 and a mounting mechanism unit 104. The mounting mechanism unit 104 includes a mounting band 106 that goes around the head and realizes fixing of the device when the user wears it.
出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。 The output mechanism 102 includes a housing 108 having a shape that covers the left and right eyes when the head-mounted display 100 is worn by the user, and includes a display panel inside so as to face the eyes when worn. The inside of the housing 108 may further include a lens that is located between the display panel and the user's eyes when the head-mounted display 100 is attached and magnifies the image. Stereoscopic vision may be realized by displaying a stereo image corresponding to the parallax of both eyes in each area formed by dividing the display panel into left and right.
ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。 The head-mounted display 100 may further include speakers and earphones at positions corresponding to the user's ears when worn. In this example, the head-mounted display 100 includes a stereo camera 110 on the front surface of the housing 108, and captures a moving image of the surrounding real space with a field of view corresponding to the user's line of sight. Further, the head-mounted display 100 may be provided with any of various sensors for deriving the movement, posture, position, etc. of the head-mounted display 100, such as an acceleration sensor, a gyro sensor, and a geomagnetic sensor, inside or outside the housing 108. ..
図２は、ヘッドマウントディスプレイ１００の筐体１０８を、図１と逆方向から見たときの斜視図を例示している。すなわちヘッドマウントディスプレイ１００を装着したときユーザの目１３０に正対する面を示しており、左右の目１３０に対応する位置にレンズ１３２ａ、１３２ｂを備える。筐体１０８には表示パネル１３４が内蔵され、ユーザはレンズ１３２ａ、１３２を介して、表示パネル１３４に表示された画像を視認する。 FIG. 2 illustrates a perspective view of the housing 108 of the head-mounted display 100 when viewed from the direction opposite to that of FIG. That is, the surface facing the user's eyes 130 when the head-mounted display 100 is attached is shown, and the lenses 132a and 132b are provided at positions corresponding to the left and right eyes 130. A display panel 134 is built in the housing 108, and the user visually recognizes the image displayed on the display panel 134 via the lenses 132a and 132.
表示パネル１３４は液晶ディスプレイ、有機ＥＬディスプレイなど一般的な機構により画像を表示する。筐体１０８はさらに撮像センサ１３６を備え、レンズ１３２ａ、１３２ｂを介してユーザの目１３０、あるいは目１３０を含む顔面に照射される、表示パネル１３４からの光の反射光を撮影する。撮像センサ１３６は例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサである。 The display panel 134 displays an image by a general mechanism such as a liquid crystal display or an organic EL display. The housing 108 further includes an image sensor 136, and photographs the reflected light of the light from the display panel 134, which is irradiated to the user's eyes 130 or the face including the eyes 130 through the lenses 132a and 132b. The image sensor 136 is a visible light sensor used in general digital cameras and digital video cameras such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor.
あるいは撮像センサ１３６は、赤外線など不可視の波長帯の光を計測するセンサでもよいし、可視光、不可視光の双方の波長帯を含む光を計測するセンサでもよい。いずれにしろ撮像センサ１３６は、ユーザからの反射光の強度を、１点、または２次元のアレイ状に分布する複数点で検出する。そして光源である表示パネル１３４を所定規則で発光させることにより、複数の波長帯の光の反射率の個人差や、眼球の動きの個人差などを利用し個人を識別する。 Alternatively, the image pickup sensor 136 may be a sensor that measures light in an invisible wavelength band such as infrared rays, or may be a sensor that measures light that includes both visible and invisible wavelength bands. In any case, the image sensor 136 detects the intensity of the reflected light from the user at one point or at a plurality of points distributed in a two-dimensional array. Then, by causing the display panel 134, which is a light source, to emit light according to a predetermined rule, an individual is identified by utilizing individual differences in the reflectance of light in a plurality of wavelength bands, individual differences in eye movements, and the like.
なお図では撮像センサ１３６を、左右の目に対応するレンズ１３２ａ、１３２ｂの中間上よりに設けているが、少なくとも片方の目、当該目とその周囲、当該目の眼球など所定の部位からの反射光を測定できれば、その位置は限定されない。また撮像センサ１３６は、ヘッドマウントディスプレイ１００を装着したユーザの視線を検出するために導入されるものであってもよい。 In the figure, the image sensor 136 is provided above the middle of the lenses 132a and 132b corresponding to the left and right eyes, but reflection from at least one eye, the eye and its surroundings, the eyeball of the eye, and the like. If the light can be measured, its position is not limited. Further, the image sensor 136 may be introduced to detect the line of sight of the user wearing the head-mounted display 100.
例えば、ユーザの目に赤外線などの参照光を照射し、その反射光を撮像することにより眼球の向きを特定し、それに基づきユーザが見ている方向をリアルタイムで検出する技術が知られている（例えば国際公開第２０１５／０８０００３号参照）。ヘッドマウントディスプレイ１００にそのような視線検出器を設けることにより、表示画像においてユーザが注視している箇所を正確に得ることができ、それに基づき表示内容を変化させたり解像度やフレームレートに差をつけたりすることができる。 For example, there is known a technique of irradiating a user's eye with reference light such as infrared rays, identifying the direction of the eyeball by imaging the reflected light, and detecting the direction the user is looking at in real time based on the direction of the eyeball. See, for example, International Publication No. 2015/080003). By providing such a line-of-sight detector on the head-mounted display 100, it is possible to accurately obtain the part of the display image that the user is gazing at, and based on this, the display content can be changed or the resolution or frame rate can be changed. can do.
この場合、参照光を照射するための光源が別途設けられるが、本図では省略している。本実施の形態では、このように別の目的で設けられた撮像センサ１３６を利用することにより、ヘッドマウントディスプレイ１００の構造や重量を変化させずに個人識別を実現する。ただし視線検出器を設けない場合であっても、撮像センサ１３６のみを設けることにより、少ない装備で容易に個人識別が可能となる。 In this case, a light source for irradiating the reference light is separately provided, but it is omitted in this figure. In the present embodiment, by using the image sensor 136 provided for another purpose in this way, personal identification is realized without changing the structure and weight of the head-mounted display 100. However, even when the line-of-sight detector is not provided, by providing only the image pickup sensor 136, personal identification can be easily performed with a small amount of equipment.
図３は、本実施の形態を適用できるコンテンツ処理システムの構成例を示している。ヘッドマウントディスプレイ１００は無線通信により画像処理装置１０に接続される。ただしＵＳＢなどによる有線接続としてもよい。画像処理装置１０はネットワーク８を介してサーバ２００に接続される。サーバ２００は、表示対象の動画像や音声を、コンテンツのデータとして画像処理装置１０に送信する。 FIG. 3 shows a configuration example of a content processing system to which the present embodiment can be applied. The head-mounted display 100 is connected to the image processing device 10 by wireless communication. However, a wired connection such as USB may be used. The image processing device 10 is connected to the server 200 via the network 8. The server 200 transmits the moving image or sound to be displayed to the image processing device 10 as content data.
画像処理装置１０は、サーバ２００から送信されたコンテンツのデータに必要な処理を施し、ヘッドマウントディスプレイ１００に送信する。あるいは画像処理装置１０は、内部で保持しているコンテンツのデータを処理して画像や音声のデータを生成したり、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影している動画像に所定の処理を施したりして、ヘッドマウントディスプレイ１００に送信してもよい。これらの場合、サーバ２００はなくてもよい。また画像処理装置１０はヘッドマウントディスプレイ１００の内部に設けてもよい。 The image processing device 10 performs necessary processing on the content data transmitted from the server 200 and transmits the data to the head-mounted display 100. Alternatively, the image processing device 10 processes the data of the content held internally to generate image or audio data, or performs predetermined processing on the moving image captured by the stereo camera 110 of the head-mounted display 100. It may be applied and transmitted to the head-mounted display 100. In these cases, the server 200 may not be present. Further, the image processing device 10 may be provided inside the head-mounted display 100.
画像処理装置１０は例えば、それを装着したユーザの頭部の位置や姿勢を、ヘッドマウントディスプレイ１００が内蔵するモーションセンサの計測値やステレオカメラ１１０による撮影画像などに基づき継続的に取得し、それに応じた視野で表示画像を生成する。このようなシステムにおいて、サーバ２００のサービスにログインしたり、画像処理装置１０内のコンテンツのデータにアクセスしたりする際などに、ヘッドマウントディスプレイ１００を装着したユーザを特定する必要が生じることがある。 For example, the image processing device 10 continuously acquires the position and orientation of the head of the user who wears it based on the measured value of the motion sensor built in the head-mounted display 100, the image captured by the stereo camera 110, and the like. Generate a display image with a corresponding field of view. In such a system, it may be necessary to identify the user who wears the head-mounted display 100 when logging in to the service of the server 200 or accessing the data of the contents in the image processing device 10. ..
本実施の形態ではこのような場合に、ヘッドマウントディスプレイ１００の表示パネル１３４を所定の規則で発光させ、ユーザからの反射光を撮像センサ１３６で測定する。そしてその結果をあらかじめ準備した登録情報と照合することによりユーザを特定する。ここでユーザを識別する主体は、ヘッドマウントディスプレイ１００、画像処理装置１０、サーバ２００のいずれであってもよい。 In this embodiment, in such a case, the display panel 134 of the head-mounted display 100 is made to emit light according to a predetermined rule, and the reflected light from the user is measured by the image sensor 136. Then, the user is identified by collating the result with the registration information prepared in advance. The subject that identifies the user here may be any of the head-mounted display 100, the image processing device 10, and the server 200.
例えば画像処理装置１０やサーバ２００においてユーザを識別し、その結果に応じてコンテンツデータの送信の是非を判定してもよい。またヘッドマウントディスプレイ１００においてユーザを識別および認証し、画像処理装置１０やサーバ２００へのアクセスの是非を判定してもよい。ヘッドマウントディスプレイ１００を装着しているユーザ個人を識別したり認証したりするタイミングは特に限定されない。以後は、画像処理装置１０が個人識別を行う例を主に説明する。 For example, the image processing device 10 or the server 200 may identify the user and determine whether or not to transmit the content data according to the result. Further, the head-mounted display 100 may identify and authenticate the user to determine whether or not to access the image processing device 10 or the server 200. The timing for identifying or authenticating an individual user wearing the head-mounted display 100 is not particularly limited. Hereinafter, an example in which the image processing device 10 performs personal identification will be mainly described.
図４は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなり、サーバ２００やヘッドマウントディスプレイ１００と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ヘッドマウントディスプレイ１００へデータを出力する出力部３６、ヘッドマウントディスプレイ１００などからデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。 FIG. 4 shows the internal circuit configuration of the image processing device 10. The image processing device 10 includes a CPU (Central Processing Unit) 23, a GPU (Graphics Processing Unit) 24, and a main memory 26. Each of these parts is connected to each other via a bus 30. An input / output interface 28 is further connected to the bus 30. The input / output interface 28 includes a peripheral device interface such as USB or IEEE1394, a wired or wireless LAN network interface, a communication unit 32 that establishes communication with the server 200 or the head mount display 100, a hard disk drive, a non-volatile memory, and the like. Storage unit 34, output unit 36 that outputs data to the head mount display 100, input unit 38 that inputs data from the head mount display 100, etc., drive a recording medium that drives a removable recording medium such as a magnetic disk, an optical disk, or a semiconductor memory. The unit 40 is connected.
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。 The CPU 23 controls the entire image processing device 10 by executing the operating system stored in the storage unit 34. The CPU 23 also executes various programs read from the removable recording medium, loaded into the main memory 26, or downloaded via the communication unit 32. The GPU 24 has a geometry engine function and a rendering processor function, performs drawing processing according to a drawing command from the CPU 23, and outputs the drawing process to the output unit 36. The main memory 26 is composed of a RAM (Random Access Memory) and stores programs and data required for processing.
図５は、本実施の形態において画像処理装置１０が備える個人識別装置の機能ブロックの構成を示している。同図および後述する図１２に示す各機能ブロックは、ハードウェア的には図４で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。 FIG. 5 shows the configuration of the functional block of the personal identification device included in the image processing device 10 in the present embodiment. Each functional block shown in FIG. 12 and FIG. 12 described later can be realized by the CPU 23, GPU 24, main memory 26, etc. shown in FIG. 4 in terms of hardware, and information loaded from a recording medium into memory in terms of software. It is realized by a program that exerts various functions such as processing function, image drawing function, data input / output function, and communication function. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various ways by hardware only, software only, or a combination thereof, and is not limited to any of them.
個人識別装置１４０は、表示パネル１３４を所定規則で発光させる表示制御部１４８、発光規則に係るデータを格納する発光データ記憶部１４６、表示パネルを見ているユーザからの反射光に係る測定データを撮像センサ１３６から取得するセンサ情報取得部１５０、測定データを登録情報と照合することによりユーザを識別する識別部１４２、ユーザの登録情報を格納する登録情報記憶部１４４を備える。 The personal identification device 140 has a display control unit 148 that causes the display panel 134 to emit light according to a predetermined rule, a light emission data storage unit 146 that stores data related to the light emission rule, and measurement data related to reflected light from a user who is viewing the display panel. It includes a sensor information acquisition unit 150 acquired from the image pickup sensor 136, an identification unit 142 that identifies a user by collating measurement data with registration information, and a registration information storage unit 144 that stores user registration information.
表示制御部１４８は、発光データ記憶部１４６に格納された発光規則を参照し、それに従いヘッドマウントディスプレイ１００の表示パネル１３４を発光させる。ここで発光とは表示パネル１３４が備える表示素子の駆動を意味し、特定の模様や画像を表示させる場合以外に、表示パネル１３４の全領域を同じ色で発光させたり、一部領域のみを発光させたりすることを含み得る。いずれの場合も表示パネル１３４の制御自体は通常の画像表示と同様である。 The display control unit 148 refers to the light emission rule stored in the light emission data storage unit 146, and causes the display panel 134 of the head-mounted display 100 to emit light according to the light emission rule. Here, the light emission means the driving of the display element included in the display panel 134, and the entire area of the display panel 134 is made to emit light in the same color or only a part of the area is made to emit light, except when displaying a specific pattern or image. It may include making it. In either case, the control itself of the display panel 134 is the same as that of a normal image display.
センサ情報取得部１５０は、表示パネル１３４からの光がユーザで反射してなる光の強度の測定データを撮像センサ１３６から取得する。撮像センサ１３６を２次元の撮像素子アレイで構成する場合、当該測定データは撮影画像である。ただし測定対象によっては、撮像センサ１３６は、反射光の強度を１点で計測するセンサとしてもよい。表示制御部１４８が、表示パネル１３４の発光を経時変化させる場合、センサ情報取得部１５０は、当該変化に対応する所定のタイミングで測定データを取得する。そのためセンサ情報取得部１５０は、発光の変化を示す情報を表示制御部１４８から取得する。 The sensor information acquisition unit 150 acquires measurement data of the light intensity obtained by the user reflecting the light from the display panel 134 from the image sensor 136. When the image sensor 136 is composed of a two-dimensional image sensor array, the measurement data is a photographed image. However, depending on the measurement target, the image sensor 136 may be a sensor that measures the intensity of reflected light at one point. When the display control unit 148 changes the light emission of the display panel 134 with time, the sensor information acquisition unit 150 acquires measurement data at a predetermined timing corresponding to the change. Therefore, the sensor information acquisition unit 150 acquires information indicating a change in light emission from the display control unit 148.
識別部１４２は、センサ情報取得部１５０から測定データを取得し、登録情報記憶部１４４に格納された登録情報と照合することにより、ユーザ個人を識別する。本実施の形態は基本的に、複数種類の発光状態に対しそれぞれ取得された測定データを総合的に検証することで、簡易な構成で高い識別精度を実現する。そのため識別部１４２は、表示制御部１４８が表示パネル１３４に生じさせた複数種類の発光状態と、それぞれに対応して撮像センサ１３６が測定したデータとを対応付けたうえで、登録情報と照合する。 The identification unit 142 identifies the individual user by acquiring measurement data from the sensor information acquisition unit 150 and collating it with the registration information stored in the registration information storage unit 144. This embodiment basically realizes high identification accuracy with a simple configuration by comprehensively verifying the measurement data acquired for each of a plurality of types of light emitting states. Therefore, the identification unit 142 collates the plurality of types of light emitting states generated by the display control unit 148 on the display panel 134 with the data measured by the image sensor 136 corresponding to each, and then collates with the registered information. ..
例えば識別部１４２はセンサ情報取得部１５０から、計測データとともに当該データが計測された時刻を表すタイムスタンプを取得し、表示制御部１４８からは、同じ時間軸における発光状態の変化に係る情報を取得する。そして識別部１４２は、撮像センサ１３６における測定時刻に生じていた発光状態を特定することにより、発光状態と測定データを対応づける。あるいは識別部１４２自体が、表示制御部１４８とセンサ情報取得部１５０の処理の同期を実現するよう制御してもよい。 For example, the identification unit 142 acquires a time stamp indicating the time when the data is measured together with the measurement data from the sensor information acquisition unit 150, and acquires information related to the change in the light emitting state on the same time axis from the display control unit 148. To do. Then, the identification unit 142 associates the light emitting state with the measurement data by specifying the light emitting state generated at the measurement time of the image sensor 136. Alternatively, the identification unit 142 itself may be controlled so as to realize synchronization of processing between the display control unit 148 and the sensor information acquisition unit 150.
図６は本実施の形態において個人識別に利用するマルチスペクトル情報を説明するための図である。波長帯など光学的な条件が異なる光を照射させ、生体での反射光を観察することにより生体認証を実現できることが知られている。すなわち種々の状態の光を照射したときの反射／吸収のしやすさは、人の皮膚や血管の状態などによって個人差があるため、それを利用することにより生体認証が可能である（例えば、特表２００９−５４４１０８号公報参照）。 FIG. 6 is a diagram for explaining multispectral information used for personal identification in the present embodiment. It is known that biometric authentication can be realized by irradiating light with different optical conditions such as a wavelength band and observing the reflected light in a living body. That is, since the ease of reflection / absorption when irradiated with light in various states varies from person to person depending on the state of human skin and blood vessels, biometric authentication is possible by using it (for example,). See Japanese Patent Publication No. 2009-544108).
眼球でも同様に、照射する光の波長帯によって、強いコントラストが得られる血管の種類が異なることから（例えば、三橋俊文、他４名、「眼底マルチスペクトルイメージングと主成分分析による網膜結果と脈絡膜血管の分離」、日本眼光学学会、２０１１年２月、視覚の科学、第３２巻、第２号、ｐ．３１−４０参照）、眼球に複数の波長帯の光を照射したときの反射強度の分布（変化）には個人差が生じる。図６では、照射する光の波長帯に対する反射強度の変化の例を模式的に示している。 Similarly, in the eyeball, the types of blood vessels that can obtain strong contrast differ depending on the wavelength band of the irradiated light (for example, Toshifumi Mihashi and 4 others, "Retinal results and choroidal blood vessels by fundus multispectral imaging and principal component analysis". Separation ”, Japan Ophthalmic Society, February 2011, Science of Vision, Vol. 32, No. 2, p. 31-40), Reflection intensity when the eyeball is irradiated with light of multiple wavelength bands There are individual differences in the distribution (change). FIG. 6 schematically shows an example of a change in the reflection intensity with respect to the wavelength band of the irradiated light.
本実施の形態では、表示パネル１３４に表示させる色を変化させることにより、照射光の波長帯を変化させる。例えば図示するように「色Ａ」〜「色Ｅ」までの５色を表示し、その光の反射強度を撮像センサ１３６により取得すれば、５つの数値からなる数列が得られる。そこで表示制御部１４８は、表示パネル１３４の全領域の発光色を、例えば「色Ａ」、「色Ｂ」、・・・「色Ｅ」と時間変化させ、センサ情報取得部１５０は、各色が表示されている期間の撮像センサ１３６による反射光の測定値を取得する。 In the present embodiment, the wavelength band of the irradiation light is changed by changing the color displayed on the display panel 134. For example, if five colors from "color A" to "color E" are displayed as shown in the figure and the reflection intensity of the light is acquired by the image pickup sensor 136, a sequence of five numerical values can be obtained. Therefore, the display control unit 148 changes the emission color of the entire area of the display panel 134 to, for example, "color A", "color B", ... "Color E", and the sensor information acquisition unit 150 changes each color. The measured value of the reflected light by the image pickup sensor 136 during the displayed period is acquired.
撮像センサ１３６が画像を撮影する場合、例えば撮影画像の輝度値（例えばＹＵＶ色空間におけるＹ値）の平均値を算出することにより、図示するような発光強度が、各色の波長帯に対し取得できる。図７は登録情報記憶部１４４に格納する、個人識別のための登録情報を例示している。登録情報１６０は、登録されている複数のユーザを識別する「ユーザＩＤ」と、表示パネル１３４の各発光色に対し登録時に得られた反射強度とを対応付けたデータである。図示する例では反射強度を、照射輝度を１００としたときの割合で示している。 When the image pickup sensor 136 captures an image, for example, by calculating the average value of the brightness values (for example, the Y value in the YUV color space) of the captured image, the emission intensity as shown in the figure can be acquired for the wavelength band of each color. .. FIG. 7 illustrates the registration information for personal identification stored in the registration information storage unit 144. The registration information 160 is data in which a “user ID” that identifies a plurality of registered users and a reflection intensity obtained at the time of registration are associated with each emission color of the display panel 134. In the illustrated example, the reflection intensity is shown as a ratio when the irradiation brightness is 100.
各色に対する反射強度は同様の数値であったとしても、複数の色、すなわち複数の波長帯での結果を組み合わせることにより、個人識別の精度を高めることができる。例えば識別部１４２は、図６のような結果を取得して登録情報１６０を参照し、５つの数値の全てで類似度が高いユーザＩＤを、ヘッドマウントディスプレイ１００を装着しているユーザのＩＤとして特定する。なお測定データがいずれかのユーザに合致するか、またはどのユーザにも合致しないか、といった判定には、相関係数やユークリッド距離などの一般的な指標を用いることができる。 Even if the reflection intensity for each color is the same value, the accuracy of personal identification can be improved by combining the results of a plurality of colors, that is, a plurality of wavelength bands. For example, the identification unit 142 acquires the result as shown in FIG. 6 and refers to the registration information 160, and sets a user ID having a high degree of similarity in all five numerical values as an ID of a user wearing the head-mounted display 100. Identify. A general index such as a correlation coefficient or an Euclidean distance can be used to determine whether the measurement data matches any user or does not match any user.
なお図６、７は特に簡易な例を示しているが、実際にはより細かく波長帯を区切り、それぞれに該当する色で表示パネル１３４を順次発光させてよい。また照合対象の測定データは、反射強度を表す１つの数値に限らず、例えば撮像センサ１３６が取得する撮影画像、すなわち反射強度の２次元分布でもよい。この場合、各色に対し撮影された画像そのものを登録情報としてユーザＩＤと対応づけておく。そして識別部１４２は、運用時に撮影された画像と登録された画像との類似度を色ごとに取得し、全ての色でしきい値より高い類似度が得られたなど、総合的に類似度が高いユーザを特定する。 Although FIGS. 6 and 7 show a particularly simple example, in reality, the wavelength band may be divided more finely, and the display panel 134 may be sequentially emitted with the corresponding color. Further, the measurement data to be collated is not limited to one numerical value representing the reflection intensity, and may be, for example, a captured image acquired by the image sensor 136, that is, a two-dimensional distribution of the reflection intensity. In this case, the captured image itself for each color is associated with the user ID as registration information. Then, the identification unit 142 acquires the similarity between the image taken at the time of operation and the registered image for each color, and the similarity higher than the threshold value is obtained for all the colors. Identify users with high.
表示制御部１４８は、表示パネル１３４の発光色を経時変化させる代わりに、画面を領域分割して複数の色を同時に表示させてもよい。図８は画面内の領域を分けて複数の色を表示させる態様を説明するための図である。まず（ａ）は、表示制御部１４８が表示パネル１３４に表示させる画像を例示している。この例では画面を縦に５分割し、それぞれに別の色を表示させている。図では色の違いをグレースケールの階調で表している。 The display control unit 148 may divide the screen into regions and display a plurality of colors at the same time, instead of changing the emission color of the display panel 134 with time. FIG. 8 is a diagram for explaining a mode in which a plurality of colors are displayed by dividing an area in the screen. First, (a) illustrates an image displayed on the display panel 134 by the display control unit 148. In this example, the screen is vertically divided into five, and different colors are displayed for each. In the figure, the difference in color is represented by grayscale gradation.
（ｂ）は撮像センサ１３６が、（ａ）の表示画像を見ているユーザの目を撮影した画像を示している。目の領域１６２には、表示画像として表された５色の光の反射光が写っている。仮に眼球の位置に依存した反射率の変化が無視できるほど小さい場合、原理的には色を時間変化させた場合と同様の照合処理となる。すなわち図７で示した登録情報と、目の領域１６２における各色の帯の領域の反射強度を照合し、最も類似しているユーザを特定できる。 (B) shows an image taken by the image sensor 136 of the eyes of the user who is viewing the display image of (a). In the eye region 162, the reflected light of the five colors of light represented as the display image is reflected. If the change in reflectance depending on the position of the eyeball is so small that it can be ignored, in principle, the collation process is the same as when the color is changed with time. That is, the registration information shown in FIG. 7 can be compared with the reflection intensity of each color band region in the eye region 162, and the most similar user can be identified.
ただし実際には、角膜部分か強膜部分か、あるいは眼球内部の組織などによっても反射率が異なり、それに起因して、撮影画像から取得される反射強度も眼球での位置に依存する。したがってこの態様においては、識別部１４２は、同時に眼球の向きを特定し、眼球の位置に対する反射強度の依存分を正規化したうえで登録情報と照合する。例えば（ｂ）の撮影画像において、角膜と強膜の境界を色の濃さによって判定することにより、一般的な視線検出器と同様の原理で眼球の向きが得られる。あるいは別途設けた視線検出器の検出結果を利用してもよい。 However, in reality, the reflectance differs depending on whether it is the corneal part or the sclera part, or the tissue inside the eyeball, and due to this, the reflection intensity obtained from the captured image also depends on the position in the eyeball. Therefore, in this embodiment, the identification unit 142 simultaneously identifies the orientation of the eyeball, normalizes the dependence of the reflection intensity on the position of the eyeball, and then collates it with the registered information. For example, in the captured image of (b), by determining the boundary between the cornea and the sclera by the color depth, the orientation of the eyeball can be obtained by the same principle as that of a general line-of-sight detector. Alternatively, the detection result of the line-of-sight detector provided separately may be used.
または（ａ）で示す表示画像において、丸印など注目対象の像を所定位置に表示させ、ユーザに注目させることにより、撮影時の眼球の向きを揃えてもよい。この場合、登録情報も同様の条件で取得すれば、単純な比較で個人識別が可能である。なお複数の色を同時に表示できれば、表示画像の構成は図示するものに限らず、特定の模様や風景画像などでもよい。また、異なる色を同時に表示させるとともに、当該色を経時変化させることにより、一度に表示する各色の表示面積を一定以上、確保したうえで、より多くの色の反射強度を取得できるようにしてもよい。 Alternatively, in the display image shown in (a), the orientation of the eyeballs at the time of photographing may be aligned by displaying an image of interest such as a circle at a predetermined position and drawing attention to the user. In this case, if the registration information is also acquired under the same conditions, personal identification can be performed by a simple comparison. As long as a plurality of colors can be displayed at the same time, the configuration of the displayed image is not limited to the one shown in the figure, and may be a specific pattern or a landscape image. In addition, by displaying different colors at the same time and changing the colors over time, it is possible to secure a certain amount or more of the display area of each color to be displayed at one time and to acquire the reflection intensity of more colors. Good.
さらに図示するように、表示画像が眼球で反射してなる像は、眼球の丸みによって歪みを持つ。眼球の形状には個人差があるため、歪みの度合いや形状にも個人差が生じる。そこで当該歪みを登録情報とすることにより、個人識別に利用できる。すなわち（ｂ）で示した歪みのある撮影画像を、登録しておいたユーザごとの撮影画像とマッチングし類似度を求める。これを単体、あるいは反射強度の類似度と組み合わせて、最も高い類似度が得られるユーザを特定する。なお撮影画像同士を照合する代わりに、歪みを表すパラメータを照合してもよい。 As further illustrated, the image of the displayed image reflected by the eyeball is distorted by the roundness of the eyeball. Since there are individual differences in the shape of the eyeball, there are also individual differences in the degree and shape of distortion. Therefore, by using the distortion as registered information, it can be used for personal identification. That is, the distorted captured image shown in (b) is matched with the captured image for each registered user to obtain the similarity. This is used alone or in combination with the similarity of the reflection intensity to identify the user who obtains the highest similarity. Instead of collating the captured images with each other, a parameter representing distortion may be collated.
また図示するように、（ｂ）に示す撮影画像には、目の領域１６２以外に目の周囲の皮膚の部分１６３も写っている。上述したように皮膚の反射率も皮膚内部の組織によって個人差があるため、その部分の反射強度を登録情報とすることにより個人識別に利用してもよい。この場合も、単体で照合するか、眼球での反射強度や像の歪みによる照合の少なくともいずれかと組み合わせ、最も高い類似度が得られるユーザを特定する。皮膚での反射強度と眼球での反射強度を組み合わせる場合、表示制御部１４８は、上述のとおり画面全体を単色で発光させ、その色を経時変化させることにより、眼球と皮膚で同じ波長帯の光が照射されるようにしてもよい。 Further, as shown in the figure, the photographed image shown in (b) also shows the skin portion 163 around the eye in addition to the eye region 162. As described above, since the reflectance of the skin also varies from person to person depending on the tissue inside the skin, the reflection intensity of that part may be used for personal identification by using the registered information. In this case as well, the user who obtains the highest degree of similarity is identified by collating alone or in combination with at least one of collation based on the reflection intensity in the eyeball and the distortion of the image. When combining the reflection intensity on the skin and the reflection intensity on the eyeball, the display control unit 148 emits light in a single color on the entire screen as described above, and changes the color over time to allow light in the same wavelength band on the eyeball and the skin. May be irradiated.
これまで述べた態様は、各波長帯の光に対する、目や皮膚の反射率の個人差を利用したが、眼球運動の個人差を利用することもできる。図９は、眼球運動を観測することにより個人識別を行う態様を説明するための図である。まず（ａ）は、表示制御部１４８が表示パネルに表示させる画像の時間変化を例示している。この例は、注目対象１６４を表示させ、それを移動させている様子を示している。例えば図示するように、単色塗りつぶしの背景に、丸い図形を１つ表し、それを右に移動させる。 In the embodiments described so far, individual differences in the reflectance of the eyes and skin with respect to light in each wavelength band are used, but individual differences in eye movement can also be used. FIG. 9 is a diagram for explaining a mode in which individual identification is performed by observing eye movements. First, (a) illustrates the time change of the image displayed on the display panel by the display control unit 148. This example shows how the attention target 164 is displayed and moved. For example, as shown in the figure, one round figure is represented on the background of a single color fill, and it is moved to the right.
ただし注目対象としてユーザが認識できれば、画像の構成や動かす方向は特に限定されない。（ｂ）は撮像センサ１３６が、（ａ）のように変化する表示画像を見ている目を撮影した画像を示している。顔の向きを動かすことなく注目対象１６４を目で追うようにユーザに促すことにより、目の領域１６６において角膜の領域１６８は、注目対象１６４に追随するように右方向に移動する。この場合、センサ情報取得部１５０は、撮像センサ１３６が所定のレートで撮影してなる動画像のデータを取得する。 However, as long as the user can recognize it as an object of interest, the composition and moving direction of the image are not particularly limited. (B) shows an image taken by the image sensor 136 looking at the changing display image as in (a). By urging the user to follow the attention target 164 with the eyes without moving the direction of the face, the corneal region 168 in the eye region 166 moves to the right to follow the attention target 164. In this case, the sensor information acquisition unit 150 acquires moving image data taken by the image sensor 136 at a predetermined rate.
動きのある対象を目で追う際の眼球運動に個人差があることは、例えば樋渡涓ニ、「眼球運動の個人差」、映像情報メディア学会、１９９１年、テレビジョン学会、Ｖｏｌ．４５、Ｎｏ．３、ｐ．３８４−３８６などの文献で報告されている。したがって注目対象１６４の規定された動きに対する、眼球の動きに係る情報を登録情報とすることにより個人識別に利用できる。すなわち注目対象１６４の移動に対する眼球の追随速度やその時間変化、あるいは時間に対する眼球の変位の波形そのものを登録情報とする。 There are individual differences in eye movements when following a moving object with the eyes, for example, Hiwatari, "Individual differences in eye movements," Video Information Media Society, 1991, Television Society, Vol. 45, No. 3, p. It has been reported in the literature such as 384-386. Therefore, it can be used for personal identification by using the information related to the movement of the eyeball with respect to the specified movement of the attention target 164 as the registered information. That is, the tracking speed of the eyeball with respect to the movement of the object of interest 164, its time change, or the waveform itself of the displacement of the eyeball with respect to time is used as the registration information.
そして運用時には、表示制御部１４８が注目対象１６４を同じように移動させ、識別部１４２が、撮像センサ１３６による撮影画像から同様のパラメータを取得し登録情報と照合することにより、最も類似しているユーザを特定する。なお注目対象１６４の移動方向は１つに限らず移動途中で方向を変化させたり同じ図形を描くように繰り返し移動させたりしてもよい。また移動速度も１つに限らず、移動の途中で速度を変化させてもよい。個人差が有意に得られるような注目対象１６４の動き、速度、移動時間を実験により求め、移動規則を適切に設定したうえ発光データ記憶部１４６に格納しておく。 At the time of operation, the display control unit 148 moves the object of interest 164 in the same manner, and the identification unit 142 acquires the same parameters from the image captured by the image sensor 136 and collates them with the registered information, so that they are most similar. Identify the user. The moving direction of the object of interest 164 is not limited to one, and the direction may be changed during the movement or the object may be repeatedly moved so as to draw the same figure. Further, the moving speed is not limited to one, and the speed may be changed during the movement. The movement, speed, and movement time of the object of interest 164 so that individual differences can be significantly obtained are obtained by experiments, and the movement rules are appropriately set and stored in the light emitting data storage unit 146.
図１０は、仮想的な奥行き方向に注目対象を動かしたときの眼球運動により個人識別を行う態様を説明するための図である。上述のとおり、ヘッドマウントディスプレイ１００の場合、表示パネル１３４を左右に分割してなる領域にそれぞれ左目用、右目用の画像を表示させると、レンズ１３２ａ、１３２ｂを介して、それぞれの画像が左右の目で視認される。ここで左右の画像における同じの物の像に、奥行き方向の距離に応じた視差を与えることにより、その物が当該距離にあるように見せることができる。 FIG. 10 is a diagram for explaining a mode in which individual identification is performed by eye movement when the object of interest is moved in a virtual depth direction. As described above, in the case of the head-mounted display 100, when the images for the left eye and the right eye are displayed in the area formed by dividing the display panel 134 into the left and right, the respective images are displayed on the left and right via the lenses 132a and 132b, respectively. Visible to the eye. Here, by giving parallax according to the distance in the depth direction to the images of the same object in the left and right images, the object can be made to appear to be at the distance.
そこで（ａ）に示すユーザの目１７０の前の仮想空間の俯瞰図１７２において、注目対象１７４を奥行き方向に移動させる。図では、仮想空間の奥からユーザの目１７０へ向けて注目対象１７４を移動させている。この変化は、実際には注目対象１７４の像を拡大しながら視差を大きくしていくことによって実現される。ただし注目対象としてユーザが認識できれば、画像の構成や動かす方向は特に限定されない。 Therefore, in the bird's-eye view 172 of the virtual space in front of the user's eyes 170 shown in (a), the attention target 174 is moved in the depth direction. In the figure, the attention target 174 is moved from the back of the virtual space toward the user's eyes 170. This change is actually realized by increasing the parallax while enlarging the image of the object of interest 174. However, as long as the user can recognize it as an object of interest, the composition and moving direction of the image are not particularly limited.
（ｂ）は撮像センサ１３６が、（ａ）のように変化する表示画像を見ている目を撮影した画像を示している。この場合、注目対象１７４が手前に移動することにより、目の領域１７６ａ、１７６ｂにおける角膜１７８ａ、１７８ｂが互いに近づく輻輳運動がなされる。このとき眼球の向きを制御する輻輳力にも個人差があるため、注目対象１７６の奥行き方向の動きに対する、眼球の動きに係る情報を登録情報とすることにより個人識別に利用できる。 (B) shows an image taken by the image sensor 136 looking at the changing display image as in (a). In this case, as the object of interest 174 moves toward the front, a converging motion is performed in which the corneas 178a and 178b in the eye regions 176a and 176b approach each other. At this time, since there are individual differences in the convergence force that controls the orientation of the eyeball, information related to the movement of the eyeball with respect to the movement of the attention target 176 in the depth direction can be used for personal identification by using the information related to the movement of the eyeball as registered information.
すなわち注目対象１６４の移動に対する眼球の追随速度やその時間変化、あるいは時間に対する眼球の変位の波形そのものを登録情報とする。そして運用時には、表示制御部１４８が注目対象１７４を同じように移動させ、識別部１４２が、撮像センサ１３６による撮影画像から同様のパラメータを取得し登録情報と照合することにより、最も類似しているユーザを特定する。なお図１０で示した奥行き方向の移動と、図９で示した、画面と平行な移動を組み合わせて、注目対象１７４を仮想３次元空間で任意の方向に移動させてもよい。 That is, the tracking speed of the eyeball with respect to the movement of the object of interest 164, its time change, or the waveform itself of the displacement of the eyeball with respect to time is used as the registration information. At the time of operation, the display control unit 148 moves the object of interest 174 in the same manner, and the identification unit 142 acquires the same parameters from the image captured by the image sensor 136 and collates them with the registered information, so that they are most similar. Identify the user. The movement in the depth direction shown in FIG. 10 and the movement parallel to the screen shown in FIG. 9 may be combined to move the object of interest 174 in an arbitrary direction in the virtual three-dimensional space.
また図９、１０で示した眼球運動に基づく照合と、図６〜８で示した反射強度や歪みに基づく照合の一部または全てを組み合わせ、総合的に類似度を評価することにより個人識別を行ってもよい。用いるパラメータが多いほど、識別精度を高めることができる。また図９、１０で示した眼球運動は、目が生体であることによって発生する。そこで識別部１４２は、撮像センサ１３６が撮影した動画像において、眼球の動きの有無を取得し、それに基づき当該眼球が生体のものか否かを判定してもよい。 In addition, individual identification is performed by combining some or all of the collation based on eye movements shown in FIGS. 9 and 10 and the collation based on reflection intensity and distortion shown in FIGS. 6 to 8 and comprehensively evaluating the similarity. You may go. The more parameters are used, the higher the identification accuracy can be. The eye movements shown in FIGS. 9 and 10 are generated when the eyes are living organisms. Therefore, the identification unit 142 may acquire the presence or absence of movement of the eyeball in the moving image captured by the image pickup sensor 136, and determine whether or not the eyeball is a living body based on the acquisition.
これにより、認証において人形などを用いたなりすましを防止できる。なお生体であれば見ている物の動きによらず何らかの要因で眼球の動きが生じるため、識別部１４２は場合によっては、注目対象が動く画像を表示させない状態でも眼球の動きの有無を確認し、生体か否かを判定してもよい。また図９、図１０に示した態様や生体の判定において、眼球の動きは角膜の領域の移動によって特定される。このとき識別部１４２は、撮影された動画像の各フレームに対し特徴点抽出を行い、目尻や目頭を含む目の周縁の位置を取得し、それを基準として角膜の変位量を取得してもよい。 This makes it possible to prevent spoofing using a doll or the like in authentication. If it is a living body, the movement of the eyeball occurs for some reason regardless of the movement of the object being viewed. Therefore, in some cases, the identification unit 142 confirms the presence or absence of the movement of the eyeball even when the image in which the object of interest is moving is not displayed. , It may be determined whether or not it is a living body. Further, in the mode shown in FIGS. 9 and 10 and the determination of the living body, the movement of the eyeball is specified by the movement of the corneal region. At this time, even if the identification unit 142 extracts feature points for each frame of the captured moving image, acquires the position of the peripheral edge of the eye including the outer and inner corners of the eye, and acquires the displacement amount of the cornea with reference to the position. Good.
これにより、撮影画像上で目の位置がずれても、目の領域における角膜の変位量を精度よく取得できる。なおその過程で取得できる、目尻や目頭の位置関係や、目の周縁の形状など自体を、個人識別に利用してもよい。この場合、識別部１４２は、これまで述べた反射強度、像の歪み、眼球運動などの少なくともいずれかに加え、それらの特徴点の位置関係などを、あらかじめ登録しておいた同じパラメータと照合することにより、最も類似度の高いユーザを特定する。あるいはさらに、目の虹彩部分のパターンを撮影画像から読み出すことにより、それを個人識別のための一つのパラメータとしてもよい。 As a result, even if the position of the eye shifts on the captured image, the amount of displacement of the cornea in the area of the eye can be accurately obtained. The positional relationship between the outer and inner corners of the eyes and the shape of the peripheral edge of the eyes, which can be obtained in the process, may be used for personal identification. In this case, the identification unit 142 collates at least one of the reflection intensity, image distortion, eye movement, and the like described above, as well as the positional relationship of those feature points with the same parameters registered in advance. By doing so, the user with the highest degree of similarity is identified. Alternatively, by reading the pattern of the iris portion of the eye from the captured image, it may be used as one parameter for personal identification.
これまではヘッドマウントディスプレイ１００が備える撮像センサ１３６が測定した、ユーザからの反射光の測定データに基づいて個人識別を行う態様を説明した。さらにヘッドマウントディスプレイを装着したユーザを含む空間を外部から撮影するカメラ（以後、外部カメラと呼ぶ）を導入し、その撮影画像（以後、外観画像と呼ぶ）から得られる情報と組み合わせることにより、さらに個人識別の精度を向上させてもよい。 So far, the mode of performing personal identification based on the measurement data of the reflected light from the user measured by the image sensor 136 included in the head-mounted display 100 has been described. Furthermore, by introducing a camera that captures the space including the user wearing the head-mounted display from the outside (hereinafter referred to as an external camera) and combining it with the information obtained from the captured image (hereinafter referred to as an external camera), further The accuracy of personal identification may be improved.
図１１は、外部カメラを導入した場合に利用できる情報を説明するための図である。（ａ）は外部カメラを導入した場合のシステムの構成例を示している。この例では、画像処理装置１０に、ヘッドマウントディスプレイ１００を装着したユーザを含む空間を撮影する外部カメラ１８０を有線または無線で接続している。また画像処理装置１０は、図３で示したようにネットワーク８を介してサーバ２００に接続されていてもよい。 FIG. 11 is a diagram for explaining information that can be used when an external camera is introduced. (A) shows a configuration example of the system when an external camera is introduced. In this example, an external camera 180 that captures a space including a user wearing a head-mounted display 100 is connected to the image processing device 10 by wire or wirelessly. Further, the image processing device 10 may be connected to the server 200 via the network 8 as shown in FIG.
外部カメラ１８０は、ＣＣＤセンサやＣＭＯＳセンサを搭載した、一般的なデジタルカメラやデジタルビデオカメラでよい。また外部カメラ１８０は、既知の間隔で左右の視点から同一空間を撮影するステレオカメラであってもよい。ステレオカメラを導入した場合、左右のカメラが撮影した画像に写る同じ対象物の視差に基づき、三角測量の原理により対象物の距離を得ることができる。 The external camera 180 may be a general digital camera or digital video camera equipped with a CCD sensor or a CMOS sensor. Further, the external camera 180 may be a stereo camera that captures the same space from the left and right viewpoints at known intervals. When a stereo camera is introduced, the distance of the object can be obtained by the principle of triangulation based on the parallax of the same object in the images taken by the left and right cameras.
（ｂ）は外部カメラ１８０により撮影される外観画像の例を模式的に示している。外観画像にはユーザのほか、ユーザがいる空間に存在する様々な物が写り込む。図示する例では壁１８２や床１８４、窓１８６、天井照明１８８が写っている。一般にユーザは、自分の部屋など同じ空間でコンテンツを楽しむことが多い。そのため外部カメラ１８０が撮影した外観画像における背景は、ユーザまたは家族に固有の特徴を有する可能性が高い。外部カメラ１８０が部屋に備え付けられている場合は特に、背景は常時同様に写される。そこで、背景に写る部屋や物の構造、色の分布などの特徴を登録情報に加え、個人識別に利用する。 (B) schematically shows an example of an external image taken by the external camera 180. In addition to the user, various objects existing in the space where the user is present are reflected in the external image. In the illustrated example, the wall 182, the floor 184, the window 186, and the ceiling lighting 188 are shown. In general, users often enjoy content in the same space such as their own room. Therefore, the background in the external image taken by the external camera 180 is likely to have features unique to the user or family. The background is always captured in the same way, especially when the external camera 180 is installed in the room. Therefore, features such as the structure of rooms and objects reflected in the background and color distribution are added to the registered information and used for personal identification.
図１２は、外部カメラ１８０を導入した場合の個人識別装置の機能ブロックの構成を示している。同図において、図５で示した個人識別装置１４０と同じ機能を有するブロックには同じ符号を付し、その説明を省略する。図示する個人識別装置１４０ａは、表示制御部１４８、発光データ記憶部１４６、センサ情報取得部１５０、識別部１４２、登録情報記憶部１４４を備える。これらの機能ブロックは、図５で示した個人識別装置１４０と同様の機能を有する。ただし識別部１４２は、外観画像から得られる情報によっても照合を行う。 FIG. 12 shows the configuration of the functional block of the personal identification device when the external camera 180 is introduced. In the figure, the blocks having the same functions as the personal identification device 140 shown in FIG. 5 are designated by the same reference numerals, and the description thereof will be omitted. The illustrated personal identification device 140a includes a display control unit 148, a light emitting data storage unit 146, a sensor information acquisition unit 150, an identification unit 142, and a registration information storage unit 144. These functional blocks have the same functions as the personal identification device 140 shown in FIG. However, the identification unit 142 also performs collation based on the information obtained from the appearance image.
個人識別装置１４０ａはさらに、外部カメラ１８０が撮影した外観画像のデータを取得する外観画像取得部１９０、および外観画像を解析する画像解析部１９２を備える。外観画像取得部１９０は、外部カメラ１８０が撮影した静止画または動画像のデータを取得する。画像解析部１９２は、外観画像を解析し、ユーザがいる空間の特徴を表すデータを取得する。 The personal identification device 140a further includes an appearance image acquisition unit 190 that acquires data of an appearance image taken by an external camera 180, and an image analysis unit 192 that analyzes the appearance image. The appearance image acquisition unit 190 acquires data of a still image or a moving image taken by the external camera 180. The image analysis unit 192 analyzes the appearance image and acquires data representing the characteristics of the space in which the user is.
複数の画像が同じ空間を撮影したものであることを特定できれば、解析手法や取得する特徴は特に限定されない。例えば画像解析部１９２は、背景差分、特徴点抽出、物体認識、パターンマッチング、周波数解析など既存の解析手法のいずれか、または組み合わせを実施することにより、背景の特徴点や色の分布などのデータを取得する。識別部１４２は、センサ情報取得部１５０から得られる情報に加え、画像解析部１９２から得られる情報についても登録情報と照合することにより、総合的に最高の類似度を示すユーザを特定する。 As long as it can be specified that a plurality of images are taken in the same space, the analysis method and the acquired features are not particularly limited. For example, the image analysis unit 192 performs data such as background feature points and color distribution by performing any or combination of existing analysis methods such as background subtraction, feature point extraction, object recognition, pattern matching, and frequency analysis. To get. The identification unit 142 identifies the user who shows the highest degree of similarity comprehensively by collating the information obtained from the image analysis unit 192 with the registered information in addition to the information obtained from the sensor information acquisition unit 150.
このため登録情報記憶部１４４に格納する登録情報には、波長帯ごとの反射強度や注目対象の動きに対する眼球の動きなどのデータのほか、外観画像から得られる、空間の特徴を表すデータをあらかじめ取得してユーザＩＤと対応づけておく。なお外観画像そのものを登録しておき、運用時に得られた外観画像とマッチングを行うことにより類似度を評価してもよい。また登録時に外観画像を撮影する際は、ユーザに外部カメラ１８０の視野外に移動するように促すことで、空間の特徴のみを精度よく取得してもよい。 Therefore, in the registration information stored in the registration information storage unit 144, in addition to data such as the reflection intensity for each wavelength band and the movement of the eyeball with respect to the movement of the object of interest, data representing the characteristics of the space obtained from the appearance image are stored in advance. Obtain it and associate it with the user ID. The appearance image itself may be registered and the similarity may be evaluated by matching with the appearance image obtained at the time of operation. Further, when taking an external image at the time of registration, by encouraging the user to move out of the field of view of the external camera 180, only the features of the space may be accurately acquired.
なお登録時にいた空間と別の空間にいる同一ユーザを識別する場合、外観画像に基づく照合は類似度が低くなるが、本実施の形態では多数の評価基準の一つとして空間の特徴を用いるため、照合が不成功に終わる可能性を低くできる。また総合的な類似度の算出には、評価基準ごとに、変動の可能性に応じた重みを設定することにより、識別部１４２が適切に個人を特定できるようにする。 When identifying the same user who is in a different space from the space that was at the time of registration, the degree of similarity is low in the collation based on the appearance image, but in the present embodiment, the feature of the space is used as one of many evaluation criteria. , The possibility of unsuccessful collation can be reduced. Further, in the calculation of the comprehensive similarity, the identification unit 142 can appropriately identify the individual by setting the weight according to the possibility of fluctuation for each evaluation standard.
上述のとおり個人識別装置１４０、１４０ａは、画像処理装置１０に設けるのに限らず、ヘッドマウントディスプレイ１００やサーバ２００に設けてもよい。また個人識別装置１４０、１４０ａの機能を、複数の装置に分けて設けてもよい。例えば識別部１４２と登録情報記憶部１４４のみをサーバ２００に設けてもよい。この場合、画像処理装置１０におけるセンサ情報取得部１５０および画像解析部１９２からの情報を、ネットワーク８を介してサーバ２００が取得したうえ、識別部１４２が個人を識別する。 As described above, the personal identification devices 140 and 140a are not limited to being provided in the image processing device 10, but may be provided in the head-mounted display 100 or the server 200. Further, the functions of the personal identification devices 140 and 140a may be provided separately for a plurality of devices. For example, only the identification unit 142 and the registration information storage unit 144 may be provided in the server 200. In this case, the server 200 acquires the information from the sensor information acquisition unit 150 and the image analysis unit 192 in the image processing device 10 via the network 8, and the identification unit 142 identifies the individual.
この場合、サーバ２００は、識別結果に基づいて所定の認証処理を行ってもよい。すなわち図示するように、サーバ２００に認証部１９４をさらに設ける。認証部１９４は、特定したユーザに対しその後の処理を実施してよいか否かを判定する。例えば認証部１９４は、サーバ２００が提供するサービスの提供の是非、コンテンツデータの伝送の是非などを判定する。そのため認証部１９４は内部に、それらの処理を是とすべきユーザのＩＤなどを含む認証用登録情報を保持する。なお個人が識別されたあとの認証処理には様々な態様があることは当業者には理解されるところである。 In this case, the server 200 may perform a predetermined authentication process based on the identification result. That is, as shown in the figure, the server 200 is further provided with the authentication unit 194. The authentication unit 194 determines whether or not the subsequent processing may be performed on the specified user. For example, the authentication unit 194 determines whether to provide the service provided by the server 200, whether to transmit the content data, and the like. Therefore, the authentication unit 194 internally holds the authentication registration information including the ID of the user whose processing should be performed. It will be understood by those skilled in the art that there are various aspects of the authentication process after an individual has been identified.
なお認証部１９４はサーバ２００に設けるのに限らず、個人識別装置１４０、１４０ａとともに画像処理装置１０に設けてもよいし、ヘッドマウントディスプレイ１００に設けてもよい。また識別部１４２を画像処理装置１０に設け、その個人識別結果をサーバ２００に送信することにより、サーバ２００の認証部１９４が認証処理を行ってもよい。 The authentication unit 194 is not limited to the server 200, and may be provided in the image processing device 10 together with the personal identification devices 140 and 140a, or may be provided in the head-mounted display 100. Further, the authentication unit 194 of the server 200 may perform the authentication process by providing the identification unit 142 in the image processing device 10 and transmitting the personal identification result thereof to the server 200.
以上述べた本実施の形態によれば、ヘッドマウントディスプレイにおいて表示パネルを所定の規則で発光させ、ユーザからの反射光を測定することにより当該ユーザを識別する。例えば表示パネルの表示色ひいては発光色を、時間的あるいは空間的に変化させることにより、複数の波長帯の光に対する反射強度の変化を表すマルチスペクトル情報を取得する。あるいは表示させた注目対象の動きに対する眼球の動きを取得する。これらの情報を適宜組み合わせ、登録情報と比較することにより、複数の観点で類似度が高い登録ユーザを特定する。 According to the present embodiment described above, the user is identified by causing the display panel to emit light according to a predetermined rule in the head-mounted display and measuring the reflected light from the user. For example, by changing the display color of the display panel and thus the emission color temporally or spatially, multispectral information indicating a change in reflection intensity with respect to light in a plurality of wavelength bands is acquired. Alternatively, the movement of the eyeball with respect to the displayed movement of the object of interest is acquired. By appropriately combining these pieces of information and comparing them with the registered information, a registered user having a high degree of similarity is identified from a plurality of viewpoints.
表示パネルを利用することにより、様々な光の状態や像の動きを容易に作り出すことができ、それぞれの状態に対し得られた複数の情報を組み合わせることにより、簡易な構成でも頑健性の高い個人識別を実現できる。したがって測定に用いる撮像センサも、視線検出の目的で搭載されたものを利用でき、ヘッドマウントディスプレイの製造コストや重量への影響なく導入が可能である。 By using the display panel, various light states and image movements can be easily created, and by combining multiple pieces of information obtained for each state, an individual with high robustness even with a simple configuration. Identification can be realized. Therefore, the image sensor used for the measurement can also be the one mounted for the purpose of detecting the line of sight, and can be introduced without affecting the manufacturing cost and weight of the head-mounted display.
また遮蔽型のヘッドマウントディスプレイを利用する場合、測定される光に外光はほぼ含まれないため、周囲の明るさなどの影響を受けることなく安定した精度で個人を識別できる。さらに、ユーザがいる空間を撮影する外部カメラを導入し、当該空間の特徴を識別に利用したり、ユーザの目の形、虹彩の状態などを利用したりすることにより、より頑健性の高い個人識別を実現できる。 In addition, when a shielded head-mounted display is used, the measured light contains almost no external light, so that an individual can be identified with stable accuracy without being affected by the ambient brightness or the like. Furthermore, by introducing an external camera that captures the space in which the user is, and using the characteristics of the space for identification, the shape of the user's eyes, the state of the iris, etc., a more robust individual Identification can be realized.
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. The above-described embodiment is an example, and it is understood by those skilled in the art that various modifications are possible for each of these components and combinations of each processing process, and that such modifications are also within the scope of the present invention. is there.
１０ 画像処理装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、 ４０ 記録媒体駆動部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １４０ 個人識別装置、 １４２ 識別部、 １４４ 登録情報記憶部、 １４６ 発光データ記憶部、 １４８ 表示制御部、 １５０ センサ情報取得部、 １９０ 外観画像取得部、 １９２ 画像解析部、 ２００ サーバ。 10 Image processing device, 23 CPU, 24 GPU, 26 Main memory, 32 Communication section, 34 Storage section, 36 Output section, 38 Input section, 40 Recording medium drive section, 100 Head mount display, 110 Stereo camera, 140 Personal identification device , 142 identification unit, 144 registration information storage unit, 146 light emission data storage unit, 148 display control unit, 150 sensor information acquisition unit, 190 appearance image acquisition unit, 192 image analysis unit, 200 server.
Claims (17)
前記表示パネルを見ているユーザからの反射光に係る測定データを取得するセンサ情報取得部と、
前記測定データを登録情報と照合することによりユーザを識別する識別部と、
を備えたことを特徴とする個人識別装置。 A display control unit that makes the display panel of the head-mounted display emit light according to a predetermined rule,
A sensor information acquisition unit that acquires measurement data related to reflected light from a user viewing the display panel,
An identification unit that identifies the user by collating the measurement data with the registered information,
A personal identification device characterized by being equipped with.
前記識別部は、複数の波長帯の光の、前記ユーザからの反射光強度を前記登録情報と照合することを特徴とする請求項１に記載の個人識別装置。 The display control unit generates light of a plurality of wavelength bands from the display panel to generate light.
The personal identification device according to claim 1, wherein the identification unit collates the reflected light intensity of light in a plurality of wavelength bands with the registration information.
前記センサ情報取得部は、ユーザの眼球を撮影した動画像のデータを取得し、
前記識別部は、前記注目対象の像の移動に対する眼球の動きに係る情報を、前記登録情報と照合することを特徴とする請求項１から７のいずれかに記載の個人識別装置。 The display control unit moves the image of interest in the image to be displayed on the display panel.
The sensor information acquisition unit acquires moving image data obtained by photographing the user's eyeball, and obtains data.
The personal identification device according to any one of claims 1 to 7, wherein the identification unit collates information related to the movement of the eyeball with respect to the movement of the image of the object of interest with the registration information.
前記撮影画像を解析して前記空間に係る情報を取得する画像解析部と、
をさらに備え、
前記識別部は、前記測定データとともに前記空間に係る情報を登録情報と照合することを特徴とする請求項１から１１のいずれかに記載の個人識別装置。 An external image acquisition unit that acquires a photographed image of a space including a user wearing the head-mounted display from the outside, and an external image acquisition unit.
An image analysis unit that analyzes the captured image and acquires information related to the space,
With more
The personal identification device according to any one of claims 1 to 11, wherein the identification unit collates information related to the space together with the measurement data with registered information.
前記表示パネルと、
前記反射光に係るデータを測定するセンサと、
を備えたことを特徴とするヘッドマウントディスプレイ。 The personal identification device according to any one of claims 1 to 13.
With the display panel
A sensor that measures data related to the reflected light,
A head-mounted display featuring a head-mounted display.
前記測定データを登録情報と照合することによりユーザを識別する識別部と、
前記識別部による識別結果に基づき前記ヘッドマウントディスプレイへのデータ伝送の是非を決定する認証部と、
を備えたことを特徴とするコンテンツ配信サーバ。 A sensor information acquisition unit that acquires measurement data related to reflected light from a user who is looking at the display panel of a head-mounted display that emits light according to a predetermined rule.
An identification unit that identifies the user by collating the measurement data with the registered information,
An authentication unit that determines whether or not to transmit data to the head-mounted display based on the identification result by the identification unit,
A content distribution server characterized by being equipped with.
前記表示パネルを見ているユーザからの反射光に係る測定データを取得するステップと、
前記測定データを登録情報と照合することによりユーザを識別するステップと、
を含むことを特徴とする個人識別装置による個人識別方法。 The step of making the display panel of the head-mounted display emit light according to a predetermined rule,
A step of acquiring measurement data related to reflected light from a user viewing the display panel, and
A step of identifying a user by collating the measurement data with the registered information,
A personal identification method by a personal identification device, which comprises.
前記表示パネルを見ているユーザからの反射光に係る測定データを取得する機能と、
前記測定データを登録情報と照合することによりユーザを識別する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 The function to make the display panel of the head-mounted display emit light according to a predetermined rule,
A function to acquire measurement data related to reflected light from a user viewing the display panel, and
A function to identify the user by collating the measurement data with the registered information,
A computer program characterized by realizing a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135471A JP2021018729A (en) | 2019-07-23 | 2019-07-23 | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135471A JP2021018729A (en) | 2019-07-23 | 2019-07-23 | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021018729A true JP2021018729A (en) | 2021-02-15 |
Family
ID=74563694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019135471A Pending JP2021018729A (en) | 2019-07-23 | 2019-07-23 | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021018729A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762179A (en) * | 2021-09-13 | 2021-12-07 | 支付宝(杭州)信息技术有限公司 | Living body detection method and apparatus |
| WO2023214495A1 (en) * | 2022-05-06 | 2023-11-09 | ソニーグループ株式会社 | Biological information measurement device, biological information measurement method, and biological information measurement program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004362079A (en) * | 2003-06-02 | 2004-12-24 | Fuji Photo Film Co Ltd | Personal identification device |
| JP2005293116A (en) * | 2004-03-31 | 2005-10-20 | Nifty Corp | Authentication method in computer network |
| JP2011517347A (en) * | 2007-11-27 | 2011-06-02 | ウェイヴフロント・バイオメトリック・テクノロジーズ・ピーティーワイ・リミテッド | Biometric authentication using eyes |
| JP6446676B1 (en) * | 2018-04-24 | 2019-01-09 | 株式会社サイバーウェア | Identity authentication system, method and program |
| JP2019511272A (en) * | 2016-03-07 | 2019-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Blue light conditioning for biometric security |
-
2019
- 2019-07-23 JP JP2019135471A patent/JP2021018729A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004362079A (en) * | 2003-06-02 | 2004-12-24 | Fuji Photo Film Co Ltd | Personal identification device |
| JP2005293116A (en) * | 2004-03-31 | 2005-10-20 | Nifty Corp | Authentication method in computer network |
| JP2011517347A (en) * | 2007-11-27 | 2011-06-02 | ウェイヴフロント・バイオメトリック・テクノロジーズ・ピーティーワイ・リミテッド | Biometric authentication using eyes |
| JP2019511272A (en) * | 2016-03-07 | 2019-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Blue light conditioning for biometric security |
| JP6446676B1 (en) * | 2018-04-24 | 2019-01-09 | 株式会社サイバーウェア | Identity authentication system, method and program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762179A (en) * | 2021-09-13 | 2021-12-07 | 支付宝(杭州)信息技术有限公司 | Living body detection method and apparatus |
| CN113762179B (en) * | 2021-09-13 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | Living body detection method and living body detection device |
| WO2023214495A1 (en) * | 2022-05-06 | 2023-11-09 | ソニーグループ株式会社 | Biological information measurement device, biological information measurement method, and biological information measurement program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10488659B2 (en) | Apparatus, systems and methods for providing motion tracking using a personal viewing device | |
| KR102417177B1 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| US10777016B2 (en) | System and method of enhancing user's immersion in mixed reality mode of display apparatus | |
| US9495008B2 (en) | Detecting a primary user of a device | |
| US20180189549A1 (en) | Method for communication via virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
| US9105210B2 (en) | Multi-node poster location | |
| US7809160B2 (en) | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections | |
| US9035970B2 (en) | Constraint based information inference | |
| JP6144681B2 (en) | Head mounted display with iris scan profiling function | |
| US9317971B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
| US9384737B2 (en) | Method and device for adjusting sound levels of sources based on sound source priority | |
| JP6845982B2 (en) | Facial expression recognition system, facial expression recognition method and facial expression recognition program | |
| KR20180096434A (en) | Method for displaying virtual image, storage medium and electronic device therefor | |
| CN106104650A (en) | Remote Device Control is carried out via gaze detection | |
| KR102502310B1 (en) | Color identification using infrared imaging | |
| JP7218376B2 (en) | Eye-tracking method and apparatus | |
| CN113260299A (en) | System and method for eye tracking | |
| CN108537103B (en) | Living body face detection method and device based on pupil axis measurement | |
| US20180373414A1 (en) | Method for communicating via virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
| JP2021018729A (en) | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method | |
| CN113197542B (en) | Online self-service vision detection system, mobile terminal and storage medium | |
| CN110998673A (en) | Information processing apparatus, information processing method, and computer program | |
| KR20210150881A (en) | Electronic apparatus and operaintg method thereof | |
| US20230015732A1 (en) | Head-mountable display systems and methods | |
| JP2024023752A (en) | Data generation device, video system, and data generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230825 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231205 |