JP2014517429A - ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法 - Google Patents

ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法 Download PDF

Info

Publication number
JP2014517429A
JP2014517429A JP2014516161A JP2014516161A JP2014517429A JP 2014517429 A JP2014517429 A JP 2014517429A JP 2014516161 A JP2014516161 A JP 2014516161A JP 2014516161 A JP2014516161 A JP 2014516161A JP 2014517429 A JP2014517429 A JP 2014517429A
Authority
JP
Japan
Prior art keywords
eye movement
movement pattern
user
eyeball
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014516161A
Other languages
English (en)
Other versions
JP2014517429A5 (ja
JP5885835B2 (ja
Inventor
ソン,ウエンジユアン
ソン,ジアンピン
ドウ,リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014517429A publication Critical patent/JP2014517429A/ja
Publication of JP2014517429A5 publication Critical patent/JP2014517429A5/ja
Application granted granted Critical
Publication of JP5885835B2 publication Critical patent/JP5885835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

本発明は、ユーザの眼球の動きによってコンピュータ装置を操作する方法に関する。この方法は、ユーザの眼球の動きを検出するステップと、検出したユーザの眼球の動きにおける眼球動きパターンと眼球動きパターンを完了するのに要する期間とを特定するために、ユーザの眼球の動きを解析するステップと、眼球動きパターンと期間との組合せに関連付けられたコマンドを特定するステップと、コマンドに従って装置を動作させるステップとを含む。

Description

本発明は、ユーザの眼球の動きによって操作可能なコンピュータ装置、およびユーザの眼球の動きによってコンピュータ装置を操作する方法に関する。
電子書籍(e−Book、eBookまたはディジタル書籍とも呼ぶ)は、コンピュータまたは他のディジタル装置上で生成され、公表され、読むことができる、ディジタル形式のテキストおよび画像に基づく出版物として知られている。eBookは、通常、eReaderまたはeBook装置として知られている専用のハードウェア装置上で読まれる。eBookを読むために、スマートフォンなどのコンピュータ装置を使用することもできる。
さらに多くの人々がeBookを読むためにコンピュータ装置を使用するようになると、コンピュータ装置を操作するためのより便利な操作が期待される。
アイ・トラッキング(視線追跡)は、盛んに研究が行われている分野の1つである。アイ・トラッキングは、視線の先の点(凝視点)と、ユーザの頭部に対する眼球の相対的な動きとを測定するプロセスである。眼球の動きを測定する方法は、いくつかある。最も一般的なものは、ビデオ画像を使用して、そこから眼球の位置を抽出するものである。視線の検出は、多くのヒューマン/コンピュータ・インタラクションの用途に使用されている。視線を推定する手法には、ユーザにとって煩わしい手法と、煩わしさを伴わない手法との両方がある。ユーザにとって煩わしい手法では、ユーザは、ヘッドギア・カメラを装着して、カメラの画面が見える状態で両眼の位置を固定する、またはカメラで赤外線光を使用して両眼を検出する必要がある。煩わしさを伴わない手法では、ユーザは、ユーザの目を撮像する簡単なカメラが必要になるだけであり、その他にはいかなる機器を装着する必要もない。現在では、スマートフォンや携帯型電子ゲーム機などのコンピュータ装置のほとんどが、ユーザを撮像するためのカメラを備えており、eReaderとして使用することができる。
動きパターン解析(MPA)は、非言語的挙動の規律解析に基づいて、意思決定プロセスにおける個人の核心的動機を評価する包括的な体系である。
ユーザの眼球の動きのパターンを認識するアイ・トラッキング装置が、米国特許出願公開第2008/0143674(A1)号に示されている。
本発明の目的は、コンピュータ装置を操作するためにユーザの眼球の動きを利用する、より便利な操作を提供することである。
本発明の一態様によれば、ユーザの眼球の動きによって操作可能なコンピュータ装置が提供される。このコンピュータ装置は、ユーザの眼球の動きを検出する手段と、検出したユーザの眼球の動きにおける眼球動きパターンと眼球動きパターンを完了するのに要する期間とを特定するために、ユーザの眼球の動きを解析する手段と、眼球動きパターンと期間との組合せに関連付けられたコマンドを特定する手段と、コマンドに従って装置を動作させる手段とを含む。
本発明の他の態様によれば、ユーザの眼球の動きによってコンピュータ装置を操作する方法が提供される。この方法は、ユーザの眼球の動きを検出するステップと、検出したユーザの眼球の動きにおける眼球動きパターンと眼球動きパターンを完了するのに要する期間とを特定するために、ユーザの眼球の動きを解析するステップと、眼球動きパターンと期間との組合せに関連付けられたコマンドを特定するステップと、コマンドに従って装置を動作させるステップとを含む。
本発明の上記その他の態様、特徴および利点は、添付の図面と関連付けて以下の説明を読むことにより明らかになるであろう。
本発明の一実施形態によるコンピュータ装置の例示的なブロック図である。 本発明の一実施形態によるコンピュータ装置を使用する基本的環境を示す図である。 光学的な線が追加されたこと以外は図2Aに示すものと同じである基本的環境を示す図である。 図(a)〜(c)は、コンピュータ装置のディスプレイ上に提示されたページの1行のテキストを左から右に読み取る、基本的な読取りプロセスを示す図である。 図(a)〜(c)は、コンピュータ装置のディスプレイ上に提示されたページを上から下に読み取る、基本的な読取りプロセスを示す図である。 図4(a)〜(c)に示すコンピュータ装置のディスプレイ上に提示されたページを読み取る読取りプロセスの結果として検出される眼球動きパターンを示す図である。 図5に示す眼球動きパターンに従って、どのようにしてコンピュータ装置のディスプレイ上に示されるページが次のページにスクロールされるかを示す図である。 図(a)〜(f)は、本発明によるコンピュータ装置を操作する様々な種類のコマンドを生成する、眼球動きパターンと眼球動きパターンを完了するのに要する期間との様々な種類の組合せを示す図である。 図(a)〜(c)は、ディスプレイ上の異なる位置でトラッキングされた眼球動きパターンを示す図である。 本発明の一実施形態による、ユーザの眼球の動きによってコンピュータ装置を操作する方法を示すフローチャートである。
以下の説明では、本発明の実施形態の様々な態様について述べる。説明を目的として、完全に理解できるようにするために、具体的な構成および詳細を記載する。ただし、当業者には、本明細書に示す具体的な詳細がなくても本発明を実施することができることは明らかであろう。
図1は、本発明の一実施形態によるコンピュータ装置110の例示的なブロック図を示す。コンピュータ装置110は、タブレット、スマートフォン、eBookリーダーなどであってもよい。コンピュータ装置110は、CPU(中央処理装置)111、眼球動き検出器112、記憶装置113、ディスプレイ114、およびユーザ入力モジュール115を含む。図1に示すように、RAM(ランダム・アクセス・メモリ)などのメモリ116が、CPU111に接続されていてもよい。
眼球動き検出器112は、装置110のユーザの眼球を検出し、その眼球および視線の動きをモニタリングする構成要素である。また、眼球動き検出器112は、ディスプレイ114上の視線位置を検出して収集し、各視線の時間を測定するように構成されている。眼球動き検出器112は、視線トラッキングのために、多種多様な技術を利用することができる。例えば、眼球動き検出器112は、3段階のステップを利用して、視線トラッキングを実現することができる。第1のステップで、Haar−like特徴に基づいてユーザの顔の中における眼球を検出し、第2のステップで、Lucas Kanadeアルゴリズムを用いて眼球の動きのトラッキングを実行し、第3のステップで、ガウスプロセスを用いて視線を検出する。当業者であれば、上記の技術だけが視線トラッキングの方法ではなく、その他の多くの技術を使用して視線トラッキングを行うことができることが分かるであろう。
ディスプレイ114は、テキスト、画像、ビデオ、およびその他の任意のコンテンツを、装置110のユーザに対して視覚的に提示するように構成されている。ディスプレイ114をタッチ・スクリーンにして、ユーザがユーザ入力モジュール115だけでなくディスプレイ114上でも装置110を操作することができるようにすることもできる。
ユーザ入力モジュール115は、文字またはコマンドを入力するためのキーまたはボタンを装置110上に含むことができ、キーまたはボタンを用いて入力された文字またはコマンドを認識する機能を備えることもできる。ディスプレイ114がタッチ・スクリーンであり、ディスプレイ114上で文字またはコマンドを入力することができるように装置110が構成されている場合には、ユーザ入力モジュール115はオプションとしてもよい。
記憶装置113は、以下に説明するように、CPU111が眼球動き検出器112、ディスプレイ114およびユーザ入力モジュール115を駆動して動作させるためのソフトウェア・プログラムおよびデータを記憶するように構成されている。
図2Aは、本発明の一実施形態によるコンピュータ装置を使用する基本的環境を示す。図2Bは、光学的な線が追加されたこと以外は図2Aに示すものと同じである基本的環境を示す。図2Aおよび図2Bでは、図1に示すコンピュータ装置110は、参照番号「11」で示されている。
図2Aおよび図2Bは、ユーザ12が装置11のディスプレイ上に提示されたコンテンツを読んでいる、または閲覧している様子を示している。装置11は、ユーザ12の顔を撮像してユーザ12の眼球を検出し、眼球および視線の動きをモニタリングするカメラ10を備えている。カメラ10は、ユーザ12の顔を取り込み、ユーザ12の凝視点16を検出する役割を担う。カメラ10は、図1に示す眼球動き検出器112の一要素であってもよい。
図2Bでは、破線14は、カメラ10の視野または範囲を表す。ユーザが注目している大まかな領域が、2本の破線15で近似的に示されている。
図3(a)〜(c)は、装置11のディスプレイ上に提示されたページの1行のテキストを左から右に読み取る、基本的な読取りプロセスを示している。ユーザの左右の眼球20は、この読取りプロセスの間に移動する。図3(a)に示すように、凝視点21は、読取りプロセスの開始時には、テキスト行の先頭に位置している。その後、凝視点22は、図3(b)に示すようにテキスト行の中央に移動し、最終的に、凝視点23は、図3(c)に示すようにテキスト行の末尾に移動する。眼球動き検出器112(図1)が、これらの眼球の動きを検出し、テキスト行上の各視線の期間を測定する。1行のテキスト行を読み取るのにかかる総時間は、近似的に、図1に示すCPU111がテキスト行上の各視線の期間を合計することによって計算される。
図4(a)〜(c)は、装置11のディスプレイ上に提示されたページ全体を上から下に読み取る、基本的な読取りプロセスを示している。図4(a)に示すように、最初に、ユーザ30は、このページの1行目のテキスト行31を左から右に読み取る。その後、ユーザ30は、2行目のテキスト行32を左から右に読み取り、その他のテキスト行について同じ読取りプロセスを繰り返す(図4(b))。最後に、ユーザ30は、最後のテキスト行33を左から右に読み取る(図4(c))。図3(a)〜(c)を参照して述べたのと同様にして、眼球動き検出器112(図1)が、ユーザ30がこのページのテキスト行を読んでいる間の眼球の動きを検出し、これらのテキスト行上の各視線の期間を測定する。このページを読み取るのにかかる総時間は、近似的に、CPU111(図1)がこれらのテキスト行上の各視線の期間を合計することによって計算される。
図4(a)〜(c)に示す、装置のディスプレイ上に提示されたページを読み取る読取りプロセスの結果として、図5に示す眼球動きパターンが、この装置によって検出される。図5に示す黒丸は、それぞれ、ユーザの凝視点を示している。矢印は、ユーザの凝視点の移動方向を意味している。図5から分かるように、ユーザの凝視点は、一番上のテキスト行から一番下のテキスト行まで、各テキスト行の左から右にジグザグ形に移動する。
図4(a)〜(c)に示すこの基本読取りプロセスでは、例えば、装置11(図2Aおよび図2B)は、ユーザがディスプレイ上のページを始めから終わりまで読んだときに、ディスプレイに提示されているページを次のページにめくるように構成されている。
ここで、ディスプレイ上のページをめくる操作メカニズムについて、図1、図5および図6を参照して説明する。装置110の記憶装置113には、眼球動きパターンおよびコマンドを含む表が記憶されている。この表では、各コマンドは、それぞれの眼球動きパターンに関連付けられている。図6のモジュール55に示すように、ユーザ50がページ51を始めから終わり53まで読んだとき、CPU111および眼球動き検出器112を用いて、図5に示すジグザグ形の眼球動きパターンを検出する。その後、CPU111は、検出した眼球動きパターンを記憶装置113に記憶された表中にある眼球動きパターンと比較する。検出した眼球動きパターンと一致する眼球動きパターンが表中で見つかった場合には、CPU111は、表中にある一致した眼球動きパターンに関連付けられたコマンドを実行する。そのコマンドが「ディスプレイ上のページをめくる」というコマンドである場合には、CPU111は、図6のモジュール56に示すように、ディスプレイ上のページ51を次のページ52にスクロールする。本発明の一実施形態によれば、この装置のディスプレイ上に提示されるページ51は、上述のようにカメラ10(図2Aおよび図2B)を含み得る眼球動き検出器112(図1)によって検出されたユーザの眼球の動きによってめくることができ、その後、ユーザ50は、図6のモジュール57に示すように、次のページ52を始め54から読み始めることができる。
図7(a)〜(f)は、本発明によるコンピュータ装置を操作する様々な種類のコマンドを生成する、眼球動きパターンと眼球動きパターンを完了するのに要する期間との様々な種類の組合せを示している。
図7(a)は、凝視点が左から右に移動する眼球動きパターンを示している。「左」コマンドが、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Tとの組合せに関連付けられている。この眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間tが所定のしきい値期間T未満である場合には、eBookなどのコンテンツの前のページが左側から現れてディスプレイ上に示されるように「左」コマンドが実行される。
図7(b)は、凝視点が上から下に移動する眼球動きパターンを示している。「次」コマンドが、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Tとの組合せに関連付けられている。この眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間tが所定のしきい値期間T未満である場合には、「次」コマンドが実行されて、このコンテンツの次のページをディスプレイ上に示す。
図7(c)〜(f)は、さらに異なる眼球動きパターンを示している。図7(a)および図7(b)に示す場合と同様に、コマンドが、眼球動きパターンと、その眼球動きパターンを完了するのに要するしきい値期間Tとの組合せに関連付けられており、図7(c)〜(f)に示す眼球動きパターンの何れか1つが検出され、その眼球動きパターンを完了するのに要する期間tが所定のしきい値期間T未満である場合には、対応するコマンドが実行される。これらの例では、図7(c)の眼球動きパターンは、ディスプレイに提示されているコンテンツのバージョンを示す「バージョン」コマンドに関連付けられていてもよく、図7(d)の眼球動きパターンは、コンテンツの最後のページにジャンプする「終了」コマンドに関連付けられていてもよく、図7(e)の眼球動きパターンは、コンテンツの最初のページにジャンプする「ホーム」コマンドに関連付けられていてもよく、図7(f)の眼球動きパターンは、ディスプレイに提示されているコンテンツを回転させる「回転」コマンドに関連付けられていてもよい。これらのコマンドと、眼球動きパターンおよびしきい値期間の組合せとは、互いに関連付けられ、記憶装置113(図1)に記憶されている。
上述の例では、期間tがT以上である場合には、コマンドは実行されない。期間tがT≦tを満たすときには、ユーザがディスプレイ上のコンテンツを読んでいる、または見ているだけであることが理解されるであろう。
なお、より多くの様々なしきい値期間を眼球動きパターンに関連付けることができることに留意されたい。例として図7(a)を参照すると、上述のしきい値期間Tに加えて、しきい値期間T/2を眼球動きパターンに関連付けることができる。この例では、検出された眼球動きパターンを完了するのに要する期間tがt<T/2を満たす場合には2ページ以上前のページが左側から現れてそのページがディスプレイに示され、期間tが2/T≦t<Tを満たす場合には1つ前のページが左側から現れてディスプレイに示されるように、「左」コマンドを実行することができる。これらの例から分かるように、複数のしきい値期間を1つの眼球動きパターンに関連付けることによって、1つの眼球動きパターンを用いて複数のコマンドを生成することができる。
さらに、ディスプレイ上でトラッキングされる眼球動きパターンの異なる位置を、1つまたは複数のしきい値期間に加えて、眼球動きパターンに関連付けることができることに留意されたい。
図8(a)〜(c)は、眼球動きパターンがディスプレイ上の異なる位置でトラッキングされることを示している。眼球動きパターンが、ディスプレイの左側(図8(a))、ディスプレイの中央(図8(b))、およびディスプレイの右側(図8(c))でトラッキングされることが示されている。
しきい値期間Tが、凝視点が上から下に移動する眼球動きパターンに関連付けられているとすると、例えば、「フォント・サイズ」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Tと、この眼球動きパターンがディスプレイ上でトラッキングされる位置(図8(a)に示す左側位置)との組合せに関連付けることができ、「次」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Tと、この眼球動きパターンがディスプレイ上でトラッキングされる位置(図8(b)に示す中央位置)との組合せに関連付けることができ、「ズーム」コマンドを、この眼球動きパターンと、この眼球動きパターンを完了するのに要するしきい値期間Tと、この眼球動きパターンがディスプレイ上でトラッキングされる位置(図8(c)に示す右側位置)との組合せに関連付けることができる。
図8(a)〜(c)に示す眼球動きパターンが検出され、この眼球動きパターンを完了するのに要する期間tが所定のしきい値期間T未満であるという条件下では、
(1)眼球動きパターンが図8(a)に示すようにディスプレイの左側でトラッキングされた場合には、「フォント・サイズ」コマンドを実行して、ユーザがディスプレイ上のフォント・サイズを調節できるようにし、
(2)眼球動きパターンが図8(b)に示すようにディスプレイの中央でトラッキングされた場合には、「次」コマンドを実行して、そのコンテンツの次のページをディスプレイ上に示し、
(3)眼球動きパターンが図8(c)に示すようにディスプレイの右側でトラッキングされた場合には、「ズーム」コマンドを実行して、ディスプレイ上のコンテンツを拡大する。
もちろん、より多くの様々なしきい値期間を、眼球動きパターンの種々の位置のそれぞれに関連付けることもできる。種々のしきい値期間とディスプレイ上の眼球動きパターンの種々の位置とを1つの眼球動きパターンに関連付けることによって、種々のしきい値期間または眼球動きパターンの種々の位置のうちの一方を1つの眼球動きパターンに関連付けた場合と比較して、1つの眼球動きパターンを用いてより多くのコマンドを生成することができる。
眼球動きパターンおよびしきい値期間の様々な組合せが、記憶装置113(図1)に記憶されている。各々の組合せが、ディスプレイ上の眼球動きパターンの位置を含んでいてもよい。また、様々なコマンドが、記憶装置113中のそれぞれの組合せと関連付けられた状態で、記憶装置113に記憶されている。これらの様々な組合せおよびそれらが関連付けられたコマンドは、表形式で記憶装置に記憶することができる。
なお、ディスプレイ上にユーザによって形成された眼球動きパターンは、図7および図8に示す眼球動きパターンの1つと厳密に同じとはいえないこともあること、さらには、本発明の上述の実施形態において、眼球動きパターンは、その基準眼球動きパターンと比較して一定の許容範囲内で変形している場合でも検出することができることに留意されたい。
また、図7および図8に示す各眼球動きパターンの、ディスプレイのサイズに対する相対的なサイズは、図7および図8に示す例に限定されないことにも留意されたい。ディスプレイ上の眼球動きパターンは、この装置によって検出することができる限り、いかなるサイズであってもよい。
図9は、本発明の一実施形態による、ユーザの眼球の動きによってコンピュータ装置を操作する方法を示すフローチャートである。以下、コンピュータ装置を操作するこの方法について、図1および図9を参照して説明する。
ステップS102で、装置110の眼球動き検出器112によって、コンピュータ装置110のユーザの眼球の動きを検出する。このステップでは、眼球動き検出器112によって、装置110のユーザの眼球を検出し、その眼球および視線の動きをモニタリングする。また、眼球動き検出器112によって、ディスプレイ114上の各視線位置を検出し、各視線の時間を測定する。
ステップS104で、装置110のCPU111によって、ユーザの検出された眼球の動きを解析する。このステップでは、装置110のCPU111が、検出された眼球の動きに含まれる眼球動きパターンと、その眼球動きパターンを完了するのに要する期間を特定する。CPU111は、検出した眼球の動きを記憶装置113に記憶された眼球動きパターンと比較することによって、眼球動きパターンを特定する。眼球動きパターンが特定されたら、CPU111は、特定された眼球動きパターンの総視線時間を計算することにより、特定された眼球動きパターンを完了するのに要する期間を特定する。このステップでは、CPU111が、特定された眼球動きパターンのディスプレイ114上の位置を特定することもできる。
ステップS106で、CPU111が、眼球動きパターンと、その眼球動きパターンのしきい値期間との組合せに関連付けられたコマンドを特定する。このステップでは、CPU111は、記憶装置113を探索して、特定された眼球動きパターンが一致する眼球動きパターンを見つける。その後、CPU111は、特定された眼球動きパターンを完了するのに要する特定された期間が、一致した眼球動きパターンに関連付けられた所定のしきい値期間を満たすかどうかを判定する。特定された期間が所定のしきい値期間を満たす場合には、CPU111が、一致した眼球動きパターンと、その一致する眼球動きパターンの所定のしきい値期間との組合せに関連付けられたコマンドを特定する。
ステップS106で、ディスプレイ上の眼球動きパターンの位置も、眼球動きパターンとしきい値期間との組合せに関連付けられており、かつ特定された眼球動きパターンのディスプレイ114上の位置がCPU111によって特定されている場合には、CPU111が、一致する眼球動きパターン、その一致する眼球動きパターンのしきい値期間、およびディスプレイ上のその一致する眼球動きパターンの位置を含む3つの要素の組合せに関連付けられたコマンドを特定する。
ステップS108で、CPU111が、特定されたコマンドを実行し、その後、コンピュータ装置110は、そのコマンドに従って動作する。
本発明の原理の上記その他の特徴および利点は、当業者であれば、本明細書の教示に基づいて容易に確認することができる。これらの本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置上で有形に具現化されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードし、この機械によって実行することができる。この機械は、1つまたは複数の中央処理装置(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入出力(「I/O」)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。
さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれらと同様の実施態様または構成を思いつくことができるであろう。
本明細書では、添付の図面を参照して例示的な実施形態について述べたが、本発明の原理は、これらの具体的な実施形態に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施形態に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれるものとする。

Claims (13)

  1. ユーザの眼球の動きによって操作可能なコンピュータ装置(110)であって、
    前記ユーザの眼球の動きを検出する手段(112)と、
    前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析する手段(111)と、
    前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定する手段(111)と、
    前記コマンドに従って前記装置を動作させる手段(111)と、
    を含む前記装置。
  2. 前記装置(110)は、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとを記憶する手段(113)をさらに含んでいる、請求項1に記載の装置。
  3. 前記検出手段(112)は、前記ユーザの凝視位置を収集するように構成されており、
    前記解析手段(111)は、
    前記収集されたユーザの凝視位置が前記記憶手段(113)に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
    前記眼球動きパターンを完了するのに要する期間を特定するように構成されている、請求項2に記載の装置。
  4. 前記装置(110)はディスプレイ(114)をさらに含んでおり、前記解析手段(111)は、前記検出された眼球動きパターンの前記ディスプレイ上の位置を識別するように構成されており、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
    前記検出手段(112)は、前記ユーザの凝視位置を収集するように構成されており、
    前記解析手段(111)は、
    前記収集されたユーザの凝視位置が前記記憶手段(113)に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
    前記眼球動きパターンを完了するのに要する期間を特定するように構成されており、
    前記特定する手段(111)は、前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定する、請求項2に記載の装置。
  5. ユーザの眼球の動きによって操作可能なコンピュータ装置(110)であって、
    前記ユーザの眼球の動きを検出する検出器(112)と、
    前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析し、
    前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定し、
    前記コマンドに従って前記装置を動作させるように構成されたプロセッサ(111)と、
    を含む前記装置。
  6. 前記装置は、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとを記憶する記憶装置(113)をさらに含んでいる、請求項5に記載の装置。
  7. 前記検出器(112)は、前記ユーザの凝視位置を収集するように構成されていおり、
    前記プロセッサ(111)は、
    前記収集されたユーザの凝視位置が前記記憶装置(113)に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
    前記眼球動きパターンを完了するのに要する期間を特定するようにさらに構成されている、請求項6に記載の装置。
  8. 前記装置はディスプレイ(114)をさらに含んでおり、前記プロセッサ(111)は、前記検出された眼球動きパターンの前記ディスプレイ上の位置を識別するように構成されており、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
    前記検出器(112)は、前記ユーザの凝視位置を収集するように構成されており、
    前記プロセッサ(111)は、
    前記収集されたユーザの凝視位置が前記記憶装置(113)に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定し、
    前記眼球動きパターンを完了するのに要する期間を決定し、
    前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定するようにさらに構成されている、請求項6に記載の装置。
  9. ユーザの眼球の動きによってコンピュータ装置を操作する方法であって、
    前記ユーザの眼球の動きを検出するステップ(S102)と、
    前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析するステップ(S104)と、
    前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定するステップ(S106)と、
    前記コマンドに従って前記装置を動作させるステップ(S108)と、
    を含む前記方法。
  10. 前記装置は記憶装置を含んでおり、眼球動きパターンと前記眼球動きパターンの期間との様々な組合せと、それぞれの前記組合せに関連付けられた様々なコマンドとが、前記記憶装置に記憶される、請求項9に記載の方法。
  11. 前記検出ステップ(S102)は、前記ユーザの凝視位置を収集するステップを含んでおり、
    前記解析ステップ(S104)は、
    前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定するステップと、
    前記眼球動きパターンを完了するのに要する期間を特定するステップとを含んでいる、請求項10に記載の方法。
  12. 前記装置はディスプレイを含んでおり、前記解析ステップ(S104)は前記検出された眼球動きパターンの前記ディスプレイ上の位置をさらに識別し、それぞれの前記組合せが、眼球動きパターンの前記ディスプレイ上の位置をさらに含んでおり、
    前記検出ステップ(S102)は、前記ユーザの凝視位置を収集するステップを含んでおり、
    前記解析ステップ(S104)は、
    前記収集されたユーザの凝視位置が前記記憶装置に記憶された前記様々な組合せ中の何れかの眼球動きパターンと一致するかどうかを判定するステップと、
    前記眼球動きパターンを完了するのに要する期間を特定するステップとを含み、
    前記決定ステップ(S106)は、前記眼球動きパターンと、前記期間と、前記眼球動きパターンの前記ディスプレイ上の前記位置との組合せに関連付けられたコマンドを特定するステップを含む、請求項10に記載の方法。
  13. ユーザの眼球の動きによって操作可能なコンピュータ装置(110)のためのプログラムを記憶する、コンピュータによって読取り可能な記憶媒体であって、前記装置は、
    前記ユーザの眼球の動きを検出する検出器(112)と、
    プロセッサ(111)と、を含んでおり、
    前記プログラムは、
    前記検出器によって前記ユーザの眼球の動きを検出する(S102)ことと、
    前記検出したユーザの眼球の動きにおける眼球動きパターンと前記眼球動きパターンを完了するのに要する期間とを特定するために、前記ユーザの眼球の動きを解析する(S104)ことと、
    前記眼球動きパターンと前記期間との組合せに関連付けられたコマンドを特定する(S106)ことと、
    前記コマンドに従って前記装置を動作させる(S108)ことと、
    を前記プロセッサ(111)に実行させる、前記記憶媒体。
JP2014516161A 2011-06-24 2011-06-24 ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法 Active JP5885835B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/076288 WO2012174743A1 (en) 2011-06-24 2011-06-24 Computer device operable with user's eye movement and method for operating the computer device

Publications (3)

Publication Number Publication Date
JP2014517429A true JP2014517429A (ja) 2014-07-17
JP2014517429A5 JP2014517429A5 (ja) 2014-08-28
JP5885835B2 JP5885835B2 (ja) 2016-03-16

Family

ID=47422002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014516161A Active JP5885835B2 (ja) 2011-06-24 2011-06-24 ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法

Country Status (6)

Country Link
US (1) US9411416B2 (ja)
EP (1) EP2724209B1 (ja)
JP (1) JP5885835B2 (ja)
KR (1) KR20140041570A (ja)
CN (1) CN103782251A (ja)
WO (1) WO2012174743A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066120A (ja) * 2014-09-22 2016-04-28 京セラドキュメントソリューションズ株式会社 文書閲覧装置、文書閲覧装置の制御方法
WO2016151956A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 情報処理システムおよび情報処理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654768B2 (en) * 2011-12-23 2017-05-16 Thomson Licensing Computer device with power-consumption management and method for managing power consumption of computer device
US10884577B2 (en) 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
JP2015014938A (ja) * 2013-07-05 2015-01-22 由田新技股▲分▼有限公司 車内アイコントロール方法、およびその方法を実現する電子デバイス
JP6213027B2 (ja) * 2013-08-06 2017-10-18 富士通株式会社 精読判断装置、精読判断方法及び精読判断プログラム
KR101926942B1 (ko) 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US10026095B2 (en) * 2013-09-10 2018-07-17 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
JP6115418B2 (ja) * 2013-09-11 2017-04-19 富士通株式会社 情報処理装置、方法及びプログラム
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
US10878446B2 (en) * 2014-08-18 2020-12-29 Chian Chiu Li Systems and methods for obtaining and utilizing user reaction and feedback
CN104317396B (zh) * 2014-10-10 2017-11-17 宇龙计算机通信科技(深圳)有限公司 一种屏幕自动形变的方法、装置及终端设备
US9529432B2 (en) * 2014-12-22 2016-12-27 Rakuten Kobo, Inc. Progressive page transition feature for rendering e-books on computing devices
CN104793732A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 一种智能眼镜的操作方法及智能眼镜
US11470365B2 (en) 2016-03-17 2022-10-11 Melanie Schulz Video reader with music word learning feature
CN106528689B (zh) * 2016-10-24 2019-11-01 北京小米移动软件有限公司 页面内容的展示方法及装置、电子设备
US11544359B2 (en) * 2016-11-08 2023-01-03 Proprius Technolgies S.A.R.L Unique patterns extracted from involuntary eye motions to identify individuals
KR102518653B1 (ko) * 2017-12-13 2023-04-06 현대자동차주식회사 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법
US20220253136A1 (en) * 2021-02-11 2022-08-11 Apple Inc. Methods for presenting and sharing content in an environment
US11775060B2 (en) * 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318235A (ja) * 1993-03-31 1994-11-15 Toshiba Corp 資料呈示装置
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2007310815A (ja) * 2006-05-22 2007-11-29 Fujitsu Ltd 携帯端末装置
JP2009075937A (ja) * 2007-09-21 2009-04-09 Victor Co Of Japan Ltd 機器動作設定装置
JP2010102581A (ja) * 2008-10-24 2010-05-06 Sharp Corp 表示装置、表示装置の制御方法、表示装置を制御するためのプログラム、およびコンピュータ読み取り可能な記録媒体
JP2012063899A (ja) * 2010-09-15 2012-03-29 Nec Casio Mobile Communications Ltd 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5835083A (en) * 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
US6106119A (en) * 1998-10-16 2000-08-22 The Board Of Trustees Of The Leland Stanford Junior University Method for presenting high level interpretations of eye tracking data correlated to saved display images
US6195640B1 (en) 1999-01-29 2001-02-27 International Business Machines Corporation Audio reader
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
JP2003162356A (ja) * 2001-11-28 2003-06-06 Nec Corp スクロール制御装置及びその方法並びにそれを用いた通信端末
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
WO2006100645A2 (en) 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7438414B2 (en) * 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
EP1979802A4 (en) * 2006-02-01 2013-01-09 Tobii Technology Ab CREATING GRAPHIC FEEDBACK IN A COMPUTER SYSTEM
JP5129478B2 (ja) * 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
CN101308400A (zh) * 2007-05-18 2008-11-19 肖斌 基于眼动和头动检测的新型人机交互装置
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
CN101681201B (zh) 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
CN101291364B (zh) * 2008-05-30 2011-04-27 华为终端有限公司 一种移动通信终端的交互方法、装置及移动通信终端
KR20090127779A (ko) 2008-06-09 2009-12-14 김영규 동공 인식을 이용한 속독 기술
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
CN101441513B (zh) 2008-11-26 2010-08-11 北京科技大学 一种利用视觉进行非接触式人机交互的系统
US20100182232A1 (en) 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
US8255827B2 (en) * 2009-01-26 2012-08-28 Microsoft Corporation Dynamic feature presentation based on vision detection
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US8489150B2 (en) * 2010-09-13 2013-07-16 Lg Electronics Inc. Mobile terminal and operation control method thereof
US8655796B2 (en) * 2011-06-17 2014-02-18 Sanjay Udani Methods and systems for recording verifiable documentation
US8451246B1 (en) * 2012-05-11 2013-05-28 Google Inc. Swipe gesture classification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318235A (ja) * 1993-03-31 1994-11-15 Toshiba Corp 資料呈示装置
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2007310815A (ja) * 2006-05-22 2007-11-29 Fujitsu Ltd 携帯端末装置
JP2009075937A (ja) * 2007-09-21 2009-04-09 Victor Co Of Japan Ltd 機器動作設定装置
JP2010102581A (ja) * 2008-10-24 2010-05-06 Sharp Corp 表示装置、表示装置の制御方法、表示装置を制御するためのプログラム、およびコンピュータ読み取り可能な記録媒体
JP2012063899A (ja) * 2010-09-15 2012-03-29 Nec Casio Mobile Communications Ltd 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066120A (ja) * 2014-09-22 2016-04-28 京セラドキュメントソリューションズ株式会社 文書閲覧装置、文書閲覧装置の制御方法
WO2016151956A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 情報処理システムおよび情報処理方法
JPWO2016151956A1 (ja) * 2015-03-23 2018-01-11 ソニー株式会社 情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
CN103782251A (zh) 2014-05-07
KR20140041570A (ko) 2014-04-04
WO2012174743A1 (en) 2012-12-27
EP2724209B1 (en) 2019-07-31
EP2724209A4 (en) 2014-11-26
US9411416B2 (en) 2016-08-09
JP5885835B2 (ja) 2016-03-16
US20140125585A1 (en) 2014-05-08
EP2724209A1 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
JP5885835B2 (ja) ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法
US11650659B2 (en) User input processing with eye tracking
US9703373B2 (en) User interface control using gaze tracking
US9672421B2 (en) Method and apparatus for recording reading behavior
US20130329946A1 (en) Fast pose detector
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN107493495A (zh) 交互位置确定方法、系统、存储介质和智能终端
US20090284608A1 (en) Gaze tracking apparatus and method using difference image entropy
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
JP2015153195A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CN103336576A (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
Khamis et al. Understanding face and eye visibility in front-facing cameras of smartphones used in the wild
EP3699808B1 (en) Facial image detection method and terminal device
JP6304473B2 (ja) 画像処理システム、画像処理方法及びプログラム
US20150103205A1 (en) Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor
CN113657903A (zh) 一种刷脸支付方法、装置、电子设备和存储介质
US20200272807A1 (en) Eye tracking method and user terminal performing same
CN116991238A (zh) 一种学习内容显示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150811

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160209

R150 Certificate of patent or registration of utility model

Ref document number: 5885835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250