JP2017228291A - 視線検出により制御される標示スキャンシステム及び方法 - Google Patents

Abstract

【課題】ユーザが注目するものに関して経験に基づく推測を行うためにユーザの目を追跡することによって標示のより速い読取りを生成することができる、コードシンボルを読み取るためのシステムを提供する。
【解決手段】標示スキャンシステムは、ユーザの目を追跡することによって、ユーザが注目するものに関して経験に基づく推測を行う。この洞察は、カメラ・システムを動的に構成する際、標示復号プロセスを構成する際又はユーザが注目するデータを選択するための方法としても役に立つ可能性がある。
【選択図】図３

Description

[0001]本発明は、視線検出を伴う標示スキャンシステムに関する。

[0002]スマートフォンなどのモバイルコンピュータデバイスは、その高機能のカメラ技術及びその普遍性のために標示をスキャンするためのますます人気の方法になった。一般的に言えば、スマートフォンによってバーコードをスキャンする際の最も大きな課題は、最初にバーコードに焦点を合わせることである。現在、ほとんどのスマートフォンは、画像に焦点を合わせようと試みるオートフォーカスルーチンを利用する。この手順は極めて時間がかかる。また、オートフォーカスルーチンは、しばしば、過度の動き及び照明状態の悪さによって、その努力を妨げられる。このことは、しばしば、バーコードをスキャンする際の著しい時間遅延につながり、総スキャン時間の大部分を占める。

[0003]したがって、ユーザが注目するものに関して経験に基づく推測を行うためにユーザの目を追跡することによって標示のより速い読取りを生成することができる、コードシンボルを読み取るためのシステムが必要である。

[0004]したがって、一態様では、本発明は、第１の撮像システムの視野内で画像をキャプチャし、視覚ディスプレイ上にその画像を示すための第１の撮像システムと、ユーザの視線を検出するための第２の撮像システムとに結合されたプロセッサを含み、このプロセッサは、画像を有する視覚ディスプレイ上でユーザが見ている注視座標位置を決定することと、画像内の注目する領域を復号することを開始するために注視座標位置を使用することとを行うように構成される、標示を読み取るためのポータブルコンピュータを含む。

[0005]別の態様では、本発明は、ポータブルコンピュータの視覚ディスプレイ上に少なくとも１つの標示の画像を表示するステップと、その画像を有する視覚ディスプレイ上でユーザが見ている注視座標位置を決定するステップと、画像内の注目する領域を復号することを開始するために注視座標位置を使用するステップとを含む、標示を読み取るための方法を含む、方法を含む。

[0006]先述した例示的な概要並びに本発明の他の例示的な目的及び／又は利点、並びに同じことが達成される方法は、以下の発明を実施するための形態及びその添付の図面内でさらに説明される。

[0007]視線検出により制御される標示スキャン機能を有するポータブルコンピュータ１００（スマートフォンデバイス、タブレット、スキャナーなど）の概略図である。 [0008]例示的なポータブルコンピュータ１００の概略ブロック図である。 [0009]後方面カメラ・システム１１６によって撮像された、複数の標示（たとえば、バーコード）２０２、２０４、及び２０６の視覚ディスプレイ１０５上の実時間カメラプレビューを示す図である。 [0010]本明細書で開示される、視線検出により制御されるスキャン方法のフローチャートである。

[0011]本発明は、ユーザが注目するものに関して経験に基づく推測が行われ得るように、ユーザが視覚ディスプレイを見るとき、ユーザの目を追跡するための標示（又はコードシンボル）スキャンポータブルコンピュータのためのシステム及び方法を含む。この洞察は、カメラ・システムを動的に構成する際、標示復号プロセスを構成する際、又はユーザが注目するデータを選択するための方法としても役に立つ可能性がある。

[0012]図１Ａは、スマートフォンデバイス、タブレット、スキャナーなどのポータブルコンピュータ１００の概略図であり、図１Ｂは、視覚ディスプレイ１０５を有する例示的なポータブルコンピュータ１００のブロック図である。視覚ディスプレイ１０５は、ポータブルコンピュータ１００の後方面カメラ・システム１１６によってキャプチャされた標示（たとえば、コードシンボル又はバーコード）１０７を示す。ポータブルコンピュータ１００は、通常、タッチスクリーン／視覚液晶ディスプレイ１０５を有するユーザインターフェースシステム１０２と通信可能に結合されたプロセッサ１１０と、データベース１１４を有するメモリ１１２と、ワイヤレス通信システム１１８と、入力／出力（Ｉ／Ｏ）モジュール１２０とを含む。ポータブルコンピュータ１００は、ユーザの視線の動きを追跡することができる前方ユーザ面カメラ・システム１０１（又は第１のカメラ・システム）と、カメラ・システムの視野内の標示などの画像をキャプチャするための後方（又は外向き）面カメラ・システム１１６（又は第２のカメラ・システム）とをさらに含む。カメラ・システム（１０１及び１１６）の各々は、レンズ及びドライバを含み、カメラ・システムによってキャプチャされた画像を処理するためのプロセッサ１１０に接続される。ポータブルコンピュータ１００は、システムバス１２２、並びに／又は、プロセッサ１１０及び他の構成要素（たとえば、ユーザインターフェースシステム１０２、メモリ１１２、前方ユーザ面カメラ・システム１０１、後方面カメラ・システム１１６、ワイヤレス通信システム１１８、及びＩ／Ｏモジュール１２０）をシステムバス１２２に結合し、また互いに結合するための１つもしくは複数のインターフェース回路（図示せず）を含み得る。通常、プロセッサ１１０は、命令を実行し、ポータブルコンピュータ１００に関連付けられた動作を実行するように構成される。たとえば、メモリ１１２（たとえば、メモリブロック）から取り出された命令を使用するとき、プロセッサ１１０は、ポータブルコンピュータ１００の構成要素間の入力データ及び出力データの受領及び操作を制御し得る。プロセッサ１１０は、前方面カメラ・システム１０１からユーザの目の動きをキャプチャするように構成される。プロセッサ１１０はまた、後方面カメラ・システム１１６から、コードシンボルなどの標示を示す画像を取り出し、視覚ディスプレイ１０５上に画像（図１Ａに示されるバーコード１０７など）を表示し、ユーザが視覚ディスプレイ１０５を見る間に前方面カメラ・システム１０１を介してユーザの視線を決定するように構成される。プロセッサ１１０は、通常、コンピュータコードを実行し、データを生成及び使用するためのオペレーティングシステムによって動作する。オペレーティングシステム、他のコンピュータコード、及びデータは、プロセッサ１１０に動作可能に結合されたメモリ１１２内に存在し得る。メモリ１１２は、一般に、ポータブルコンピュータ１００によって使用されるコンピュータコード及びデータを記憶するための場所を提供する。メモリ１１２は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、及び／又は他の非一時的記憶媒体を含み得る。オペレーティングシステム、他のコンピュータコード、及びデータは、必要に応じて、ポータブルコンピュータ１００上に装填又は設置される着脱式非一時的記憶媒体上に存在する場合もある。ワイヤレス通信システム１１８は、ポータブルコンピュータ１００が、セルラーネットワーク（たとえば、ＧＳＭ（登録商標）ネットワーク、ＣＤＭＡネットワーク、又はＬＴＥネットワーク）、ローカルエリアネットワーク（ＬＡＮ）、及び／又はアドホックネットワークなどのワイヤレスネットワークと通信することを可能にする。Ｉ／Ｏモジュール１２０は、ポータブルコンピュータ１００が、プラグインされたとき、電力及び／又はデータを受け取ることを可能にする配線接続されたコネクタであり得る。

[0013]本開示は、標示スキャンポータブルコンピュータ１００のコンテキスト内の視線追跡システム及び方法の機能のいくつかのタイプをカバーする。前方面カメラ・システム１０１を使用してユーザの目を追跡することによって、標示スキャンポータブルコンピュータ１００は、ユーザが注目するものに関して計算された推測を行うことができる。これらの計算された推測は、視覚ディスプレイ１０５上でユーザが注目するデータを選択するように、後方面カメラ・システム１１６及びプロセッサ１１０内の標示復号プロセスを動的に構成するために使用される。

[0014]前方面カメラ・システム１０１は、ポータブルコンピュータ１００を操作するユーザの顔を探索し、ユーザの目を発見し、次いで、その瞳孔を発見するように構成される。図２に示される視覚ディスプレイ１０５上のどの座標をユーザが見ているかを計算するために、瞳孔が追跡及び使用される。視線カーソルグラフィック又は「注視ゾーン座標」２０８は、ユーザが注視している場所（たとえば、ドット）の視覚ディスプレイ１０５上の設定可能な表示である。視覚ディスプレイ１０５を見回すためにユーザの瞳孔が動くとき、注視ゾーン座標２０８も動く。図２は、後方面カメラ・システム１１６によってキャプチャされる複数の標示（たとえば、バーコード）２０２、２０４、及び２０６の視覚ディスプレイ１０５上の実時間カメラプレビューをさらに示す。標示復号プロセスは、プロセッサ１１０内で行われる。視覚ディスプレイ１０５座標システムの後方面カメラ１１６画像座標システムへのマッピングは、復号プロセスが、視覚ディスプレイ１０５上の注視位置と相関性がある、視覚ディスプレイ１０５上の画像内の位置を供給され（又は構成され）得るように生成される。注視ゾーン座標２０８は、供給することによって、ユーザがこの領域に注目していることを知らせ、復号を開始する最適な構成を提供するためのプロセッサ１１０の復号サブシステムへの入力として使用される。ユーザの視線が決定され、視覚ディスプレイ１０５上の座標位置にマッピングされると、いくつかの注目するものが、注目する領域、オートフォーカス、及び自動露出を供給することに関して発生する。プロセッサ１１０は、標示（又は複数の標示）の復号及び他のカメラプロセス（たとえば、オートフォーカス、自動露出）を開始する（又は供給する）ための注目の領域として注視ゾーン座標２０８を検出する。図２の例示的な実施形態では、後方面カメラ１１６によってキャプチャされた、復号される複数のバーコード２０２、２０４、及び２０６が、視覚ディスプレイ１０５上に示される。

[0015]複数のバーコードが視野内で発見される場合、図２に示されるように、最も誤差が小さい可能性がある注目のバーコードをユーザがより選択しやすくするグラフィックスがスクリーン上にレンダリングされ得る。視線解像度があまり高くない場合があるので、バーコードを選択するのに操作者の視線を直接使用するのが難しい場合がある。復号された各バーコード２０２、２０４、及び２０６に関して、視覚ディスプレイ１０５上の視野の各コーナーに配置された、注視ゾーンカラーグラフィックを有する、関連の「注視選択ゾーン」（２１０ａ、２１２ａ、及び２１４ａ）がレンダリングされる。ユーザの視線は、所定の「ｎ」ミリ秒よりも長い間、その視線が注視選択ゾーン２１０ａ、２１２ａ、及び２１４ａ内、又はバーコード２０２、２０４、もしくは２０６のバーコード境界線内に留まるかどうかを見るために監視される。そうであれば、そのバーコードは、選択され、プロセッサ１１０に返される。選択されなかった注視ゾーン座標及び関連のバーコードは、カラーでコーディングされる。たとえば、第１のカラーは、選択されなかったときに使用される可能性があるが、ユーザが指定の時間期間の間、注視ゾーンのうちの１つを注視するとき、カラーは第２のカラー（たとえば、緑）に変化する。図２を参照すると、バーコード（２０２、２０４、及び２０６）の復号後、注視ゾーン座標２０８の位置は、第２のカラー（たとえば、緑）に変わった注視選択ゾーン２１０ａを取り囲む注視カーソルグラフィックとともにドットによって視覚ディスプレイ１０５上に目に見えるように示される。また、対応するファインダーボックス２１０ｂは、最も近いバーコード２０２を取り囲む（たとえば、線又はドット線などの境界線から形成された）グラフィックであり得る。注視選択ゾーン２１２ａ及び２１４ａ並びに対応するファインダーボックス２１２ｂ及び２１４ｂは、注視ゾーン座標２０８の位置が現在焦点を合わされていない場所を表し得る。特定の復号されたバーコード（２０２、２０４、及び２０６）の実際の選択は、ユーザが注視ゾーン座標を凝視し続ける所定の時間量の後、又はユーザが注視ゾーン座標においてまばたきするとき、起こる可能性がある。たとえば、この所定の時間量は、約５００〜２０００ミリ秒の範囲にある可能性がある。代替の実施形態では、前方面カメラ・システム１０１は、複数のバーゴドの１つ選択するためにユーザから第１の所定のまばたきパターンを受け取る可能性がある。別の代替の実施形態では、前方面カメラ・システム１０１は、瞳孔のスキャンを終了するために連続する３つのまばたきなどの第２の所定のまばたきパターンを受け取る可能性がある。注視ゾーンカーソルグラフィックス２１２ａ、２１４ａは、これらが選択されようとしているとき、まばたきし始め、時間がユーザの瞳孔の動きによる選択に近づくとき、まばたきをスピードアップすることもできる。ユーザは、その指によって、又は声も介して、ユーザが注目したバーコードを選択するオプションを常に有することができる。加えて、後方面カメラ・システム１１６は、焦点を合わせるべきカメラ・システム１１６の視野内の領域として注視ゾーン座標２０８を使用するために、そのオートフォーカスプロセスを供給することができる。注視ゾーン座標２０８の位置が変化するとき、自動フォーカス（すなわち、オートフォーカス）領域は、最高の優先度を有する領域によってプロセッサ１１０内で更新される。このことは、スキャンシステムがバーコードをより速く発見するのを助ける。オートフォーカスに加えて、注視ゾーン座標２０８は、注目の領域に良好なコントラストを確実に与えるためにカメラの自動露出プロセスを供給するのに使用される可能性がある。

[0016]本明細書で開示される視線追跡方法及びシステムの例示的な実装は、スマートデバイス（たとえば、スマートフォン、タブレットなど）用のＨｏｎｅｙｗｅｌｌのＳｗｉｆｔＤｅｃｏｄｅｒ（商標）モバイル・バーコード・スキャン・アプリケーションプログラムインターフェース（ＡＰＩ）において行われる場合がある。ＡＰＩは、ユーザがスキャン操作の見た目及び機能を制御することを可能にする自身のスキャンプラグインをユーザが作成することができるプラグインアーキテクチャを提供する。このプラグインは、後方カメラ１１６と前方面カメラ１０１の両方から同時にカメラ給電部にアクセスする機能を有する。このバーコード・スキャンＡＰＩは、後方面カメラ・システム１１６が見ているものの実時間プレビューをユーザが見ることを可能にし、拡張現実経験を提供するためにこの実時間プレビュー全体にわたってグラフィックスをレンダリングする機能を有する。

[0017]図３は、視線検出により制御される標示スキャンプロセスを明示するフローチャート３００である。ステップ３０２では、ユーザは、たとえば、スマートデバイス（たとえば、スマートフォン）をバーコードなどの標示（又は複数の標示）に向ける。ステップ３０４では、前方面カメラ・システム１０１からの画像は、ユーザの目の瞳孔を配置するように処理される。ステップ３０６では、ユーザが見ている場所に対応するスマートフォンスクリーン１０５上の点（又は注視ゾーン座標）２０８が計算される。ステップ３０８では、後方面カメラ・システム１１６からキャプチャされた標示画像（２０２、２０４、及び２０６）が処理される。ステップ３１０では、スクリーン注視座標が後方面カメラ・システム１１６の画像の座標システムに変換される。ステップ３１２では、注視ゾーン座標２０８は、カメラドライバ及びバーコードデコーダプロセッサ（又はロジック）１１０内で、注目の領域の復号、オートフォーカス、及び自動露出のプロセスを供給又は開始するために使用される。ステップ３１４では、後方面カメラ標示画像が復号される。ステップ３１６では、１つのバーコード（又は複数のバーコード）が発見され復号されるかどうかの決定が行われる。「いいえ」であれば、プロセスは、ステップ３０４に戻り、ユーザの瞳孔を再分析する。「はい」であれば、プロセスは、ステップ３１８に進み、２つ以上のバーコードが復号されるかどうかを決定する。「いいえ」であれば、ステップ３１９において、バーコードデータがプロセッサ１１０に返される。「はい」であれば、ステップ３２０において、発見された各バーコードに関して、バーコードの周りに境界線が描かれ、注視選択ゾーン（２１０ａ、２１２ａ、及び２１４ａ）がスマートフォンディスプレイ１０５上に作成される。ステップ３２２では、選択を行うために所定の「ｎ」秒間、視線が任意の注視選択ゾーン内に留まるかどうかを判断するために見る前方面カメラ・システム１０１によって、ユーザの視線が監視される。ステップ３２４では、注視ゾーン選択が起こらない場合、プロセスはステップ３２２に戻る。注視ゾーン選択が起こる場合、プロセスはステップ３１９に行く。

[0018]明細書及び／又は図において、本発明の典型的な実施形態が開示されてきた。本発明は、そのような例示的な実施形態に限定されない。「及び／又は」という用語の使用は、関連の列挙された項目のうちの１つ又は複数の任意の組合せ及びすべての組合せを含む。図は、概略図であり、したがって必ずしも縮尺通りに描かれない。特に断りのない限り、特定の用語が、一般的で説明的な意味で使用されてきたが、限定のためではない。

[0019]互いに「通信」している、又は互いに「結合された」と記載されたデバイスは、特に明白に指定されなければ、互いに継続的に通信している必要も、直接、物理的接触している必要もない。逆に、そのようなデバイスは、必要に応じて、又は所望のときに互いに送信するだけを必要とし、実際には大部分の時間、データを交換することを控える場合がある。たとえば、インターネットを介して別の機械と通信しているか、又は結合された機械は、長い時間期間の間（たとえば、一時に何週間も）、データを他の機械に送信しない場合がある。加えて、互いに通信しているか、又は結合されたデバイスは、１つ又は複数の媒介物を介して直接又は間接的に通信する場合がある。

[0020]プロセス（又は方法）ステップは特定の順番で説明及び主張される場合があるが、そのようなプロセスは、異なる順番で動作するように構成される場合がある。言い換えれば、明白に説明及び主張され得るステップの任意のシーケンス又は順番は、特に示されなければ、ステップがその順番で実行される要求を必ずしも示すとは限らない。さらに、いくつかのステップは、特に示されなければ、（たとえば、あるステップが他のステップの後に記載されているために）同時には起こらないと説明又は暗示されているのにもかかわらず、同時に実行されてもよい。プロセスが一実施形態において説明されている場合、プロセスは、いかなるユーザの介入もなく動作し得る。

１００ ポータブルコンピュータ
１０１ カメラ・システム、前方面カメラ・システム、第１のカメラ・システム
１０２ ユーザインターフェースシステム
１０５ 視覚ディスプレイ、スマートフォンディスプレイ
１０７ 標示、コードシンボル、バーコード
１１０ プロセッサ
１１２ メモリ
１１４ データベース
１１６ 後方面カメラ・システム、第２のカメラ・システム
１１８ ワイヤレス通信システム
１２０ 入力／出力（Ｉ／Ｏ）モジュール
１２２ システムバス
２０２ 標示
２０４ 標示
２０６ 標示
２０８ 注視ゾーン座標
２１０ａ 注視選択ゾーン
２１０ｂ ファインダーボックス
２１２ａ 注視選択ゾーン、注視ゾーンカーソルグラフィックス
２１２ｂ ファインダーボックス
２１４ａ 注視選択ゾーン、注視ゾーンカーソルグラフィックス
２１４ｂ ファインダーボックス

Claims (15)

1. 標示を読み取るためのポータブルコンピュータであって、
   第１の撮像システムの視野内で画像をキャプチャし、視覚ディスプレイ上に前記画像を示すための前記第１の撮像システムと、ユーザの視線を検出するための第２の撮像システムとに結合されたプロセッサ
   を含み、
   前記プロセッサが、
   前記画像を有する前記視覚ディスプレイ上で前記ユーザが見ている注視座標位置を決定し、
   前記画像内の注目する領域を復号することを開始するために前記注視座標位置を使用する
   ように構成される、ポータブルコンピュータ。
2. 前記プロセッサが、
   前記注目する領域上でオートフォーカスプロセスを開始するために前記注視座標を使用するように構成される、請求項１に記載のポータブルコンピュータ。
3. 前記プロセッサが、
   前記注目する領域上で自動露出プロセスを開始するために前記注視座標を使用するように構成される、請求項１に記載のポータブルコンピュータ。
4. 前記プロセッサが、
   前記画像内に配置される少なくとも１つの標示を復号するように構成される、請求項１に記載のポータブルコンピュータ。
5. 前記プロセッサが、
   前記画像内に配置される複数の標示を復号するように構成される、請求項１に記載のポータブルコンピュータ。
6. 前記プロセッサが、
   前記複数の標示の各々の周りのファインダーボックスを表示し、
   前記標示の各々に関連付けられた複数の注視選択ゾーンを作成する
   ように構成される、請求項５に記載のポータブルコンピュータ。
7. 前記プロセッサが、
   所定の時間期間ｎの間、前記ユーザの視線が前記視覚ディスプレイ上の点上で静止しているかどうかを決定するために前記注視ゾーン座標を監視するように構成される、請求項６に記載のポータブルコンピュータ。
8. ｎが５００〜２０００ミリ秒の範囲にある、請求項７に記載のポータブルコンピュータ。
9. 前記プロセッサが、
   前記注視ゾーン座標が静止している所定の期間の後、前記ファインダーボックスの周りの境界線を点灯させるように構成される、請求項６に記載のポータブルコンピュータ。
10. 前記プロセッサが、
    前記注目する領域を復号する間に、少なくとも１つの標示も発見されない場合、前記注視ゾーン座標を再計算するように構成される、請求項１に記載のポータブルコンピュータ。
11. 標示を読み取るための方法であって、
    ポータブルコンピュータの視覚ディスプレイ上に第１の撮像システムによってキャプチャされた少なくとも１つの標示の画像を表示するステップと、
    第２の撮像システムから、前記画像を有する前記視覚ディスプレイ上で前記ユーザが見ている注視座標位置を決定するステップと、
    前記画像内の注目する領域を復号することを開始するために前記注視座標位置を使用するステップと
    を含む、方法。
12. 前記注目する領域上でオートフォーカスプロセスを開始するために前記注視座標を使用するステップ
    を含む、請求項１１に記載の方法。
13. 前記注目する領域上で自動露出プロセスを開始するために前記注視座標を使用するステップ
    を含む、請求項１１に記載の方法。
14. 前記画像内に配置される少なくとも１つの標示を復号するステップ
    を含む、請求項１１に記載の方法。
15. 前記画像内に配置される複数の標示を復号するステップ
    を含む、請求項１１に記載の方法。

Images