JP2019160326A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP2019160326A
JP2019160326A JP2019075354A JP2019075354A JP2019160326A JP 2019160326 A JP2019160326 A JP 2019160326A JP 2019075354 A JP2019075354 A JP 2019075354A JP 2019075354 A JP2019075354 A JP 2019075354A JP 2019160326 A JP2019160326 A JP 2019160326A
Authority
JP
Japan
Prior art keywords
display
image
display image
user
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019075354A
Other languages
English (en)
Other versions
JP6879329B2 (ja
Inventor
和記 土持
Kazunori Tsuchimochi
和記 土持
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019075354A priority Critical patent/JP6879329B2/ja
Publication of JP2019160326A publication Critical patent/JP2019160326A/ja
Application granted granted Critical
Publication of JP6879329B2 publication Critical patent/JP6879329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようにする。【解決手段】表示画像を生成する表示画像生成部11と、ユーザの視野に重ねて表示画像を表示する表示部12と、ユーザの視野を含むように撮像画像を生成する撮像部13と、撮像画像を解析し、撮像画像に含まれる識別コードを特定する認識部14とを有する画像処理装置10を提供する。表示画像生成部11は、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。【選択図】図2

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
特許文献1及び2に関連する技術が開示されている。
特許文献1には、ヘッドマウントディスプレイと、撮像装置と、画像処理部と、商品情報取得部と、情報表示部とを有する商品処理装置が開示されている。
ヘッドマウントディスプレイは、眼鏡のフレーム状に形成された保持部材を備える。保持部材は、商品に付けられたコード情報を目視可能とする光透過性部材を保持する。光透過性部材の一部分はモニタ表示可能となっている。
撮像装置は、少なくとも商品に付けられたコード情報を撮像する。画像処理部は、撮像装置の撮像により取得された画像データを光透過性部材のモニタ表示可能な部分に表示する。また、画像処理部は、画像データを画像処理し、コード情報に含まれる商品のコードを解読する。
商品情報取得部は、画像処理部により解読された商品コードに基づいて商品の情報を取得する。情報表示部は、少なくとも商品情報取得部により取得された商品の情報をヘッドマウントディスプレイのモニタ表示部に表示する。
特許文献2には、撮像画像に複数のバーコードが含まれる場合、それら各々を処理対象として認識処理を行う読取装置が開示されている。
特開2009−93489号公報 特開平9−114913号公報
特許文献1に開示の技術において、光透過性部材の一部に画像データをモニタ表示している際、ユーザの視野には、(1)光透過性部材の一部にモニタ表示された画像と、(2)光透過性部材の他の部分を透過して見えるユーザの前方の景色と、が含まれることとなる。(1)の画像には、ユーザの前方を撮像した撮像画像に含まれる商品、及び、当該商品に付されているコード情報を読み取ることで得られた商品情報が表示される。
ユーザの前方に1つの商品のみが存在する場合、ユーザは、(2)の景色内に存在するその商品と、(1)の画像内で表示されている商品及び商品情報とを対応付けることができる。しかし、ユーザの前方に複数の商品が存在する場合、ユーザは、(1)の画像内で表示されている商品及び商品情報が、(2)の景色内に存在する複数の商品のいずれに対応するのか特定できない。特許文献2に開示の技術は、当該問題を解決できない。
本発明は、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようにするための技術を提供することを課題とする。
本発明によれば、
表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置が提供される。
また、本発明によれば、
コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラムが提供される。
また、本発明によれば、
コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラムが提供される。
本発明によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようなる。
本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置の適用例を示す図である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置による表示の作用効果を説明するための図である。
まず、本実施形態の装置のハードウエア構成の一例について説明する。本実施形態の装置が備える各部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インタフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の装置のハードウエア構成の一例を概念的に示す図である。図示するように、本実施形態の装置は、例えば、バス11Aで相互に接続されるCPU1A、RAM(Random Access Memory)2A、ROM(Read Only Memory)3A、表示制御部4A、ディスプレイ5A、操作受付部6A、操作部7A、通信部8A、補助記憶装置9A、カメラ10A等を有する。なお、図示しないが、その他、外部機器と有線で接続される入出力インタフェイス、マイク、スピーカ等の他の要素を備えてもよい。
CPU1Aは各要素とともに装置のコンピュータ全体を制御する。ROM3Aは、コンピュータを動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶する領域を含む。RAM2Aは、プログラムが動作するための作業領域など一時的にデータを記憶する領域を含む。補助記憶装置9Aは、例えばHDD(Hard Disc Drive)であり、大容量のデータを記憶可能である。
ディスプレイ5Aは、例えば、光透過性部材で構成された透過型ディスプレイ(透明ディスプレイ)である。すなわち、ディスプレイ5Aの向こうの景色が透けて見える。このようなディスプレイ5Aに表示画像を表示すると、ディスプレイ5Aを観察するユーザの視野において、ディスプレイ5Aの向こうの景色の前に表示画像が重なった状態となる。なお、ディスプレイ5Aは、ヘッドマウントディスプレイであってもよい。この場合、ゴーグルや眼鏡のレンズ部分に透過型ディスプレイが設けられる。
表示制御部4Aは、VRAM(Video RAM)に記憶されたデータを読み出し、読み出したデータに対して所定の処理を施した後、ディスプレイ5Aに送って各種画面表示を行う。操作受付部6Aは、操作部7Aを介して各種操作を受付ける。操作部7Aは、操作キー、操作ボタン、スイッチ、ジョグダイヤルなどを含む。なお、操作受付部6Aは、カメラ10Aの前方で行われる所定のジェスチャを、所定の操作として受付けてもよい。
通信部8Aは、有線及び/または無線で、インターネット、LAN(Local Area Network)等のネットワークに接続し、他の電子機器と通信する。
以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。
<第1の実施形態>
まず、本実施形態の概要について説明する。本実施形態の画像処理装置は、ユーザの視野を含むように撮像された撮像画像を解析し、図形等で表現された所定の識別コードを検索する。そして、画像処理装置は、撮像画像内で識別コードを特定すると、特定した識別コードをユーザに通知する。
本実施形態の通知手段においては、透過型ディスプレイを用いる。透過型ディスプレイはユーザの前方に位置し、ユーザの視野に重ねて所定の画像を表示可能になっている。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された所定の画像が重なる。画像処理装置は、ユーザの視野において、特定した識別コードに対応する位置に強調情報(例:所定のマーク)が表示されるような表示画像を透過型ディスプレイに表示する。
このような画像処理装置によれば、ユーザは、視野内の情報、すなわち、視野内に存在する識別マークと強調情報との対応関係に基づいて、画像処理装置が特定している識別コードを容易に把握することができる。
次に、本実施形態の画像処理装置10の構成について詳細に説明する。図2に、本実施形態の画像処理装置10の機能ブロック図の一例を示す。図示するように、画像処理装置10は、表示画像生成部11と、表示部12と、撮像部13と、認識部14とを有する。
表示部12は、ユーザの視野に重ねて表示画像を表示する。具体的には、表示部12は、ユーザの視野に存在する前方景色に重ねて、表示画像を表示する。表示部12は、透過型ディスプレイを備える。そして、表示部12は、ユーザの前方に位置する当該透過型ディスプレイに表示画像を表示する。このようにすれば、ユーザの視野において、ユーザの視野に存在する前方の景色に表示画像が重なる。
透過型ディスプレイは、ユーザに装着されるウェアラブル装置、例えばヘッドマウントディスプレイであってもよい。図3に一例を模式的に示す。図3には、眼鏡型のヘッドマウントディスプレイが示されている。レンズ部分20が透過型ディスプレイとなっている。
図2に戻り、表示画像生成部11は、表示画像を生成する。詳細は以下で説明するが、認識部14による画像解析の結果が表示画像生成部11に入力される。表示画像生成部11は、当該結果に基づき、表示画像を生成する。表示画像生成部11が生成した表示画像は表示部12に入力される。そして、表示部12は、当該表示画像をユーザの視野に重ねて表示する。
図3の例の場合、例えば、処理装置22内に位置するコンピュータにより、表示画像生成部11が構成されてもよい。表示画像生成部11及び表示部12間の通信は、有線及び/又は無線での任意の通信規格で実現される。
図2に戻り、撮像部13は、ユーザの視野を含むように撮像画像を生成する。撮像部13(カメラ)は、ユーザの前方(顔が向く方向)を撮像するように構成される。例えば、撮像部13は、レンズがユーザの前方を向くように構成される。また、撮像部13は、ユーザの顔の向きの変化に応じて、レンズの向きが変化するよう構成される。
例えば、ユーザの顔より上に装着される物体に所定の向きでカメラを取り付けることで、上述のような構成を実現できる。図3の例の場合、ユーザの顔に装着されるヘッドマウントディスプレイに、カメラ21を取り付けている。カメラ21は、ユーザの前方(顔が向く方向)を撮像するように取り付けられている。この例の場合、ユーザの顔の向きが変化すると、それに応じて、カメラ21のレンズの向きも同じ方向を向くように変化する。
図2に戻り、認識部14は、撮像部13が撮像した撮像画像を解析し、撮像画像に含まれる(写っている)識別コードを特定する。撮像画像に複数の識別コードが存在する場合、認識部14は、複数の識別コードを特定することができる。図3の例の場合、例えば、処理装置22内に位置するコンピュータにより、認識部14が構成されてもよい。撮像部13及び認識部14間の通信は、有線及び/又は無線での任意の通信規格で実現される。
検査対象の物体各々には、図形等で表現された識別コードが付される。例えば、バーコード等の一次元コードや、QRコード(登録商標)等の二次元コードが検査対象に付される。このような検査対象を撮像した撮像画像には、図形等で表現された識別コードが含まれる。認識部14は、予め、図形等で表現された識別コードの外観の特徴を保持しておく。そして、認識部14は、撮像画像内で当該特徴があらわれている箇所を特定する。
識別コードの外観は、各規格に従った特有なものとなっている。そして、規格の要件を満たしつつ、細部において各々異なる外観を有することで、各々が区別可能となっている。このように、複数の識別コードの外観には、共通する特徴と、互いに異なる特徴とが存在する。撮像画像に含まれる識別コードを特定する処理に用いられる特徴は、複数の識別コードに共通の特徴とすることができる。
認識部14は、撮像画像の解析結果、すなわち、特定した識別コード各々の撮像画像内の位置を示す情報を、表示画像生成部11に入力する。
表示画像生成部11は、認識部14から入力された上記情報に基づき、表示画像を生成する。具体的には、表示画像生成部11は、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14が複数の識別コードを特定した場合、表示画像生成部11は、複数の識別コード各々に対応する位置に強調情報が表示される表示画像を生成する。
表示部12が表示画像を表示すると、ユーザの視野において、ユーザの前方の景色に、表示画像が重なる。ユーザの視野には、前方に実在する識別コードと、表示画像として表示されている強調情報とが含まれる。強調情報が表示される「特定された識別コードに対応する位置」は、ユーザが、視野内の情報に基づき、特定された識別コードとその強調情報とが対応すると直感的に把握できるあらゆる位置を含む。例えば、視野内において、識別コードと強調情報とが重なる位置に表示してもよいし、識別コードの周囲に強調情報が位置するように表示してもよい。
強調情報は、ユーザの視野内で強調できるものであればよく、例えば、矢印、他の図形、記号、文字、数字、マーク、写真等で構成することができる。
表示画像生成部11は、予め、撮像部13が撮像した撮像画像内の座標を透過型ディスプレイに表示される表示画像内の座標に変換するための変換ルール(例:行列等で構成された変換式等)を保持しておく。そして、認識部14から特定した識別コード各々の撮像画像内の位置を示す情報を取得すると、当該変換ルールに従い識別コード各々の位置を表示画像内の座標に変換する。そして、表示画像生成部11は、変換後の座標に対応する位置に強調情報を配置した表示画像を生成する。
変換ルールは、撮像部13(カメラ)のレンズの向きやレンズの歪み、透過型ディスプレイ(ヘッドマウントディスプレイのレンズ部分20)の向き、撮像部13と透過型ディスプレイとの相対的な位置関係、透過型ディスプレイとユーザの目との相対的な位置関係等のパラメータに基づき、生成できる。図3に示すヘッドマウントディスプレイの場合、これらのパラメータが予め定まる。このため、変換ルールを予め作成し、表示画像生成部11に保持させておくことができる。なお、撮像画像内の座標を表示画像内の座標に変換する手段は、従来技術に準じて実現できるので、ここでの詳細な説明は省略する。
ここで、図3及び図4を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図4(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図4(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bとして、四角形状の図形が表示されている。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図4(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図4(1))に表示画像(図4(2))が重なっている。そして、強調情報Bが識別コードAに対応する位置に存在する。
図4(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象すべての識別コードAが、画像処理装置10により特定されていることを直感的に把握できる。
なお、上述の通り、強調情報Bが表示される識別コードAに対応する位置は、ユーザが直感的に、対応する強調情報Bと識別コードAとを把握できるものであればよい。図4(3)に示すように、強調情報Bが識別コードAを内包してもよいし、強調情報Bが識別コードAと重なってもよい。また、強調情報Bが識別コードAの周囲に位置してもよい。その他、強調情報Bは、識別コードAの強調表示に加えて、識別コードAを付された検査対象を強調表示してもよい(図11参照)。これらの前提は以下のすべての実施形態において同様である。また、強調情報Bに対するこれらの前提は、第2の実施形態で説明する強調情報Cにおいても同様である。
次に、図5のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S10)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S11)。撮像画像内に識別コードがない場合(S12のNo)、S15に進む。
撮像画像内に識別コードがある場合(S12のYes)、認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する(S13)。そして、表示部12は、S13で生成された表示画像をユーザの視野に重ねて表示する(S14)。その後、S15に進む。
S15では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S15のNo)、S10に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S15のYes)、処理を終了する。
以上説明した本実施形態の画像処理装置10は、透視型ディスプレイを用い、ユーザの視野に重ねて表示画像を表示することができる。かかる場合、ユーザの視野において、ユーザの前方の景色に、透過型ディスプレイに表示された表示画像が重なる。そして、画像処理装置10は、ユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように生成された撮像画像内で識別コードを特定すると、特定した識別コードに対応する位置に強調情報が表示される表示画像を生成し、透視型ディスプレイに表示することができる。
このような画像処理装置10によれば、前方の景色と表示画像とが重なったユーザの視野において、特定した識別コードを強調表示することができる。このため、ユーザは、自分の視野内の情報から、直感的に、画像処理装置10により特定された識別コードを把握することができる。
また、本実施形態の画像処理装置10は、撮像画像内に複数の識別コードが存在する場合、それらを特定し、各々に対して認識処理を行うことができる。そして、特定した識別コード各々を強調表示することができる。このように、複数の識別コードをまとめて処理できる本実施形態によれば、作業効率が向上する。また、本実施形態の場合、ユーザの前方に複数の識別コードが存在する場合であっても、画像処理装置10の解析結果がどの識別コードの対応するものか、ユーザは直感的に把握できる。
このように、本実施形態の画像処理装置10によれば、識別コードが含まれ得る撮像画像を解析し、結果をユーザに向けて提供する装置において、提供された解析結果がどの識別コードに対応するものか、ユーザが容易に把握できるようになる。
<第2の実施形態>
本実施形態の画像処理装置10は、特定した識別コードに対する認識結果を区別可能に表示する点で、第1の実施形態と異なる。その他の構成は第1の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。そして、認識部14は、特定した識別コード各々を解読する。すなわち、認識部14は、図形等で表現された識別コードのパターンを解読し、当該パターンに対応する情報(例:数字や文字の組み合わせからなる識別コード)を認識する。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力する。
「識別コードを認識された」とは、図形等で表現された識別コードを解読し、パターンに対応する情報を認識できたことを意味する。「識別コードを認識されなかった」とは、図形等で表現された識別コードに対し解読する処理を行ったが、パターンに対応する情報を認識できなかったことを意味する。例えば、「撮像画像に写っている識別コードが小さく、細部のパターンが不明瞭」、「他の物体が重なることによりパターンの一部が撮像画像中に写っていない」、「光の反射具合によりパターンが不明瞭になっている部分が存在する」等の理由により、識別コードを認識できない状態となり得る。
表示画像生成部11は、第1の実施形態同様、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示される表示画像を生成する。そして、表示画像生成部11は、認識部14により認識された識別コード、及び、認識されなかった識別コードを区別可能な表示画像を生成する。これらの識別コードを区別可能に表示する手法は特段制限されない。
ここで、図6を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図6(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図6(2)は、表示画像生成部11が生成した表示画像である。当該例では、互いに区別可能な強調情報B及び強調情報Cが表示されている。強調情報Bは実線の四角であるのに対し、強調情報Cは点線の四角となっている。強調情報Bは、認識部14により認識された識別コードAに対応する位置に表示される。一方、強調情報Cは、認識部14により特定されたが、認識されなかった識別コードAに対応する位置に表示される。
表示画像において、強調情報B及び強調情報Cが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図6(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図6(1))に表示画像(図6(2))が重なっている。そして、強調情報B及び強調情報Cが識別コードAに対応する位置に存在する。なお、強調情報Bは、認識部14により認識された識別コードに対応する位置に、強調情報Cは、認識部14により認識されなかった識別コードに対応する位置に表示される。
図6(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象すべての識別コードAが、画像処理装置10により特定されていることを直感的に把握できる。また、強調情報Cに対応する右奥の識別コードAは画像処理装置10により認識されておらず、強調情報Bに対応する他の識別コードAは画像処理装置10により認識されたことを、直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定された識別コードに対応する位置に強調情報が表示されるとともに、認識された識別コードと認識されなかった識別コードとを区別可能な表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コード各々が、画像処理装置10により認識されたのか否かを直感的に把握できる。
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。
<第3の実施形態>
本実施形態の画像処理装置10は、認識された識別コードのみを強調表示する点で、第1及び第2の実施形態と異なる。その他の構成は、第1及び第2の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1及び第2の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1及び第2の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部14は、第2の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定し、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。なお、認識部14は、第2の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力してもよい。
表示画像生成部11は、ユーザの視野において、認識部14により認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14により特定されたが、認識されなかった識別コードに対応する位置には強調情報が表示されない。
ここで、図8を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図8(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図8(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bが表示されている。強調情報Bは、認識部14により認識された識別コードAに対応する位置に表示される。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図8(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図8(1))に表示画像(図8(2))が重なっている。そして、強調情報Bが、認識部14により認識された識別コードAに対応する位置に存在する。
図8(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象の内、強調情報Bに対応する3つの識別コードAが、画像処理装置10により認識されたことを直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、例えば、認識した識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、認識された識別コードに対応する位置に強調情報が表示される表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1及び第2の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置10により認識されたかを直感的に把握できる。
このため、ユーザは、認識された識別コードが付された検査対象、すなわち、情報を読み込み済みの検査対象を作業台から移動させ、認識されなかった識別コードが付された検査対象のみを作業対に残し、再度認識処理を行わせることができる。また、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識された識別コードが付された検査対象と、認識されなかった識別コードが付された検査対象とを直感的に把握し、各々に対して適切な対応をとることができる。結果、検査効率が向上する。
<第4の実施形態>
本実施形態の画像処理装置10は、認識できなかった識別コードのみを強調表示する点で、第1乃至第3の実施形態と異なる。その他の構成は、第1乃至第3の実施形態と同様である。
本実施形態の画像処理装置10の機能ブロック図は、第1乃至第3の実施形態同様、図2で示される。表示部12及び撮像部13の構成は、第1乃至第3の実施形態と同様である。
認識部14は、第1の実施形態で説明したように、撮像画像に写っている図形等で表現された識別コードを特定する。また、認識部14は、第2の実施形態で説明したように、特定した識別コードに対して認識する処理を行う。撮像画像に複数の識別コードが写っている場合、認識部14は、複数の識別コードを特定し、各々に対して認識する処理を行う。
認識部14は、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。なお、認識部14は、第2の実施形態で説明したように、特定した識別コード各々の撮像画像内の位置を示す情報に、識別コードが認識されたか否かを示す情報を対応付けて、表示画像生成部11に入力してもよい。
表示画像生成部11は、ユーザの視野において、認識部14により特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する。認識部14により特定され、かつ、認識された識別コードに対応する位置には強調情報が表示されない。
ここで、図9を用いて、表示画像生成部11が生成する表示画像、及び、表示部12による表示画像の表示の一例を説明する。
図9(1)は、表示画像が表示されていない状態における透視型ディスプレイ越しのユーザの視野を示す。これは、図3のユーザの視野に相当する。ユーザの視野には、作業台と、当該作業台の上に置かれた4つの検査対象とが存在する。4つの検査対象各々には、図形等で表現された識別コード(バーコード)Aが付されている。
図9(2)は、表示画像生成部11が生成した表示画像である。当該例では、強調情報Bが表示されている。強調情報Bは、認識部14により特定されたが、認識されなかった識別コードAに対応する位置に表示される。表示画像において、強調情報Bが表示される部分以外は透明となる。当該表示画像が、透視型ディスプレイ、すなわち図3のレンズ部分20に表示される。
図9(3)は、表示画像が表示されている状態における透視型ディスプレイ越しのユーザの視野を示す。ユーザの前方の景色(図9(1))に表示画像(図9(2))が重なっている。そして、強調情報Bが、認識部14により特定されたが認識されなかった識別コードAに対応する位置に存在する。
図9(3)のような視野に基づき、ユーザは、前方に存在する4つの検査対象の内、強調情報Bに対応する1つの識別コードAが、画像処理装置10により特定されたが、認識されなかったことを直感的に把握できる。
次に、図7のフローチャートを用いて、本実施形態の画像処理装置10の処理の流れの一例を説明する。
撮像部13がユーザの前方(顔が向く方向)を撮像し、ユーザの視野を含むように撮像画像を生成すると(S20)、認識部14は、撮像画像を画像解析し、図形等で表現された識別コードを特定する処理を行う(S21)。撮像画像内に識別コードがない場合(S22のNo)、S26に進む。
撮像画像内に識別コードがある場合(S22のYes)、認識部14は、特定した識別コードに対して認識する処理を行う(S23)。そして、認識部14は、例えば、特定したが、認識されなかった識別コード各々の撮像画像内の位置を示す情報を表示画像生成部11に入力する。表示画像生成部11は、当該情報に基づき、ユーザの視野において、特定されたが認識されなかった識別コードに対応する位置に強調情報が表示される表示画像を生成する(S24)。
そして、表示部12は、S24で生成された表示画像をユーザの視野に重ねて表示する(S25)。その後、S26に進む。
S26では、処理を終了する入力がなされたか否かを判断する。入力されていない場合(S26のNo)、S20に戻り、次の撮像画像を取得して同様の処理を繰り返す。一方、入力されている場合(S26のYes)、処理を終了する。
以上説明した本実施形態によれば、第1乃至第3の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、ユーザは、視野に存在する識別コードの内、いずれが画像処理装置10により特定されたが、認識されなかったかを直感的に把握できる。
このため、ユーザは、認識されなかった識別コードが付された検査対象を撮像しやすい位置に移動させ、再度、認識処理を行わせることができる。結果、認識されなかった識別コードを次の処理で認識させることが可能となる。
このように、本実施形態によれば、ユーザは、認識されなかった識別コードが付された検査対象を直感的に把握し、適切な対応をとることができる。結果、検査効率が向上する。
<第5の実施形態>
本実施形態の画像処理装置10は、ユーザからの指示入力に応じて、撮像画像の生成、撮像画像の解析、表示画像の生成、表画像の表示という一連の処理を行う点で、第1乃至第4の実施形態と異なる。その他の構成は、第1乃至第4の実施形態と同様である。
図10に、本実施形態の画像処理装置10の機能ブロック図の一例を示す。図示するように、画像処理装置10は、表示画像生成部11と、表示部12と、撮像部13と、認識部14と、入力受付部15とを有する。
入力受付部15は、ユーザから開始指示入力を受付ける。入力受付部15は、所定の操作ボタンの押下により開始指示入力を受付けてもよいし、カメラ(撮像部13)の前での所定のジェスチャにより開始指示入力を受付けてもよい。その他、マイクを介した所定の発言内容の入力により、開始指示入力を受付けてもよい。
撮像部13は、入力受付部15が受付けた開始指示入力に応じて、撮像画像の生成を開始する。認識部14は、撮像部13による撮像画像の生成に応じて、当該撮像画像の解析を開始する。表示画像生成部11は、認識部14による撮像画像の解析の結果の生成に応じて、表示画像の生成を開始する。表示部12は、表示画像生成部11による表示画像の生成に応じて、表示画像の表示を開始する。表示画像生成部11、表示部12、撮像部13及び認識部14の他の構成は、第1乃至第4の実施形態と同様である。
以上説明した本実施形態によれば、第1乃至第4の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、常時表示画像が表示されるのでなく、ユーザからの指示に応じて表示画像の表示を行うことができる。このため、ユーザは、表示画像が必要なタイミングで表示画像を表示させ、不要なタイミングでは非表示とすることができる。結果、表示画像がユーザの他の作業の邪魔になる不都合を軽減できる。
以下、参考形態の例を付記する。
1. 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
2. 1に記載の画像処理装置において、
前記認識手段は、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成手段は、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
3. 1または2に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成手段は、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
4. 表示画像を生成する表示画像生成手段と、
ユーザの視野に重ねて前記表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
を有し、
前記表示画像生成手段は、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
5. 4に記載の画像処理装置において、
前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
6. 1から5のいずれかに記載の画像処理装置において、
ユーザから開始指示入力を受付ける入力受付手段をさらに有し、
前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。
7. 1から6のいずれかに記載の画像処理装置において、
前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。
8. 1から7のいずれかに記載の画像処理装置において、
前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。
9. コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
9−2. 9に記載の画像処理方法において、
前記認識工程では、特定した前記識別コードに対して認識する処理を行い、
前記表示画像生成工程では、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理方法。
9−3. 9または9−2に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
前記表示画像生成工程では、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
9−4. 9から9−3のいずれかに記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
9−5. 9から9−4のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
9−6. 9から9−5のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
10. コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
10−2. 10に記載のプログラムにおいて、
前記認識手段に、特定した前記識別コードに対して認識する処理を行わせ、
前記表示画像生成手段に、
認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成させるプログラム。
10−3. 10または10−2に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定させ、
前記表示画像生成手段に、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
10−4. 10から10−3のいずれかに記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
10−5. 10から10−4のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
10−6. 10から10−5のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
11. コンピュータが、
表示画像を生成する表示画像生成工程と、
ユーザの視野に重ねて前記表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
を実行し、
前記表示画像生成工程では、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
11−2. 11に記載の画像処理方法において、
前記認識工程では、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
前記表示画像生成工程では、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理方法。
11−3. 11又は11−2に記載の画像処理方法において、
前記コンピュータが、ユーザから開始指示入力を受付ける入力受付工程をさらに実行し、
前記撮像工程では、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
前記認識工程では、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
前記表示画像生成工程では、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
前記表示工程では、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理方法。
11−4. 11から11−3のいずれかに記載の画像処理方法において、
前記表示工程では、透過型ディスプレイに前記表示画像を表示する画像処理方法。
11−5. 11から11−4のいずれかに記載の画像処理方法において、
前記表示工程では、ヘッドマウントディスプレイに前記表示画像を表示する画像処理方法。
12. コンピュータを、
表示画像を生成する表示画像生成手段、
ユーザの視野に重ねて前記表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
として機能させ、
前記表示画像生成手段に、
ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
12−2. 12に記載のプログラムにおいて、
前記認識手段に、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行わせ、
前記表示画像生成手段に、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成させるプログラム。
12−3. 12又は12−3に記載のプログラムにおいて、
前記コンピュータを、ユーザから開始指示入力を受付ける入力受付手段としてさらに機能させ、
前記撮像手段に、前記開始指示入力に応じて、前記撮像画像の生成を開始させ、
前記認識手段に、前記撮像画像の生成に応じて、前記撮像画像の解析を開始させ、
前記表示画像生成手段に、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始させ、
前記表示手段に、前記表示画像の生成に応じて、前記表示画像の表示を開始させるプログラム。
12−4. 12から12−3のいずれかに記載のプログラムにおいて、
前記表示手段に、透過型ディスプレイに前記表示画像を表示させるプログラム。
12−5. 12から12−4のいずれかに記載のプログラムにおいて、
前記表示手段に、ヘッドマウントディスプレイに前記表示画像を表示させるプログラム。
1A CPU
2A RAM
3A ROM
4A 表示制御部
5A ディスプレイ
6A 操作受付部
7A 操作部
8A 通信部
9A 補助記憶装置
10A カメラ
11A バス
10 画像処理装置
11 表示画像生成部
12 表示部
13 撮像部
14 認識部
15 入力受付部
20 レンズ部分
21 カメラ
22 処理装置
A 識別コード
B 強調情報
C 強調情報
本発明によれば、
ユーザの視野に重ねて表示画像を表示する表示手段と、
ユーザの視野を含むように撮像画像を生成する撮像手段と、
前記表示手段は、前記撮像画像に含まれる対象に付された識別コードが認識された場合、認識された識別コードが付された前記対象を移動可能であることを示す情報を表示する画像処理装置が提供される。
また、本発明によれば、
コンピュータが、
ユーザの視野に重ねて表示画像を表示する表示工程と、
ユーザの視野を含むように撮像画像を生成する撮像工程と、
を実行し、
前記表示工程では、前記撮像画像に含まれる対象に付された識別コードが認識された場合、認識された識別コードが付された前記対象を移動可能であることを示す情報を表示する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
ユーザの視野に重ねて表示画像を表示する表示手段、
ユーザの視野を含むように撮像画像を生成する撮像手段、
として機能させ、
前記表示手段は、前記撮像画像に含まれる対象に付された識別コードが認識された場合、認識された識別コードが付された前記対象を移動可能であることを示す情報を表示するプログラムが提供される。

Claims (12)

  1. 表示画像を生成する表示画像生成手段と、
    ユーザの視野に重ねて前記表示画像を表示する表示手段と、
    ユーザの視野を含むように撮像画像を生成する撮像手段と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段と、
    を有し、
    前記表示画像生成手段は、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記認識手段は、特定した前記識別コードに対して認識する処理を行い、
    前記表示画像生成手段は、
    認識された前記識別コード、及び、認識されなかった前記識別コードを区別可能な前記表示画像を生成する画像処理装置。
  3. 請求項1または2に記載の画像処理装置において、
    前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、
    前記表示画像生成手段は、ユーザの視野において、特定された複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
  4. 表示画像を生成する表示画像生成手段と、
    ユーザの視野に重ねて前記表示画像を表示する表示手段と、
    ユーザの視野を含むように撮像画像を生成する撮像手段と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段と、
    を有し、
    前記表示画像生成手段は、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理装置。
  5. 請求項4に記載の画像処理装置において、
    前記認識手段は、前記撮像画像に複数の識別コードが含まれる場合、複数の前記識別コードを特定し、各々に対して認識する処理を行い、
    前記表示画像生成手段は、ユーザの視野において、認識された複数の前記識別コード各々に対応する位置、又は、認識されなかった複数の前記識別コード各々に対応する位置に前記強調情報が表示される前記表示画像を生成する画像処理装置。
  6. 請求項1から5のいずれか1項に記載の画像処理装置において、
    ユーザから開始指示入力を受付ける入力受付手段をさらに有し、
    前記撮像手段は、前記開始指示入力に応じて、前記撮像画像の生成を開始し、
    前記認識手段は、前記撮像画像の生成に応じて、前記撮像画像の解析を開始し、
    前記表示画像生成手段は、前記撮像画像の解析の結果の生成に応じて、前記表示画像の生成を開始し、
    前記表示手段は、前記表示画像の生成に応じて、前記表示画像の表示を開始する画像処理装置。
  7. 請求項1から6のいずれか1項に記載の画像処理装置において、
    前記表示手段は、透過型ディスプレイを備え、当該透過型ディスプレイに前記表示画像を表示する画像処理装置。
  8. 請求項1から7のいずれか1項に記載の画像処理装置において、
    前記表示手段は、ヘッドマウントディスプレイを備え、当該ヘッドマウントディスプレイに前記表示画像を表示する画像処理装置。
  9. コンピュータが、
    表示画像を生成する表示画像生成工程と、
    ユーザの視野に重ねて前記表示画像を表示する表示工程と、
    ユーザの視野を含むように撮像画像を生成する撮像工程と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識工程と、
    を実行し、
    前記表示画像生成工程では、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
  10. コンピュータを、
    表示画像を生成する表示画像生成手段、
    ユーザの視野に重ねて前記表示画像を表示する表示手段、
    ユーザの視野を含むように撮像画像を生成する撮像手段、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定する認識手段、
    として機能させ、
    前記表示画像生成手段に、
    ユーザの視野において、特定された前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
  11. コンピュータが、
    表示画像を生成する表示画像生成工程と、
    ユーザの視野に重ねて前記表示画像を表示する表示工程と、
    ユーザの視野を含むように撮像画像を生成する撮像工程と、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識工程と、
    を実行し、
    前記表示画像生成工程では、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成する画像処理方法。
  12. コンピュータを、
    表示画像を生成する表示画像生成手段、
    ユーザの視野に重ねて前記表示画像を表示する表示手段、
    ユーザの視野を含むように撮像画像を生成する撮像手段、
    前記撮像画像を解析し、前記撮像画像に含まれる識別コードを特定し、特定した前記識別コードに対して認識する処理を行う認識手段、
    として機能させ、
    前記表示画像生成手段に、
    ユーザの視野において、認識された前記識別コードに対応する位置、又は、認識されなかった前記識別コードに対応する位置に強調情報が表示される前記表示画像を生成させるプログラム。
JP2019075354A 2019-04-11 2019-04-11 画像処理装置、画像処理方法、及び、プログラム Active JP6879329B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019075354A JP6879329B2 (ja) 2019-04-11 2019-04-11 画像処理装置、画像処理方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019075354A JP6879329B2 (ja) 2019-04-11 2019-04-11 画像処理装置、画像処理方法、及び、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015059088A Division JP6511893B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2019160326A true JP2019160326A (ja) 2019-09-19
JP6879329B2 JP6879329B2 (ja) 2021-06-02

Family

ID=67994056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019075354A Active JP6879329B2 (ja) 2019-04-11 2019-04-11 画像処理装置、画像処理方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6879329B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028033A (ja) * 1999-07-14 2001-01-30 Oki Electric Ind Co Ltd バーコード認識結果の表示方法およびバーコード認識装置
JP2011134079A (ja) * 2009-12-24 2011-07-07 Panasonic Corp 照合検査装置および照合検査方法
JP2015141215A (ja) * 2014-01-27 2015-08-03 村田機械株式会社 ヘッドマウントディスプレイ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028033A (ja) * 1999-07-14 2001-01-30 Oki Electric Ind Co Ltd バーコード認識結果の表示方法およびバーコード認識装置
JP2011134079A (ja) * 2009-12-24 2011-07-07 Panasonic Corp 照合検査装置および照合検査方法
JP2015141215A (ja) * 2014-01-27 2015-08-03 村田機械株式会社 ヘッドマウントディスプレイ装置

Also Published As

Publication number Publication date
JP6879329B2 (ja) 2021-06-02

Similar Documents

Publication Publication Date Title
WO2016152891A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4588098B2 (ja) 画像・音声監視システム
JP4192847B2 (ja) コード読取装置およびプログラム
JP7460728B2 (ja) 多数の復号可能な証印を処理するための方法
CN107273004B (zh) 图像显示装置、图像显示控制方法以及记录介质
EP4303758A2 (en) Mobile device having an improved user interface for reading code symbols
JP6439566B2 (ja) 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
JP6386311B2 (ja) 携帯情報端末、情報処理方法、及びプログラム
JP6662264B2 (ja) 表示システム
JP5215328B2 (ja) ラベル表示装置、ラベル表示方法、およびそのプログラム
JP2020095537A (ja) 学習用データセット自動生成システム、サーバ、及び学習用データセット自動生成プログラム
JP5693022B2 (ja) 表示制御装置および表示制御システム、並びにそれらの制御方法、プログラム、記憶媒体
JP6879329B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2018055659A1 (ja) 画面共有システム、画面共有方法及びプログラム
JP6102445B2 (ja) 表示装置、表示方法、および表示プログラム
JP5310040B2 (ja) 撮像処理装置及びプログラム
JP2010244211A (ja) 情報入力装置および情報入力方法
JP7309171B2 (ja) 光学式認識コード読取装置、方法及びプログラム
JP2019016219A (ja) 符号読取装置、符号読取プログラムおよび符号読取方法
JP6288487B2 (ja) 画像処理装置及びプログラム
JP6873397B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
JP5310039B2 (ja) 撮像処理装置及びプログラム
JP2010079529A (ja) 情報処理装置、情報処理方法、そのプログラム及および記録媒体
JP2014137788A (ja) 情報表示装置
JP7333971B2 (ja) 機能実行システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210215

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6879329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150