JP2021140085A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021140085A
JP2021140085A JP2020039187A JP2020039187A JP2021140085A JP 2021140085 A JP2021140085 A JP 2021140085A JP 2020039187 A JP2020039187 A JP 2020039187A JP 2020039187 A JP2020039187 A JP 2020039187A JP 2021140085 A JP2021140085 A JP 2021140085A
Authority
JP
Japan
Prior art keywords
reference object
processor
information processing
image
notebook
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020039187A
Other languages
English (en)
Inventor
慶人 末澤
Yoshihito Suezawa
慶人 末澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020039187A priority Critical patent/JP2021140085A/ja
Priority to US17/060,410 priority patent/US11093804B1/en
Priority to US17/375,507 priority patent/US20210342657A1/en
Publication of JP2021140085A publication Critical patent/JP2021140085A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】基準となる物体である基準物体と共に認識された物体を、基準物体と同一又は類似の物体に対して仮想的に再現する。【解決手段】プロセッサは、基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、第２基準物体に対して、第１基準物体と共に予め認識された第３物体を仮想的に表示する。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。
現実空間に存在する物体に対して、仮想空間上にて物体の画像を表示する技術が知られている。
特許文献１及び特許文献２には、ＰＣ等の表示部の外側領域にはみ出したカーソル又はオブジェクトを仮想オブジェクトとして表示する装置が記載されている。
特許文献３及び特許文献４には、ＰＣの表示部に表示されないデータを仮想オブジェクトとして設定し、ユーザの手の指等に張り付ける装置が記載されている。
特開２０１１−２８３０９号公報 特開２０１３−１６８１６７号公報 特開２０１３−９３０３１号公報 特開２０１０−２５７３５９号公報
本発明の目的は、基準となる物体である基準物体と共に認識された物体を、基準物体と同一又は類似の物体に対して仮想的に再現することにある。
請求項１に係る発明は、プロセッサを有し、前記プロセッサは、基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、前記第２基準物体に対して、前記第１基準物体と共に予め認識された第３物体を仮想的に表示する、情報処理装置である。
請求項２に係る発明は、前記プロセッサは、前記第１基準物体と前記第３物体との間の相対的な位置関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な位置関係に反映させる、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記プロセッサは、前記第１基準物体と前記第３物体との間の相対的な大きさの関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な大きさの関係に反映させる、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項４に係る発明は、前記プロセッサは、前記第３物体の大きさが閾値未満である場合、前記第１基準物体と前記第３物体との間の相対的な大きさの関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な大きさの関係に反映させない、ことを特徴とする請求項３に記載の情報処理装置である。
請求項５に係る発明は、前記第３物体は、前記第１基準物体に接している物体である、ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置である。
請求項６に係る発明は、前記プロセッサは、前記第２基準物体と共に前記第３物体が認識されない場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。
請求項７に係る発明は、前記プロセッサは、前記第２基準物体と共に前記第３物体が認識された場合、前記第２基準物体に対して仮想的に前記第３物体を表示しない、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。
請求項８に係る発明は、前記プロセッサは、前記第２基準物体と共に認識された前記第３物体の内容が、前記第１基準物体と共に認識された前記第３物体の内容と異なっている場合、その旨をユーザに通知する、ことを特徴とする請求項１から請求項７のいずれか一項に記載の情報処理装置である。
請求項９に係る発明は、前記プロセッサは、前記第３物体を仮想的に表示する前に、前記第２基準物体と共に認識された前記第３物体の内容が、前記第１基準物体と共に認識された前記第３物体の内容と異なっている旨を通知し、仮想的に前記第３物体を表示することがユーザから指示された場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、ことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に係る発明は、前記第１基準物体と類似する第２基準物体は、前記第１基準物体と同一の種類の物体である、ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置である。
請求項１１に係る発明は、前記第３物体は、複数の第１基準物体と共に予め認識され、前記プロセッサは、前記複数の第１基準物体の中の少なくとも１つの第１基準物体と同一又は類似の第２基準物体が認識された場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、ことを特徴とする請求項１から請求項１０のいずれか一項に記載の情報処理装置である。
請求項１２に係る発明は、前記プロセッサは、前記第１基準物体と共に複数の第３物体が認識された場合において、前記第１基準物体と同一又は類似の前記第２基準物体が認識された場合、仮想的に表示される第３物体を選択するための前記複数の第３物体の一覧を表示する、ことを特徴とする請求項１から請求項１１のいずれか一項に記載の情報処理装置である。
請求項１３に係る発明は、コンピュータに、基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、前記第２基準物体に対して、前記第１基準物体と共に予め認識された第３物体を仮想的に表示させる、プログラムである。
請求項１，１３に係る発明によれば、基準となる物体である基準物体と共に認識された物体を、基準物体と同一又は類似の物体に対して仮想的に再現することができる。
請求項２に係る発明によれば、第１基準物体と第３物体との間の相対的な位置関係を、第２基準物体に対して仮想的に第３物体を表示する際に再現することができる。
請求項３に係る発明によれば、第１基準物体と第３物体との間の相対的な大きさの関係を、第２基準物体に対して仮想的に第３物体を表示する際に再現することができる。
請求項４に係る発明によれば、第３物体を仮想的に表示する際に第３物体の大きさが閾値未満になる場合は、第１基準物体と第３物体との間の相対的な大きさを反映させずに、第２基準物体に対して仮想的に第３物体を再現することができる。
請求項５に係る発明によれば、第１基準物体に接している物体に限って第３物体を仮想的に再現することができる。
請求項６に係る発明によれば、第２基準物体と共に第３物体が認識されない場合に、第２基準物体に対して仮想的に第３物体を再現することができる。
請求項７に係る発明によれば、仮想的に再現する必要のない第３物体を仮想的に再現せずに済む。
請求項８に係る発明によれば、第３物体の内容の差異をユーザに知らせることができる。
請求項９に係る発明によれば、ユーザは、第３物体の内容の差異を確認した上で、第３物体を仮想的に再現することができる。
請求項１０に係る発明によれば、第１基準物体と同一の種類の第２基準物体に対して第３物体を仮想的に再現することができる。
請求項１１に係る発明によれば、複数の第１基準物体と共に認識された物体を、第２基準物体に対して仮想的に再現することができる。
請求項１２に係る発明によれば、複数の第３物体が認識された場合、当該複数の第３物体の中から選択された第３物体を第２基準物体に対して仮想的に再現することができる。
第１実施形態に係る情報処理システムの構成を示すブロック図である。 画像を取得する処理を示すフローチャートである。 表示画面を示す図である。 仮想オブジェクトを表示する処理を示すフローチャートである。 表示画面を示す図である。 画像を取得する処理を示すフローチャートである。 仮想オブジェクトを表示する処理を示すフローチャートである。 画像を取得する処理を示すフローチャートである。 表示画面を示す図である。 仮想オブジェクトを表示する処理を示すフローチャートである。 現実空間に存在する実物体を模式的に示す図である。 表示画面を示す図である。 現実空間に存在する実物体を模式的に示す図である。 実物体と仮想オブジェクトを模式的に示す図である。 第２実施形態に係る情報処理システムの構成を示すブロック図である。 画像を取得する処理を示すフローチャートである。 仮想オブジェクトを表示する処理を示すフローチャートである。 現実空間に存在する実物体を模式的に示す図である。 表示画面を示す図である。
＜第１実施形態＞
図１を参照して、第１実施形態に係る情報処理システムについて説明する。図１には、第１実施形態に係る情報処理システムのハードウェアの構成の一例が示されている。
第１実施形態に係る情報処理システムは、ＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）等の技術を利用して現実空間上に仮想オブジェクトを表示するシステムである。ここでは一例として、ＡＲ技術が採用された、メガネ型の情報処理装置であるＡＲグラス１０が用いられる。ＡＲグラス１０は、撮影機能と通信機能とを有する装置である。また、ＡＲグラス１０は、ＡＲグラス１０の位置を示す情報である位置情報を取得するセンサ（例えばＧＰＳ（Global Positioning System）センサ）、及び、方位及び姿勢を検出するジャイロセンサ等の各種のセンサを有する。
以下では、現実空間に存在する物体を「実物体」と称することがある。仮想オブジェクトは、実物体と対比される概念であり、例えば、画像や文字列や図形やその他の情報等である。画像は、静止画像、動画像、又は、これらの組み合わせである。
ＡＲグラス１０は、メガネ型の表示装置１２と、ＡＲグラス１０を装着したユーザの視線方向の現実空間を撮影するカメラ１４とを含む。以下では、カメラ１４による撮影によって生成された画像を「撮影画像」と称する。メガネ型の表示装置１２は、シースルー型の表示装置であってもよいし、非シースルー型の表示装置であってもよい。ＡＲ技術によって、表示装置１２には、実物体に対して物体が仮想的に表示される。実物体に対して物体を仮想的に表示するとは、当該物体を表す画像の一例である仮想オブジェクトを、表示装置１２の画面上で現実空間に重畳して表示することである。例えば、ユーザの両目の視差を考慮して、左目用の画面と右目用の画面とが生成され、左右それぞれの表示装置に表示される。ユーザが表示装置１２を通して現実空間を眺めると、仮想オブジェクトが表す物体が現実空間上に実際に存在するかのように重畳して表示される。
ＡＲグラス１０の代わりに、ＡＲ技術が採用されたＨＭＤ（Head Mounted Display）や、ＭＲ技術が採用されたＭＲグラスやＨＭＤが用いられてもよい。また、ＡＲグラス１０の代わりに、カメラを有する、スマートフォンや携帯電話やゲーム端末等の携帯端末が用いられてもよい。この場合、カメラによって現実空間が撮影され、携帯端末の画面上に仮想オブジェクトが現実空間の画像に重畳して表示されてもよい。
また、第１実施形態に係る情報処理システムは情報処理装置１６を含む。情報処理装置１６は、例えば、デスクトップ型又はノート型のパーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレット端末、スマートフォン、ワークステーション、又は、サーバ等である。情報処理装置１６は通信機能を有し、ＡＲグラス１０との間で情報を送受信する。なお、ＡＲグラス１０に情報処理装置１６が組み込まれてもよい。
情報処理装置１６は、例えば、通信装置１８と、ＵＩ２０と、メモリ２２と、プロセッサ２４とを含む。
通信装置１８は、通信チップ等を有する通信インターフェース（例えばネットワークインターフェース等）であり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。
ＵＩ２０はユーザインターフェースであり、表示装置及び操作装置の中の少なくとも１つを含む。表示装置は、液晶ディスプレイやＥＬディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ２０は、表示装置と操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。
メモリ２２は、データを記憶する１又は複数の記憶領域を構成する装置である。メモリ２２は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。例えば、撮影画像や物体の画像や仮想オブジェクトがメモリ２２に記憶される。
プロセッサ２４は、情報処理装置１６の各部の動作を制御するように構成されている。プロセッサ２４は、メモリを含んでもよい。
例えば、プロセッサ２４は、基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、第２基準物体に対して、第１基準物体と共に予め認識された第３物体を仮想的にＡＲグラス１０の表示装置１２に表示させる。第１基準物体、第２基準物体及び第３物体は、実物体である。第３物体を仮想的に表示することは、第３物体を表す仮想オブジェクトを表示装置１２の画面上で現実空間に重畳して表示することである。
例えば、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像に対して画像処理を実行することで、第１基準物体、第２基準物体及び第３物体を認識してもよいし、カメラ１４以外の各種のセンサによって検出された結果に基づいて、第１基準物体、第２基準物体及び第３物体を認識してもよい。
第１基準物体と類似する第２基準物体は、例えば、第１基準物体の形状と類似する形状を有する物体であってもよいし、第１基準物体が有する機能と類似する機能を有する物体であってもよい。例えば、第１基準物体であるノート型ＰＣと同等の機能を有するタブレット端末が、第１基準物体が有する機能と類似する機能を有する物体に該当する。また、第１基準物体と類似する第２基準物体は、第１基準物体と同一の種類の物体であってもよい。例えば、第１基準物体がノート型ＰＣである場合、第１基準物体であるノート型ＰＣとは異なる形状を有するノート型ＰＣは、第１基準物体と同一の種類の物体に該当する。例えば、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像に対して画像処理を施すことで、その撮影画像に表されている物体の種類を認識する。ユーザが、撮影画像を参照して物体の種類を設定してもよい。
以下、本実施形態に係る情報処理システムによる処理の実施例について詳しく説明する。
（実施例１）
以下、実施例１について説明する。
図２を参照して、第１基準物体と第３物体のそれぞれの画像を取得する処理について説明する。図２には、その処理を示すフローチャートが示されている。
まず、ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４によって撮影された第１基準物体の画像を取得する（Ｓ０１）。プロセッサ２４は、第１基準物体の画像をメモリ２２に記憶させる。
ユーザが第１基準物体を選択してもよいし、プロセッサ２４が、ユーザが注視している時間が最も長い物体を第１基準物体として認識してもよい。
以下、ユーザが第１基準物体を選択する例について説明する。
ユーザが、ジェスチャや音声やＵＩ２０の操作等によって基準物体選択モードの実行を指示すると、情報処理システムのモードが基準物体選択モードに移行する。カメラ１４によって実物体が撮影され、プロセッサ２４は、その撮影によって生成された撮影画像に基づいて、撮影された実物体を認識する。例えば、Ｖｉｓｏｎ ａｐｉ／ｆｒａｍｅｗｏｒｋ等を利用した画像認識技術等によって、実物体が認識される。プロセッサ２４は、その認識の結果を表示装置１２に表示させる。図３には、その表示例が示されている。
図３に示されている表示画面３２は、ユーザがＡＲグラス１０の表示装置１２を通して見える画面である。ノート型ＰＣ２６、付箋２８及びマウス３０は実物体であり、プロセッサ２４は、ノート型ＰＣ２６とマウス３０を第１基準物体の候補として認識している。プロセッサ２４は、第１基準物体の候補を指し示すマーク３４，３６を表示画面３２上で現実空間に重畳して表示する。マーク３４は、ノート型ＰＣ２６を指し示す画像であり、マーク３６は、マウス３０を指し示す画像である。
ユーザは、ジェスチャや音声やＵＩ２０の操作等によって、認識された実物体の中から第１基準物体を選択する。プロセッサ２４は、ユーザによって選択された実物体を第１基準物体として設定する。例えば、ノート型ＰＣ２６がユーザによって選択されると、プロセッサ２４は、ノート型ＰＣ２６を第１基準物体として設定し、ノート型ＰＣ２６の画像を第１基準物体の画像としてメモリ２２に記憶させる。なお、プロセッサ２４は、ここで設定された第１基準物体を、デフォルトの第１基準物体として設定してもよい。
なお、カメラ１４によって撮影された実物体（例えば、ノート型ＰＣ２６、付箋２８及びマウス３０）の画像が表示装置１２に表示され、ユーザは、表示された画像の中から第１基準物体の画像を選択してもよい。プロセッサ２４は、その選択された画像が表す実物体を第１基準物体として設定する。
別の例として、第１基準物体の画像が予めサーバ等に記憶されて、プロセッサ２４は、その画像に基づいて第１基準物体を認識してもよい。例えば、第１基準物体の画像がサーバ等に予め記憶される。第１基準物体の画像には、当該第１基準物体を識別するための情報である識別情報が紐付けられる。プロセッサ２４は、その識別情報に基づいて、第１基準物体を認識する。
また、プロセッサ２４は、カメラ１４によって撮影された第３物体の画像を取得する（Ｓ０２）。プロセッサ２４は、第１基準物体に接する物体を第３物体として認識してもよいし、第１基準物体に近接する物体（例えば、第１基準物体の位置から予め定められた距離の範囲内に存在する物体）を第３物体として認識してもよいし、ユーザによって選択された物体を第３物体として認識してもよいし、カメラ１４の視界に存在し、第１基準物体以外の物体を第３物体として認識してもよい。プロセッサ２４は、第３物体の画像をメモリ２２に記憶させる。
次に、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像に基づいて、第１基準物体と第３物体との間の相対的な位置関係を特定する（Ｓ０３）。例えば、第１基準物体と第３物体とが撮影画像に表されており、プロセッサ２４は、当該撮影画像を解析することで、当該撮影画像上における第１基準物体と第３物体との間の相対的な位置関係を特定する。例えば、プロセッサ２４は、撮影画像上において第１基準物体の位置を基準とした第３物体の相対的な位置を特定する。プロセッサ２４は、その相対的な位置関係を示す情報（例えば、第１基準物体の位置を基準とした第３物体の相対的な位置を示す情報）をメモリ２２に記憶させる。
次に、プロセッサ２４は、第３物体の画像に基づいて、第３物体の仮想オブジェクトを生成する（Ｓ０４）。第３物体に文字や記号等が記載されている場合、プロセッサ２４は、第３物体の画像に対してＯＣＲ（Optical Character Recognition）等の文字認識処理を実行することで、文字や記号等を認識してもよい。第３物体の仮想オブジェクトは、第３物体の画像そのものであってもよいし、第３物体を模式的に表す画像であってもよい。プロセッサ２４は、仮想オブジェクトをメモリ２２に記憶させる。文字や記号等が認識された場合、プロセッサ２４は、その認識の結果を含む仮想オブジェクトをメモリ２２に記憶させる。
例えば、図３に示されている付箋２８が第３物体として選択されると、プロセッサ２４は、付箋２８の仮想オブジェクトを生成する。また、プロセッサ２４は、文字認識処理によって、付箋２８に記載されている文字や記号等を認識し、その認識の結果を含む仮想オブジェクトを生成してもよい。
以下、図４を参照して、仮想オブジェクトを表示する処理について説明する。図４には、その処理を示すフローチャートが示されている。
まず、ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像を解析することで、第１基準物体と同一の物体である第２基準物体がＡＲグラス１０の視界に存在するか否かを判断する。例えば、プロセッサ２４は、撮影画像に対してパターンマッチング等の画像処理（例えばＯｐｅｎＣＶ等）を実行することで、当該撮影画像に第１基準物体と同一の第２基準物体が表されているか否かを判断する（つまり、第１基準物体と同一の第２基準物体がＡＲグラス１０の視界に存在するか否かを判断する）。第１基準物体の画像はメモリ２２に記憶されており、プロセッサ２４は、第１基準物体の画像を用いてパターンマッチング等の画像処理を撮影画像に対して実行することで、撮影画像に第１基準物体と同一の第２基準物体が表されているか否かを判断する。
第１基準物体と同一の第２基準物体がＡＲグラス１０の視界に存在しない場合（Ｓ１０，Ｎｏ）、処理は終了する。
第１基準物体と同一の第２基準物体がＡＲグラス１０の視界に存在する場合（Ｓ１０，Ｙｅｓ）、プロセッサ２４は、第３物体がＡＲグラス１０の視界に存在するか否かを判断する。第３物体の画像はメモリ２２に記憶されており、プロセッサ２４は、第３物体の画像を用いてパターンマッチング等の画像処理を撮影画像に対して実行することで、撮影画像に第３物体が表されているか否かを判断する（つまり、第３物体がＡＲグラス１０の視界に存在するか否かを判断する）。
第３物体がＡＲグラス１０の視界に存在しない場合（Ｓ１１，Ｎｏ）、プロセッサ２４は、第１基準物体と第３物体との間の相対的な位置関係を、第２基準物体と仮想的に表示される第３物体との間の位置関係に反映させて、第３物体の仮想オブジェクトを表示装置１２の画面上で現実空間に重畳して表示する（Ｓ１２）。つまり、第３物体がＡＲグラス１０の視界に存在しない場合、第１基準物体と同一の第２基準物体と共に第３物体は認識されない。この場合、プロセッサ２４は、第２基準物体に対して第３物体の仮想オブジェクトを表示する。より詳しく説明すると、プロセッサ２４は、上述したステップＳ０３にて特定された、第１基準物体と第３物体との間の相対的な位置関係に基づいて、現実空間においてＡＲグラス１０の視界に存在する第２基準物体（つまり第１基準物体と同一の物体）の位置を基準として、表示装置１２の画面上で、第３物体の仮想オブジェクトが表示される相対的な位置を決定する。そして、プロセッサ２４は、表示装置１２の画面上にて、その相対的な位置に第３物体の仮想オブジェクトを表示する。なお、プロセッサ２４は、ユーザの指示（例えばジェスチャや音声等）に従って、仮想オブジェクトを非表示にしたり、画面から削除したりしてもよい。
第３物体がＡＲグラス１０の視界に存在する場合（Ｓ１１,Ｙｅｓ）、プロセッサ２４は、仮想オブジェクトを表示せず、当該第３物体の内容と、第３物体の仮想オブジェクトの内容との間に差異があるか否かを判断する。つまり、第３物体がＡＲグラス１０の視界に存在して第２基準物体と共に認識された場合、プロセッサ２４は、仮想オブジェクトを表示しない。プロセッサ２４は、第２基準物体と共に撮影されて認識された第３物体の内容と、上述したステップＳ０２にて第１基準物体と共に撮影されて認識された第３物体の仮想オブジェクトの内容との間に差異があるか否かを判断する。
その差異がない場合（Ｓ１３，Ｎｏ）、処理は終了する。
その差異がある場合（Ｓ１３，Ｙｅｓ）、プロセッサ２４は、その旨をユーザに通知する（Ｓ１４）。例えば、プロセッサ２４は、その旨を示す情報を表示装置１２に表示させてもよいし、ＵＩ２０の表示装置に表示させてもよい。その差異が予め定められた閾値以上の場合に、プロセッサ２４は、差異がある旨をユーザに通知してもよい。例えば、第３物体が付箋であり、第１基準物体と共に付箋が撮影された時点から第２基準物体と共に付箋が撮影されるまでの間に、付箋に追記等があった場合、プロセッサ２４は、差異があると判断し、その旨をユーザに通知する。また、形状に差異がある場合に、プロセッサ２４は、差異がある旨をユーザに通知してもよい。
通知を受けたユーザは、第３物体の仮想オブジェクトを表示するか否かを選択してもよい。ユーザが、ジェスチャや音声やＵＩ２０の操作等によって、仮想オブジェクトを表示することを指示した場合、プロセッサ２４は、ステップＳ１２の処理と同様に、第３物体の仮想オブジェクトを表示する。
なお、プロセッサ２４は、第３物体の仮想オブジェクトを表示する前に、差異がある旨をユーザに通知してもよいし、第３物体の仮想オブジェクトを表示した後に、差異がある旨をユーザに通知してもよいし、第３物体の仮想オブジェクトの表示と同時に、差異がある旨をユーザに通知してもよい。第３物体の仮想オブジェクトを表示する前に、差異がある旨をユーザに通知することで、ユーザは、その差異の内容を確認してから、仮想オブジェクトを表示するか否かを決定することができる。仮想オブジェクトを表示した後に、又は、仮想オブジェクトと同時に、差異がある旨をユーザに通知することで、第３物体の内容に変化があったことをユーザは気付き易くなる。
以下、差異がある場合の処理について詳しく説明する。
第３物体の仮想オブジェクトが単数の場合、つまり、第３物体の数が１つであり、その第３物体の仮想オブジェクトが生成されている場合、プロセッサ２４は、当該第３物体の名称等を表示装置１２に表示させ、当該第３物体の仮想オブジェクトを表示するか否かをユーザに問い合わせるメッセージを表示装置１２に表示させる。ユーザが表示を指示した場合（例えば「ＯＫ」を選択した場合）、プロセッサ２４は、仮想オブジェクトを表示装置１２に表示させる。ユーザがキャンセルを指示した場合、プロセッサ２４は、仮想オブジェクトを表示装置１２に表示させない。ＯＫやキャンセルは、例えば、ジェスチャや音声やＵＩ２０の操作等によって指示されてもよい。
複数の第３物体が存在する場合、プロセッサ２４は、複数の第３物体の一覧を表示装置１２に表示させる。例えば図５に示すように、その一覧３８が表示画面３２に表示される。ユーザが一覧３８から第３物体を選択して表示を指示した場合（例えば「ＯＫ」を選択した場合）、プロセッサ２４は、選択された第３物体の仮想オブジェクトを表示装置１２に表示させる。仮想オブジェクトの選択やＯＫの指示は、例えば、ジェスチャや音声やＵＩ２０の操作等によって行われてもよい。
なお、第１基準物体と共に複数の第３物体が撮影されて認識され、第２基準物体が撮影されて認識されたときに当該複数の第３物体がＡＲグラス１０の視界に存在しない場合（Ｓ１１,Ｎｏ）、プロセッサ２４は、仮想的に表示される第３物体を選択するための一覧（例えば一覧３８）を表示画面３２に表示してもよい。プロセッサ２４は、選択された第３物体の仮想オブジェクトを表示装置１２に表示させる。
（実施例２）
以下、実施例２について説明する。
図６を参照して、第１基準物体と第３物体のそれぞれの画像を取得する処理について説明する。図６には、その処理を示すフローチャートが示されている。
まず、上述したステップＳ０１と同様に、ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４によって撮影された第１基準物体の画像を取得する（Ｓ２０）。実施例１と同様に、ユーザが第１基準物体を選択してもよいし、プロセッサ２４が、ユーザが注視ている時間が最も長い物体を第１基準物体として認識してもよい。第１基準物体の画像は、メモリ２２に記憶される。
次に、プロセッサ２４は、第１基準物体の画像に基づいて、第１基準物体の種類を特定する（Ｓ２１）。例えば、Ｖｉｓｏｎ ａｐｉ／ｆｒａｍｅｗｏｒｋ等を利用した画像認識技術等によって第１基準物体が認識されて、第１基準物体の種類が特定される。具体的には、ノート型ＰＣ、デスクトップ型ＰＣ、タブレットＰＣ、又は、机等が、第１基準物体の種類として特定される。第１基準物体の種類を示す情報は、第１基準物体の画像に紐付けられてメモリ２２に記憶される。
次に、プロセッサ２４は、ＡＲグラス１０のユーザを識別するためのユーザＩＤと第１基準物体とを紐付ける（Ｓ２２）。ＡＲグラス１０のユーザは、例えば、ＡＲグラス１０や情報処理装置１６やクラウドサービス等にログインしているユーザである。例えば、ユーザＩＤは、第１基準物体の画像に紐付けられてメモリ２２に記憶される。なお、ユーザＩＤは、サーバ等によって管理されてもよい。
また、上述したステップＳ０２と同様に、プロセッサ２４は、カメラ１４によって撮影された第３物体の画像を取得する（Ｓ２３）。プロセッサ２４は、第３物体の画像をメモリ２２に記憶させる。
次に、上述したステップＳ０３と同様に、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像に基づいて、第１基準物体と第３物体との間の相対的な位置関係を特定する（Ｓ２４）。その相対的な位置関係を示す情報は、メモリ２２に記憶される。
次に、上述したステップＳ０４と同様に、プロセッサ２４は、第３物体の画像に基づいて、第３物体の仮想オブジェクトを生成する（Ｓ２５）。仮想オブジェクトはメモリ２２に記憶される。
以下、図７を参照して、仮想オブジェクトを表示する処理について説明する。図７には、その処理を示すフローチャートが示されている。
ユーザがログインしており、ＡＲグラス１０を装着している場合、以下の処理が実行される。ここでのログインは、例えば、ＡＲグラス１０、情報処理装置１６又はクラウドサービス等へのログインである。
ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像を解析することで、第１基準物体と同じ種類の物体である第２基準物体がＡＲグラス１０の視界に存在するか否かを判断する。第１基準物体と同じ種類の物体である第２基準物体は、第１基準物体に類似する物体の一例である。例えば、プロセッサ２４は、撮影画像に対してパターンマッチング等の画像処理（例えばＯｐｅｎＣＶ等）を実行することで、当該撮影画像に第１基準物体と同じ種類の物体である第２基準物体が表されているか否かを判断する（つまり、第１基準物体と同じ種類の第２基準物体がＡＲグラス１０の視界に存在するか否かを判断する）。第１基準物体の画像、及び、第１基準物体の種類を示す情報は、メモリ２２に記憶されており、プロセッサ２４は、第１基準物体の画像を用いてパターンマッチング等の画像処理を撮影画像に対して実行することで、撮影画像に第１基準物体と同じ種類の第２基準物体が表されているか否かを判断する。
第１基準物体と同一の種類の第２基準物体が、ＡＲグラス１０の視界に存在しない場合（Ｓ３０，Ｎｏ）、処理は終了する。
第１基準物体と同一の種類の第２基準物体が、ＡＲグラス１０の視界に存在する場合（Ｓ３０，Ｙｅｓ）、上述したステップＳ１１と同様に、プロセッサ２４は、第３物体がＡＲグラス１０の視界に存在するか否かを判断する。第３物体の画像はメモリ２２に記憶されており、プロセッサ２４は、第３物体の画像を用いてパターンマッチング等の画像処理を撮影画像に対して実行することで、撮影画像に第３物体が表されているか否かを判断する（つまり、第３物体がＡＲグラス１０の視界に存在するか否かを判断する）。
第３物体がＡＲグラス１０の視界に存在しない場合（Ｓ３１，Ｎｏ）、プロセッサ２４は、第１基準物体と同一の種類の第２基準物体を第１基準物体とみなして、位置関係の補正処理を実行し（Ｓ３２）、第１基準物体と第３物体との間の相対的な位置関係を、第２基準物体と仮想的に表示される第３物体との間の相対的な位置関係に反映させて、第３物体の仮想オブジェクトを表示装置１２の画面上で現実空間に重畳して表示する（Ｓ３３）。つまり、第３物体がＡＲグラス１０の視界に存在しない場合、第１基準物体と同じ種類の第２基準物体と共に第３物体は認識されない。この場合、プロセッサ２４は、第２基準物体に対して第３物体の仮想オブジェクトを表示する。補正処理は、第１基準物体の大きさと第２基準物体の大きさとの比率に応じて、第３物体の仮想オブジェクトの大きさを変えて、かつ、第２基準物体に対する第３物体の仮想オブジェクトの表示位置を変える処理である。この仮想処理の具体例については後で詳しく説明する。
第３物体がＡＲグラス１０の視界に存在する場合（Ｓ３１，Ｙｅｓ）、プロセッサ２４は、当該第３物体の内容と、第３物体の仮想オブジェクトの内容との間に差異があるか否かを判断する。
その差異がない場合（Ｓ３４，Ｎｏ）、処理は終了する。
その差異がある場合（Ｓ３４，Ｙｅｓ）、プロセッサ２４は、上述したステップＳ１４と同様に、その旨をユーザに通知する（Ｓ３５）。実施例１と同様に、通知を受けたユーザは、第３物体の仮想オブジェクトの表示を指示してもよい。仮想オブジェクトの表示がユーザによって指示された場合、プロセッサ２４は、第３物体の仮想オブジェクトを表示する。
例えば、第１基準物体がＰＣ（Ａ）であり、第２基準物体がノート型ＰＣ（Ｂ）である場合、第２基準物体は第１基準物体と同一の物体ではないが、第１基準物体と同一の種類の物体である。したがって、第２基準物体であるノート型ＰＣ（Ｂ）がＡＲグラス１０の視界に存在し、第３物体がＡＲグラス１０の視界に存在しない場合、第３物体の仮想オブジェクトが現実空間に重畳して表示される。
（実施例３）
以下、実施例３について説明する。
図８を参照して、第１基準物体と第３物体のそれぞれの画像を取得する処理について説明する。図８には、その処理を示すフローチャートが示されている。
まず、上述したステップＳ０１と同様に、ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４によって撮影された第１基準物体の画像を取得する（Ｓ４０）。実施例３では、プロセッサ２４は、複数の第１基準物体の画像を取得する。各第１基準物体の画像は、メモリ２２に記憶される。
以下、複数の第１基準物体の画像を取得する処理について詳しく説明する。ユーザが複数の第１基準物体を選択してもよいし、プロセッサ２４が、ユーザが注視している時間が長い順に各物体を第１基準物体として認識してもよい。
以下、ユーザが複数の基準物体を選択する例について説明する。
ユーザが、ジェスチャや音声やＵＩ２０の操作等によって基準物体選択モードの実行を指示すると、情報処理システムのモードが基準物体選択モードに移行する。そして、カメラ１４によって実物体が撮影され、プロセッサ２４は、その撮影によって生成された撮影画像に基づいて、撮影された実物体を認識する。例えば、画像認識技術等によって、実物体が認識される。プロセッサ２４は、その認識の結果を表示装置１２に表示させる。図９には、その表示例が示されている。
図９に示されている表示画面３２は、ユーザがＡＲグラス１０の表示装置１２を通して見える画面である。ノート型ＰＣ２６、付箋２８及びマウス３０は実物体であり、プロセッサ２４は、ノート型ＰＣ２６、マウス３０、及び、ノート型ＰＣ２６の一部の構成であるキーボードを、第１基準物体の候補として認識している。プロセッサ２４は、第１基準物体の候補を指し示すマーク３４，３６，４０を表示画面３２上で現実空間に重畳して表示する。マーク３４は、ノート型ＰＣ２６を指し示す画像であり、マーク３６は、マウス３０を指し示す画像であり、マーク４０は、ノート型ＰＣ２６のキーボードを指し示す画像である。
ユーザは、ジェスチャや音声やＵＩ２０の操作等によって、認識された実物体の中から第１基準物体を選択する。プロセッサ２４は、ユーザによって選択された実物体を第１基準物体として設定する。例えば、ノート型ＰＣ２６がユーザによって選択されると、プロセッサ２４は、ノート型ＰＣ２６を第１基準物体として設定し、ノート型ＰＣ２６の画像を第１基準物体の画像としてメモリ２２に記憶させる。ユーザは、更に別の実物体を第１基準物体として選択することができる。例えば、ノート型ＰＣ２６のキーボードとマウス３０がそれぞれユーザによって選択されると、プロセッサ２４は、ノート型ＰＣ２６のキーボードとマウス３０をそれぞれ第１基準物体として設定し、ノート型ＰＣ２６のキーボードの画像とマウス３０の画像をそれぞれ第１基準物体の画像としてメモリ２２に記憶させる。プロセッサ２４は、この選択の順番を、第１基準物体の優先順位として設定してもよい。
ユーザが、ジェスチャや音声やＵＩ２０の操作等によって基準物体選択モードの終了を指示すると、基準物体選択モードは終了する。そして、上記のようにして選択された複数の実物体がそれぞれ第１基準物体として設定される。
次に、プロセッサ２４は、複数の第１基準物体のそれぞれの優先順位を決定する（Ｓ４１）。ユーザが各第１基準物体の優先順位を指定してもよいし、プロセッサ２４が、ユーザが注視している時間が長い順に各第１基準物体の優先順位を決定してもよい。
また、上述したステップＳ０２と同様に、プロセッサ２４は、カメラ１４によって撮影された第３物体の画像を取得する（Ｓ４２）。プロセッサ２４は、第３物体の画像をメモリ２２に記憶させる。
次に、上述したステップＳ０３と同様に、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像に基づいて、第１基準物体と第３物体との間の相対的な位置関係を特定する（Ｓ４３）。その相対的な位置関係を示す情報は、メモリ２２に記憶される。実施例３では複数の第１基準物体が設定されているため、プロセッサ２４は、第１基準物体毎に、第１基準物体と第３物体との間の相対的な位置関係を特定する。
次に、上述したステップＳ０４と同様に、プロセッサ２４は、第３物体の画像に基づいて、第３物体の仮想オブジェクトを生成する（Ｓ４４）。仮想オブジェクトはメモリ２２に記憶される。
以下、図１０を参照して、仮想オブジェクトを表示する処理について説明する。図１０には、その処理を示すフローチャートが示されている。
ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像を解析することで、複数の第１基準物体の中の少なくとも１つの第１基準物体と同一の物体である第２基準物体が、ＡＲグラス１０の視界に存在するか否かを判断する。
第１基準物体と同一の第２基準物体が１つもＡＲグラス１０の視界に存在しない場合（Ｓ５０，Ｎｏ）、処理は終了する。
少なくとも１つの第１基準物体と同一の第２基準物体がＡＲグラス１０の視界に存在する場合（Ｓ５０，Ｙｅｓ）、プロセッサ２４は、ステップＳ４１にて決定された優先順位に従って、以降の処理で利用する第２基準物体を決定する（Ｓ５１）。例えば、プロセッサ２４は、優先順位の高い第１基準物体と同一の物体を、以降の処理で利用する第２基準物体として決定する。
次に、上述したステップＳ１１と同様に、プロセッサ２４は、第３物体がＡＲグラス１０の視界に存在するか否かを判断する。
第３物体がＡＲグラス１０の視界に存在しない場合（Ｓ５２，Ｎｏ）、上述したステップＳ１２と同様に、プロセッサ２４は、ステップＳ５１にて決定された第２基準物体に対して、第３物体の仮想オブジェクトを表示する。
第３物体がＡＲグラス１０の視界に存在する場合（Ｓ５２，Ｙｅｓ）、上述したステップＳ１３と同様に、プロセッサ２４は、当該第３物体の内容と、第３物体の仮想オブジェクトの内容との間に差異があるか否かを判断する。
その差異がない場合（Ｓ５４，Ｎｏ）、処理は終了する。
その差異がある場合（Ｓ５４，Ｙｅｓ）、上述したステップＳ１４と同様に、プロセッサ２４は、その旨をユーザに通知する（Ｓ５５）。実施例１と同様に、通知を受けたユーザは、第３物体の仮想オブジェクトの表示を指示してもよい。仮想オブジェクトの表示がユーザによって指示された場合、プロセッサ２４は、第３物体の仮想オブジェクトを表示する。
なお、プロセッサ２４は、複数の第１基準物体の中の少なくとも１つの第１基準物体と類似の物体である第２基準物体が、ＡＲグラス１０の視界に存在するか否かを判断してもよい。第１基準物体に類似する第２基準物体が、ＡＲグラス１０の視界に存在する場合、位置関係の補正処理を実行し、第２基準物体に対して第３物体の仮想オブジェクトを表示する。
以下、図１１及び図１２を参照して、第１実施形態の具体例について説明する。図１１には、現実空間に存在する物体である実物体が模式的に示されている。ここでは一例として、ＡＲグラス１０、ノート型ＰＣ２６及び付箋２８が、実物体として示されている。図１２には、ＡＲグラス１０の表示画面３２が示されている。
図１１に示すように、例えば、ＡＲグラス１０のカメラ１４によって、ノート型ＰＣ２６と付箋２８とが撮影される。ノート型ＰＣ２６には付箋２８が接して設けられている。ノート型ＰＣ２６が第１基準物体として認識され、ノート型ＰＣ２６の画像がメモリ２２に記憶される。また、付箋２８が第３物体として認識され、付箋２８の画像がメモリ２２に記憶され、付箋２８の仮想オブジェクトが生成され、その仮想オブジェクトがメモリ２２に記憶される。例えば、ユーザによってノート型ＰＣ２６が第１基準物体として指定され、付箋２８が第３物体として指定される。
図１２に示すように、例えば、ユーザが移動する等して、ＡＲグラス１０の視界にノート型ＰＣ４２が存在し、ノート型ＰＣ４２がカメラ１４によって撮影されたものとする。ノート型ＰＣ４２は実物体である。ノート型ＰＣ４２は、第１基準物体であるノート型ＰＣ２６とは異なる物体であるが、ノート型ＰＣ２６と同じ種類の物体、つまり、ノート型ＰＣ２６に類似する物体である。ノート型ＰＣ４２には付箋２８が接して設けられていない。ノート型ＰＣ４２は、ノート型ＰＣ２６と同じ種類の物体であるため、プロセッサ２４は、ノート型ＰＣ４２を第２基準物体として認識する。ノート型ＰＣ４２に付箋２８が接して設けられていないため、つまり、第３物体である付箋２８がＡＲグラス１０の視界に存在しないため、プロセッサ２４は、付箋２８の仮想オブジェクト４４を表示画面３２に表示する。このとき、プロセッサ２４は、上述したステップＳ３２の補正処理を実行することで、ノート型ＰＣ２６と付箋２８との間の相対的な位置関係を、ノート型ＰＣ４２と仮想オブジェクト４４との間の相対的な位置関係に反映させる。
以下、図１３及び図１４を参照して、補正処理について詳しく説明する。図１３には、現実空間に存在する物体である実物体が模式的に示されている。ここでは一例として、第１基準物体であるノート型ＰＣ２６と、第３物体である付箋２８が、実物体として示されている。図１４には、実物体と仮想オブジェクトが模式的に示されている。ここでは、一例として、第２基準物体であるノート型ＰＣ４２と、付箋２８の仮想オブジェクト４４が示されている。ＡＲグラス１０のカメラ１４によって、第２基準物体であるノート型ＰＣ４２が撮影されて、付箋２８の仮想オブジェクト４４がノート型ＰＣ４２に対して表示される。付箋２８は、ノート型ＰＣ２６のディスプレイに接して設けられている。
まず、カメラ１４によってノート型ＰＣ２６と付箋２８が撮影され、プロセッサ２４は、その撮影によって生成された撮影画像から、付箋２８が接して設けられている箇所（例えば、ノート型ＰＣ２６のディスプレイ）の形状（例えば矩形）を抽出し、付箋２８の形状（例えば矩形）を抽出する。
次に、プロセッサ２４は、ノート型ＰＣ２６と付箋２８とを表す撮影画像上において、ノート型ＰＣ２６のディスプレイと付箋２８のそれぞれに対して基準点を設定する。例えば、ディスプレイの右側に付箋２８が設けられている場合、プロセッサ２４は、ディスプレイの右上頂点を基準点Ａ１として設定し、付箋２８の左上頂点を基準点Ｂ１（ｘ１，ｙ１）として設定する。基準点Ｂ１の座標ｘ１は、基準点Ａ１を原点とした場合のｘ軸上の座標であり、基準点Ｂ１の座標ｙ１は、基準点Ａ１を原点とした場合のｙ軸上の座標である。なお、ｘ軸及びｙ軸は互いに直交し、撮影画像上に定義される座標である。
また、プロセッサ２４は、ノート型ＰＣ２６と付箋２８とを表す撮影画像に基づいて、ノート型ＰＣ２６のディスプレイのＹ軸の長さＬ１と、ディスプレイのＸ軸の長さＬ２とを算出する。
次に、カメラ１４によってノート型ＰＣ４２が撮影され、プロセッサ２４は、その撮影によって生成された撮影画像上において、ノート型ＰＣ４２の基準点を設定する。例えば、プロセッサ２４は、ノート型ＰＣ４２のディスプレイの右上頂点を基準点Ａ２として設定する。
また、プロセッサ２４は、ノート型ＰＣ４２を表す撮影画像に基づいて、ノート型ＰＣ４２のディスプレイのＹ軸の長さＬ３と、ディスプレイのＸ軸の長さＬ４とを算出する。
次に、プロセッサ２４は、以下の式に従って、基準点Ａ２を原点とした場合の仮想オブジェクトの基準点Ｂ２（ｘ２，ｙ２）を算出する。基準点Ｂ２は、付箋２８の基準点Ｂ１に対応する基準点である。
ｘ２＝Ｌ３／Ｌ１×ｘ１
ｙ２＝Ｌ４／Ｌ２×ｙ１
ここで、基準点Ｂ２の座標ｘ２は、基準点Ａ２を原点とした場合のｘ軸上の座標であり、基準点Ｂ２の座標ｙ２は、基準点Ａ２を原点とした場合のｙ軸上の座標である。
また、プロセッサ２４は、位置関係と同様に、第１基準物体と第３物体との間の相対的な大きさの関係を、第２基準物体と仮想的に表示されている第３物体（つまり仮想オブジェクト）との間の相対的な大きさの関係に反映させてもよい。上記の具体例を用いて説明すると、プロセッサ２４は、基準点Ｂ２を左上端として、付箋２８の大きさのα倍の大きさを有する仮想オブジェクト４４を表示画面３２に表示する。
αは、（Ｌ４／Ｌ２）及び（Ｌ３／Ｌ１）のうちの小さい方の値である。
αをこのように定義することで、第１基準物体と第３物体との間の相対的な大きさの関係が維持されつつ、第２基準物体に対して仮想オブジェクトが表示される。
また、第３物体の大きさが閾値未満である場合、プロセッサ２４は、第１基準物体と第３物体との間の相対的な大きさの関係を、第２基準物体と第３物体の仮想オブジェクトとの間の相対的な大きさの関係に反映させなくてもよい。この場合、プロセッサ２４は、予め定められた最小限の大きさを有する仮想オブジェクトを表示してもよいし、撮影された第３物体の大きさの絶対値を有する仮想オブジェクトを表示してもよい。
＜第２実施形態＞
以下、図１５を参照して、第２実施形態に係る情報処理システムについて説明する。図１５には、第２実施形態に係る情報処理システムのハードウェアの構成の一例が示されている。
第２実施形態に係る情報処理システムは、ＡＲグラス１０と情報処理装置１６に加えて、更に、カメラ４６とサーバ４８とを含む。なお、情報処理装置１６はＡＲグラス１０に組み込まれてもよいし、サーバ４８に組み込まれてもよい。カメラ４６は、例えば、予め定められた場所に設置された定点観測用のカメラである。
以下、図１６を参照して、第１基準物体と第３物体のそれぞれの画像を取得する処理について説明する。図１６には、その処理を示すフローチャートが示されている。
まず、カメラ４６とユーザＩＤとが紐付けられて、サーバ４８にて管理される（Ｓ６０）。この紐付けは予め行われる。なお、その紐付けは情報処理装置１６にて管理されてもよい。
次に、カメラ４６によって第１基準物体が撮影され、第１基準物体の画像が取得される（Ｓ６１）。例えば、第１基準物体の画像は、サーバ４８に記憶される。なお、第１基準物体の画像は、情報処理装置１６のメモリ２２に記憶されてもよい。
次に、プロセッサ２４は、第１基準物体の画像に基づいて、第１基準物体の種類を特定する（Ｓ６２）。第１基準物体の画像がサーバ４８に記憶されている場合、プロセッサ２４は、サーバ４８から第１基準物体の画像を取得して、第１基準物体の種類を特定する。プロセッサ２４は、その種類を示す情報をユーザＩＤに紐付ける。その種類を示す情報は、サーバ４８に記憶されてもよいし、情報処理装置１６のメモリ２２に記憶されてもよい。
次に、カメラ４６によって第３物体が撮影され、第３物体の画像が取得される（Ｓ６３）。第３物体の画像は、サーバ４８に記憶されてもよいし、情報処理装置１６のメモリ２２に記憶されてもよい。また、第３物体の画像に基づいて、第３物体の仮想オブジェクトが生成される。その生成処理は、プロセッサ２４によって実行されてもよいし、サーバ４８によって実行されてもよい。仮想オブジェクトはサーバ４８に記憶される。
次に、プロセッサ２４は、カメラ４６による撮影によって生成された撮影画像を取得し、その撮影画像に基づいて、第１基準物体と第３物体との間の相対的な位置関係を特定する（Ｓ６４）。
各情報（例えば撮影画像、第１基準物体の画像、第３物体の画像、仮想オブジェクト、及び、相対的な位置関係を示す情報）は、例えば定期的にサーバ４８に送信されて記憶される（Ｓ６５）。
以下、図１７を参照して、仮想オブジェクトを表示する処理について説明する。図１７には、その処理を示すフローチャートが示されている。
ユーザがログインしており、ＡＲグラス１０を装着している場合、以下の処理が実行される。ここでのログインは、例えば、ＡＲグラス１０、情報処理装置１６又はサーバ４８等へのログインである。
ＡＲグラス１０のカメラ１４によって撮影が行われ、プロセッサ２４は、カメラ１４による撮影によって生成された撮影画像を解析することで、第１基準物体と同じ種類の物体である第２基準物体がＡＲグラス１０の視界に存在するか否かを判断する。
第１基準物体と同一の種類の第２基準物体が、ＡＲグラス１０の視界に存在しない場合（Ｓ７０，Ｎｏ）、処理は終了する。
第１基準物体と同一の種類の第２基準物体が、ＡＲグラス１０の視界に存在する場合（Ｓ７０，Ｙｅｓ）、プロセッサ２４は、サーバ４８から仮想オブジェクトを取得する（Ｓ７１）。
第３物体がＡＲグラス１０の視界に存在しない場合（Ｓ７２，Ｎｏ）、プロセッサ２４は、第１基準物体と同一の種類の第２基準物体を第１基準物体とみなして、上述したステップＳ３２と同様に、位置関係の補正処理を実行する（Ｓ７３）。そして、プロセッサ２４は、第１基準物体と第３物体との間の相対的な位置関係を、第２基準物体と仮想オブジェクトとの間の相対的な位置関係に反映させて、仮想オブジェクトを表示装置１２の画面上で現実空間に重畳して表示する（Ｓ７４）。
第３物体がＡＲグラス１０の視界に存在する場合（Ｓ７２，Ｙｅｓ）、プロセッサ２４は、当該第３物体の内容と、第３物体の仮想オブジェクトの内容との間に差異があるか否かを判断する。
その差異がない場合（Ｓ７５，Ｎｏ）、処理は終了する。
その差異がある場合（Ｓ７５，Ｙｅｓ）、プロセッサ２４は、上述したステップＳ１４と同様に、その旨をユーザに通知する（Ｓ７６）。実施例１と同様に、通知を受けたユーザは、第３物体の仮想オブジェクトの表示を指示してもよい。仮想オブジェクトの表示がユーザによって指示された場合、プロセッサ２４は、第３物体の仮想オブジェクトを表示する。
以下、図１８及び図１９を参照して、第２実施形態の具体例について説明する。図１８には、現実空間に存在する物体である実物体が模式的に示されている。ここでは一例として、カメラ４６、ノート型ＰＣ２６、付箋２８、机５０及び用紙５２が、実物体として示されている。図１９には、ＡＲグラス１０の表示画面３２が示されている。
図１８に示すように、例えば、カメラ４６によって、ノート型ＰＣ２６、付箋２８、机５０及び用紙５２が撮影される。この撮影場所は、例えばオフィスのデスクである。ノート型ＰＣ２６には付箋２８が接して設けられている。用紙５２は、ノート型ＰＣ２６に接触していないが、ノート型ＰＣ２６の周囲に設けられている。例えば、ノート型ＰＣ２６が第１基準物体として認識され、ノート型ＰＣ２６の画像がサーバ４８に記憶される。また、付箋２８及び用紙５２がそれぞれ第３物体として認識され、付箋２８及び用紙５２のそれぞれの画像がサーバ４８に記憶される。また、付箋２８及び用紙５２のそれぞれの仮想オブジェクトが生成され、各仮想オブジェクトがサーバ４８に記憶される。例えば、ユーザによってノート型ＰＣ２６が第１基準物体として指定され、付箋２８及び用紙５２のそれぞれが第３物体として指定される。
図１９に示すように、例えば、ユーザが自宅やカフェ等にてＡＲグラス１０を装着し、ＡＲグラス１０の視界にノート型ＰＣ４２が存在し、ノート型ＰＣ４２がＡＲグラス１０のカメラ１４によって撮影されたものとする。ノート型ＰＣ４２は実物体である。ノート型ＰＣ４２は、第１基準物体であるノート型ＰＣ２６とは異なる物体であるが、ノート型ＰＣ２６と同じ種類の物体である。ノート型ＰＣ４２には付箋２８が接して設けられておらず、ノート型ＰＣ４２の周囲に用紙５２が設けられていない。ノート型ＰＣ４２は、ノート型ＰＣ２６と同じ種類の物体であるため、プロセッサ２４は、ノート型ＰＣ４２を第２基準物体として認識する。ノート型ＰＣ４２に付箋２８が接して設けられていないため、つまり、第３物体である付箋２８がＡＲグラス１０の視界に存在しないため、プロセッサ２４は、付箋２８の仮想オブジェクト４４を表示画面３２に表示する。このとき、プロセッサ２４は、上述した補正処理を実行することで、ノート型ＰＣ２６と付箋２８との間の相対的な位置関係を、ノート型ＰＣ４２と仮想オブジェクト４４との間の相対的な位置関係に反映させる。同様に、第３物体である用紙５２がＡＲグラス１０の視界に存在しないため、プロセッサ２４は、用紙５２の仮想オブジェクト５４を表示画面３２に表示する。このとき、プロセッサ２４は、上述した補正処理を実行することで、ノート型ＰＣ２６と用紙５２との間の相対的な位置関係を、ノート型ＰＣ４２と仮想オブジェクト５４との間の相対的な位置関係に反映させる。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
１０ ＡＲグラス、１２ 表示装置、１４ カメラ、１６ 情報処理装置。

Claims (13)

  1. プロセッサを有し、
    前記プロセッサは、
    基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、前記第２基準物体に対して、前記第１基準物体と共に予め認識された第３物体を仮想的に表示する、
    情報処理装置。
  2. 前記プロセッサは、
    前記第１基準物体と前記第３物体との間の相対的な位置関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な位置関係に反映させる、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記プロセッサは、
    前記第１基準物体と前記第３物体との間の相対的な大きさの関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な大きさの関係に反映させる、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  4. 前記プロセッサは、
    前記第３物体の大きさが閾値未満である場合、前記第１基準物体と前記第３物体との間の相対的な大きさの関係を、前記第２基準物体と仮想的に表示されている前記第３物体との間の相対的な大きさの関係に反映させない、
    ことを特徴とする請求項３に記載の情報処理装置。
  5. 前記第３物体は、前記第１基準物体に接している物体である、
    ことを特徴とする請求項１から請求項４のいずれか一項に記載の情報処理装置。
  6. 前記プロセッサは、
    前記第２基準物体と共に前記第３物体が認識されない場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、
    ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
  7. 前記プロセッサは、
    前記第２基準物体と共に前記第３物体が認識された場合、前記第２基準物体に対して仮想的に前記第３物体を表示しない、
    ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
  8. 前記プロセッサは、
    前記第２基準物体と共に認識された前記第３物体の内容が、前記第１基準物体と共に認識された前記第３物体の内容と異なっている場合、その旨をユーザに通知する、
    ことを特徴とする請求項１から請求項７のいずれか一項に記載の情報処理装置。
  9. 前記プロセッサは、
    前記第３物体を仮想的に表示する前に、前記第２基準物体と共に認識された前記第３物体の内容が、前記第１基準物体と共に認識された前記第３物体の内容と異なっている旨を通知し、
    仮想的に前記第３物体を表示することがユーザから指示された場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 前記第１基準物体と類似する第２基準物体は、前記第１基準物体と同一の種類の物体である、
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
  11. 前記第３物体は、複数の第１基準物体と共に予め認識され、
    前記プロセッサは、
    前記複数の第１基準物体の中の少なくとも１つの第１基準物体と同一又は類似の第２基準物体が認識された場合、前記第２基準物体に対して仮想的に前記第３物体を表示する、
    ことを特徴とする請求項１から請求項１０のいずれか一項に記載の情報処理装置。
  12. 前記プロセッサは、
    前記第１基準物体と共に複数の第３物体が認識された場合において、前記第１基準物体と同一又は類似の前記第２基準物体が認識された場合、仮想的に表示される第３物体を選択するための前記複数の第３物体の一覧を表示する、
    ことを特徴とする請求項１から請求項１１のいずれか一項に記載の情報処理装置。
  13. コンピュータに、
    基準となる物体である第１基準物体と同一又は類似の物体である第２基準物体が認識された場合、前記第２基準物体に対して、前記第１基準物体と共に予め認識された第３物体を仮想的に表示させる、
    プログラム。
JP2020039187A 2020-03-06 2020-03-06 情報処理装置及びプログラム Pending JP2021140085A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020039187A JP2021140085A (ja) 2020-03-06 2020-03-06 情報処理装置及びプログラム
US17/060,410 US11093804B1 (en) 2020-03-06 2020-10-01 Information processing apparatus and non-transitory computer readable medium storing program
US17/375,507 US20210342657A1 (en) 2020-03-06 2021-07-14 Information processing apparatus and non-transitory computer readble medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020039187A JP2021140085A (ja) 2020-03-06 2020-03-06 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2021140085A true JP2021140085A (ja) 2021-09-16

Family

ID=77273943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020039187A Pending JP2021140085A (ja) 2020-03-06 2020-03-06 情報処理装置及びプログラム

Country Status (2)

Country Link
US (2) US11093804B1 (ja)
JP (1) JP2021140085A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220045799A (ko) 2020-10-06 2022-04-13 삼성전자주식회사 전자 장치 및 그 동작 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158007B2 (ja) 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9595115B1 (en) * 2011-09-19 2017-03-14 Amazon Technologies, Inc. Visualizing change in augmented reality environments
JP5510529B2 (ja) 2012-11-16 2014-06-04 ソニー株式会社 情報処理装置、記憶媒体、情報処理システム、および情報処理方法、並びにプログラム
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
JP5472509B2 (ja) 2013-04-11 2014-04-16 ソニー株式会社 情報処理装置、および情報処理方法、並びに情報記録媒体
US9824437B2 (en) * 2015-12-11 2017-11-21 Daqri, Llc System and method for tool mapping
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
WO2019133849A1 (en) * 2017-12-29 2019-07-04 Ebay Inc. Computer vision and image characteristic search
US10872459B2 (en) * 2019-02-05 2020-12-22 X Development Llc Scene recognition using volumetric substitution of real world objects
US11042747B2 (en) * 2019-10-02 2021-06-22 Disney Enterprises, Inc. Masking method for augmented reality effects
US11574392B2 (en) * 2020-02-27 2023-02-07 Adobe Inc. Automatically merging people and objects from multiple digital images to generate a composite digital image

Also Published As

Publication number Publication date
US20210342657A1 (en) 2021-11-04
US11093804B1 (en) 2021-08-17
US20210279531A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US10832448B2 (en) Display control device, display control method, and program
US11630519B2 (en) Augmented reality head gesture recognition systems
US9940720B2 (en) Camera and sensor augmented reality techniques
US9024842B1 (en) Hand gestures to signify what is important
US10642348B2 (en) Display device and image display method
JP2017199379A (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US20160012612A1 (en) Display control method and system
JP2013235373A (ja) 画像処理装置、投影制御方法及びプログラム
KR102182162B1 (ko) Hmd 및 그 제어 방법
JP7005161B2 (ja) 電子機器及びその制御方法
TW201331824A (zh) 顯示控制設備，顯示控制方法，及程式
CN111448542A (zh) 在模拟现实环境中显示应用程序
US10990240B1 (en) Artificial reality system having movable application content items in containers
JP2018005477A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2013235374A (ja) 画像処理装置、投影制御方法及びプログラム
CN116235129A (zh) 用于扩展现实的混淆控制界面
US9406136B2 (en) Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person
JP2021140085A (ja) 情報処理装置及びプログラム
JP2016021096A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018139073A1 (ja) 表示制御装置、第２の表示装置、表示制御装置の制御方法、および制御プログラム
US20200241633A1 (en) Display device and display device control method
JP6374203B2 (ja) 表示システム及びプログラム
JP6308842B2 (ja) 表示システム及びプログラム
JP2011081557A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240514