JP2017068601A - AR information display device - Google Patents
AR information display device Download PDFInfo
- Publication number
- JP2017068601A JP2017068601A JP2015193506A JP2015193506A JP2017068601A JP 2017068601 A JP2017068601 A JP 2017068601A JP 2015193506 A JP2015193506 A JP 2015193506A JP 2015193506 A JP2015193506 A JP 2015193506A JP 2017068601 A JP2017068601 A JP 2017068601A
- Authority
- JP
- Japan
- Prior art keywords
- information
- screen
- display
- dedicated
- dedicated display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、操作支援用の情報を拡張現実により提供するAR情報表示装置に係り、特に、複数の対象物のAR情報を、操作者の視認性や操作性を損なうことなく、かつ対応する対象物との関連性を視覚的に容易に認識できるようにスクリーン上にまとめて表示するAR情報表示装置に関する。 The present invention relates to an AR information display device that provides operation support information in augmented reality, and in particular, targets AR information of a plurality of objects without compromising operator visibility and operability. The present invention relates to an AR information display device that collectively displays on a screen so that relevance to objects can be easily recognized visually.
現実環境に対してCGなどの仮想物体を位置合わせし、重畳表示することで情報を付加する拡張現実感（AR）が様々な分野で応用されている。 Augmented reality (AR), which adds information by aligning virtual objects such as CG with the real environment and superimposing them, is applied in various fields.
特許文献１には、光学式シースルー型HMD（Head Mounted Display）に撮像素子を取り付けてユーザの視界に映るマーカを撮像し、当該マーカに紐付いたAR情報をHMDスクリーンに表示する際、ユーザの頭の向きと連動してその画角が変動すると、撮像したマーカの傾きや位置に応じてAR情報の表示位置や傾きを精度高く特定する技術が開示されている。 In Patent Document 1, an image sensor is attached to an optical see-through HMD (Head Mounted Display) to image a marker reflected in the user's field of view, and when the AR information associated with the marker is displayed on the HMD screen, When the angle of view fluctuates in conjunction with the orientation of the image, a technique for accurately specifying the display position and inclination of the AR information according to the inclination and position of the captured marker is disclosed.
一方、設備機器を操作する現場では、常に同じ手順や留意のもとで操作等を行なうわけではないので、操作者はしばしば操作内容を調査し、確認することになる。しかしながら、紙媒体のマニュアルを参照する場合には手を使ってページをめくることになるため、操作者は一時的に操作を中断しなければならない。 On the other hand, at the site where the equipment is operated, the operation is not always performed under the same procedure and attention, so the operator often checks and confirms the operation content. However, when referring to the manual of the paper medium, the page is turned by hand, so the operator must temporarily stop the operation.
ここで、ハンズフリーの光学式シースルー型HMDと拡張現実技術とを組み合わせ、操作支援内容をAR情報として操作者の視界内に重畳表示すれば、操作者は視線移動のみで操作支援内容を読めるので操作を中断する必要がなくなる。 Here, by combining hands-free optical see-through HMD and augmented reality technology and displaying the operation support contents as AR information in the operator's field of view, the operator can read the operation support contents only by moving the line of sight. There is no need to interrupt the operation.
しかしながら、拡張現実技術を利用すると、カメラと対象物との相対的な位置、姿勢の変化に応じてAR情報の表示位置、姿勢も変化するため、対象物の位置、姿勢によってはAR情報が対象物に重なって表示されてしまい、対象物が見えにくくなる場合がある。 However, if augmented reality technology is used, the display position and orientation of AR information change according to changes in the relative position and orientation of the camera and the object. In some cases, the object is displayed overlapping the object, making it difficult to see the object.
このような技術課題に対して、本発明の発明者等は、AR情報を対象物に重畳表示する際、その姿勢を一定の姿勢に整えたり、対象物を遮蔽しないように表示位置を移動させたりすることで、対象物およびそのAR情報の視認性を高める技術を発明し、特許出願（特許文献２）した。 In response to such a technical problem, the inventors of the present invention, when overlaying AR information on an object, adjust the posture to a certain posture or move the display position so as not to shield the object. To invent a technique for improving the visibility of the object and its AR information, and filed a patent application (Patent Document 2).
特許文献２によれば、カメラと対象物との相対的な位置、姿勢の変化に伴ってAR情報の表示位置や姿勢が変化することにより、その視認性や対象物に対する操作性が損なわれるような場合でも、AR情報の表示位置や姿勢が操作者にとって視認性、操作性の良い位置、姿勢に自動的に補正される。 According to Patent Document 2, the visibility and operability with respect to an object are impaired by the change in the display position and attitude of the AR information in accordance with the change in the relative position and attitude between the camera and the object. Even in such a case, the display position and posture of the AR information are automatically corrected to a position and posture with good visibility and operability for the operator.
しかしながら、特許文献２では対象物のAR情報が当該対象物の近傍に表示されるようにその表示位置が探索されるので、複数の対象物が近接配置されていると、操作者の視認性や操作性が損なわれないように、AR情報の全てを各対象物の近傍あるいは各対象物との対応関係を容易に認識できる位置に、他の対象物やAR情報を遮蔽しないように表示することは難しかった。そして、このような技術課題は対象物がより小さく、対象物同士の間隔がより狭くなる場合に特に顕著であった。 However, in Patent Document 2, the display position is searched so that the AR information of the target object is displayed in the vicinity of the target object. Therefore, when a plurality of target objects are arranged close to each other, In order not to impair operability, display all AR information in the vicinity of each object or at a position where the correspondence with each object can be easily recognized without blocking other objects or AR information. Was difficult. And such a technical subject was especially remarkable when a target object is smaller and the space | interval of target objects becomes narrower.
例えば、一つのシャーシに複数のブレードを装着して構成されるハイエンドスイッチ等では、各ブレードのみならず当該ブレードに装備された多数の小さなイーサネット（登録商標）ポートやLEDランプ等も操作の対象物となり得る。 For example, in a high-end switch configured by mounting multiple blades in one chassis, not only each blade but also many small Ethernet (registered trademark) ports and LED lamps equipped on the blade are objects to be operated. Can be.
ここで、複数のブレードや複数のイーサネット(登録商標)ポート等が対象物として指定されると、主に表示スペース上の制約から、これらのAR情報を各対応物の近傍あるいは各対象物との対応関係を容易に認識できる位置に、操作者の視認性や操作性を損なうことなく表示することは困難であった。 Here, when multiple blades, multiple Ethernet (registered trademark) ports, etc. are specified as objects, these AR information is used in the vicinity of each corresponding object or with each object mainly due to restrictions on display space. It has been difficult to display at a position where the correspondence can be easily recognized without impairing the visibility and operability of the operator.
本発明の目的は、上記の技術課題を全て解決し、複数の対象物のAR情報を、操作者の視認性や操作性が損なわれることなく、各対象物とそのAR情報との対応関係を視覚的に容易に認識できるようにスクリーン上に一覧表示するAR情報表示装置を提供することにある。 The object of the present invention is to solve all of the above technical problems, and to determine the correspondence between each object and its AR information without losing the visibility and operability of the operator. To provide an AR information display device that displays a list on a screen so that it can be easily recognized visually.
上記の目的を達成するために、本発明は、複数の対象物のAR情報をスクリーンに表示するAR情報表示装置において、以下のような構成を具備した点に特徴がある。 In order to achieve the above object, the present invention is characterized in that an AR information display device for displaying AR information of a plurality of objects on a screen has the following configuration.
(1)カメラの画像から認識できた対象物とカメラとの相対位置および姿勢を推定結果に基づいて各対象物のスクリーン上の位置を計算する手段と、各対象物のAR情報を取得する手段と、各対象物の分布に基づいて専用表示画面の配列を決定する手段と、各専用表示画面を配置するスクリーン上のスペースを決定する手段と、決定されたスペースに決定された配列で配置される各専用表示画面にAR情報を表示する手段とを具備した。 (1) Means for calculating the position on the screen of each object based on the estimation result of the relative position and orientation between the object recognized from the camera image and the camera, and means for obtaining the AR information of each object And means for determining the arrangement of the dedicated display screen based on the distribution of each object, means for determining the space on the screen for arranging each dedicated display screen, and the arrangement determined in the determined space Means for displaying AR information on each dedicated display screen.
(2) 対象物またはそのAR情報のカテゴリごとに、対応する専用表示画面の表示仕様を設定する手段を設けた。表示仕様としては、対象物またはそのAR情報のカテゴリごとに、専用表示画面のサイズ、形状、外枠の色および／または外枠の線種を設定できるようにした。 (2) A means for setting the display specifications of the corresponding dedicated display screen is provided for each target object or its AR information category. As the display specifications, the size, shape, outer frame color and / or outer frame line type of the dedicated display screen can be set for each object or its AR information category.
(3) 各対象物とそのAR情報を表示する専用表示画面との対応関係をスクリーン上で可視化する手段を設けた。この可視化は、各対象物とそのAR情報を表示する専用表示画面とを接続する紐付け線を表示したり、あるいは各対象物とそのAR情報を表示する各専用表示画面とに同一の識別子を表示したりすることで実現できるようにした。 (3) A means for visualizing the correspondence between each object and a dedicated display screen for displaying the AR information on the screen is provided. This visualization displays a tie line connecting each object and a dedicated display screen that displays the AR information, or assigns the same identifier to each object and each dedicated display screen that displays the AR information. It can be realized by displaying.
(4) カメラ画像から認識できた複数の対象物の一部をAR情報の表示対象として選別し、選別された複数の対象物のAR情報のみが表示されるようにした。 (4) A part of the plurality of objects recognized from the camera image is selected as an AR information display target, and only the AR information of the selected objects is displayed.
(5) 操作者がAR情報の表示を所望する対象物を指定する行為を識別して、それが特徴点集合の対応点マッチングにより認識できる対象物を指定するものであるか否かを判定し、この判定結果に応じて対象物の認識方法を異ならせるようにした。 (5) The operator identifies an action that specifies an object for which AR information is desired to be displayed, and determines whether or not it is to specify an object that can be recognized by corresponding point matching of a feature point set. The object recognition method is made different depending on the determination result.
(6) 専用表示画面の配列を、各対象物がスクリーン上で左右方向に分布していれば水平方向に決定し、各対象物がスクリーン上で上下方向に分布していれば垂直方向に決定するようにした。 (6) The layout of the dedicated display screen is determined in the horizontal direction if each object is distributed in the horizontal direction on the screen, and in the vertical direction if each object is distributed in the vertical direction on the screen. I tried to do it.
(7) 専用表示画面の配置スペースを、スクリーン上で対象物の占有割合がより低い領域のスクリーン端部に決定するようにした。例えば、専用表示画面の配列が水平方向に決定されていれば、スクリーンの上半部および下半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定し、専用表示画面の配列が垂直方向に決定されていれば、スクリーンの右半部および左半分のうち対象物の占有割合が低い方のスクリーン端部を表示スペースに決定するようにした。 (7) The layout space of the dedicated display screen is determined at the screen edge of the area where the occupation ratio of the object is lower on the screen. For example, if the arrangement of the dedicated display screen is determined in the horizontal direction, the screen end of the upper half and the lower half of the screen, which has the lower proportion of the object, is determined as the display space. If the arrangement is determined in the vertical direction, the screen end portion of the right half portion and the left half portion of the screen with the lower occupation ratio of the object is determined as the display space.
(8) 複数の専用表示画面を一方の端部側に詰めて位置決めする手段を設けた。例えば、専用表示画面の配列が水平方向であれば、左右の各端部に位置する対象物のうちスクリーン端部に近い対象物側へ専用表示画面を詰めて位置決めするようにした。また、専用表示画面の配列が垂直方向であれば、上下の各端部に位置する対象物のうちスクリーン端部に近い対象物側へ専用表示画面を詰めて位置決めするようにした。 (8) A means for positioning a plurality of dedicated display screens on one end side is provided. For example, when the arrangement of the dedicated display screens is horizontal, the dedicated display screen is packed and positioned on the object side close to the screen edge part among the objects located at the left and right ends. Further, if the arrangement of the dedicated display screens is vertical, the dedicated display screens are packed and positioned on the object side close to the screen edge part among the objects located at the upper and lower ends.
(9) 各対象物にカテゴリの異なる複数種のAR情報を登録し、各カテゴリのAR情報は、例えばそれぞれの専用表示画面が視覚的に最前列から奥側へ重ねて配置され、対象物ごとに所定の操作に応じて専用表示画面が切り替わるように、そのカテゴリごとに異なる形式で表示されるようにした。 (9) Register multiple types of AR information with different categories for each object. For each category of AR information, for example, each dedicated display screen is visually arranged from the front row to the back side. Each category is displayed in a different format so that the dedicated display screen is switched according to a predetermined operation.
(10) AR情報やその専用表示画面の表示仕様が変化しても、その変化が所定の要件を満たすほどの大きなものでなければ、それまでの表示仕様が維持されるようにした。 (10) Even if the display specifications of AR information and its dedicated display screen change, if the change is not large enough to satisfy the predetermined requirements, the display specifications up to that point are maintained.
(11) 専用表示画面の配置の変化としては現れない潜在的な状況変化を検知し、専用表示画面の配置の変化および潜在的な状況変化を指標として表示の更新の要否を判断するようにした。 (11) Detect potential changes that do not appear as changes in the layout of the dedicated display screen, and determine whether the display needs to be updated using changes in the layout of the dedicated display screen and potential status changes as indicators. did.
本発明によれば、以下のような効果が達成される。
(1) 請求項１の発明によれば、複数の対象物のAR情報をまとめて当該複数の対象物の分布に応じた配列でスクリーン上の専用表示画面内に表示できる。したがって、スペース上の制約等で、複数の対象物とそれらのAR情報とを近接配置できない場合でも、対象物とそのAR情報との対応関係を、操作性や視認性を損なうことなく、各対象物の分布と専用表示画面の配列との類似性に基づいて視覚的に容易に認識できるようになる。
According to the present invention, the following effects are achieved.
(1) According to the invention of claim 1, the AR information of a plurality of objects can be collectively displayed in a dedicated display screen on the screen in an arrangement corresponding to the distribution of the plurality of objects. Therefore, even if multiple objects and their AR information cannot be placed close to each other due to space constraints, etc., the correspondence between the objects and their AR information can be set for each object without impairing operability and visibility. Based on the similarity between the distribution of objects and the arrangement of the dedicated display screen, it can be easily recognized visually.
(2) 請求項２および３の発明によれば、対象物またはそのAR情報のカテゴリに応じて、専用表示画面の表示仕様を異なるものとできるので、対象物やAR情報のカテゴリの同異を視覚的に簡単に認識できるようになる。 (2) According to the inventions of claims 2 and 3, the display specifications of the dedicated display screen can be different depending on the target object or its AR information category. It becomes easy to recognize visually.
(3) 請求項４ないし６の発明よれば、複数の対象物とそのAR情報を表示する各専用表示画面との対応関係をスクリーン上で可視化できるので、対象物とそのAR情報との対応関係を更に明確に認識できるようになる。 (3) According to the inventions of claims 4 to 6, since the correspondence between a plurality of objects and each dedicated display screen for displaying the AR information can be visualized on the screen, the correspondence between the object and the AR information is provided. Can be recognized more clearly.
(4) 請求項７，８の発明によれば、AR情報を表示する対象物を選別できるので、操作者が所望する対象物、あるいは操作の進行状況や対象物の状態に応じて必要な対象物のAR情報のみを表示できるようになる。 (4) According to the inventions of claims 7 and 8, since the target for displaying the AR information can be selected, the target desired by the operator, or the target required according to the progress of the operation and the state of the target Only AR information of objects can be displayed.
(5) 請求項９，１０の発明によれば、操作者がAR情報の表示を所望する対象物を指定する行為を識別して、それが特徴点集合の対応点マッチングにより認識できる対象物を指定するものであるか否かを判定し、この判定結果に応じて対象物の認識方法を異ならせることができる。したがって、対象物の大きさが、特徴点集合の対応点マッチングによりに認識できるサイズであるか否かに関わらず、あらゆる対象物を自動的に認識できるようになる。 (5) According to the inventions of claims 9 and 10, an operator identifies an object that specifies an object for which AR information is desired to be displayed, and an object that can be recognized by corresponding point matching of a feature point set. It can be determined whether or not the object is specified, and the object recognition method can be varied according to the determination result. Therefore, any object can be automatically recognized regardless of whether or not the size of the object is a size that can be recognized by matching corresponding points of the feature point set.
(6) 請求項１１の発明によれば、指定された複数の対象物が左右方向に分布していればそのAR情報が水平方向に配列され、複数の対象物が上下方向に分布していればそのAR情報が垂直方向に配列されるように、各専用表示画面が配列されるので、複数の対象物とそのAR情報との対応関係を容易に認識できるようになる。 (6) According to the invention of claim 11, if a plurality of designated objects are distributed in the left-right direction, the AR information is arranged in the horizontal direction, and the plurality of objects are distributed in the up-down direction. For example, since the dedicated display screens are arranged so that the AR information is arranged in the vertical direction, the correspondence between a plurality of objects and the AR information can be easily recognized.
(7) 請求項１２ないし１４の発明よれば、AR情報が対象物の占有割合の低いスクリーン上の領域の端部に表示されるように各専用表示画面が配列されるので、対象物とAR情報との重なりを回避できる可能性を高くできるのみならず、専用表示画面が例えばスクリーン中央に配置されてスクリーンが小さな複数の領域に分断されてしまうことを防止できるので、スクリーンの有効利用が可能になる。 (7) According to the inventions of claims 12 to 14, the dedicated display screens are arranged so that the AR information is displayed at the end of the area on the screen where the occupation ratio of the object is low. Not only can the possibility of avoiding overlap with information be increased, but also the dedicated display screen can be placed in the center of the screen, for example, to prevent the screen from being divided into multiple small areas, enabling effective use of the screen become.
(8) 請求項１５ないし１７の発明によれば、AR情報が対象物の表示位置の偏りに応じて表示されるように各専用表示画面が配列される。したがって、複数の対象物とそのAR情報との対応関係を更に容易に認識できる可能性を更に高くできる。 (8) According to the inventions of claims 15 to 17, the dedicated display screens are arranged so that the AR information is displayed according to the deviation of the display position of the object. Therefore, it is possible to further increase the possibility of more easily recognizing the correspondence between a plurality of objects and their AR information.
(9) 請求項１８，１９の発明によれば、対象物ごとにカテゴリの異なる複数種のAR情報が登録されている場合でも、各AR情報をそのカテゴリごとに区別して表示できるので、その視認性が向上する。 (9) According to the inventions of claims 18 and 19, even when a plurality of types of AR information having different categories for each object are registered, each AR information can be displayed separately for each category. Improves.
(10) 請求項２０の発明によれば、AR情報そのもの、または対象物の配置方向や端部の位置、スクリーン上の対象物の占有領域といった、専用表示画面の表示仕様が変化しても、その変化が所定の要件を満たさなければ、それまでの表示仕様が維持されるので、AR情報の表示仕様が頻繁に変更されることによる視認性の低下を防止できるようになる。 (10) According to the invention of claim 20, even if the display specifications of the dedicated display screen, such as the AR information itself, the arrangement direction of the object, the position of the end, the occupied area of the object on the screen, or the like changes, If the change does not satisfy the predetermined requirement, the display specifications up to that point are maintained, so that it is possible to prevent a decrease in visibility due to frequent changes in the AR information display specifications.
(11) 請求項２２，２３の発明によれば、専用表示画面の位置の変化としては表れなくても、操作者の視認性や操作性の観点からは表示を更新することが望ましい状況では表示が更新されるので、操作者の視認性や操作性を更に向上させることができるようになる。 (11) According to the inventions of claims 22 and 23, even if it does not appear as a change in the position of the dedicated display screen, it is displayed in a situation where it is desirable to update the display from the viewpoint of operator visibility and operability. Therefore, the visibility and operability of the operator can be further improved.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るAR情報表示装置の主要部の構成を示した図である。ここでは操作支援に好適なハンズフリーの光学式シースルー型HMDへの適用を例にして説明するが、スマートフォン、タブレット端末、光学式シースルー型以外のHMDあるいはPC端末などの他のモバイル端末や情報端末にも適用できる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing a configuration of a main part of an AR information display device according to an embodiment of the present invention. Here, the application to hands-free optical see-through type HMD suitable for operation support will be described as an example, but other mobile terminals such as smartphones, tablet terminals, HMDs other than optical see-through type or PC terminals, and information terminals It can also be applied to.
光学式シースルー型HMD１は、操作者の視線方向の映像を撮影して操作の対象物（ARオブジェクト）Objを含むカメラ画像を出力するカメラモジュール２と、対象物ObjごとにそのAR情報として、操作支援用のメッセージ、図形、イラスト、記号、動画等の操作ガイドを記憶するAR情報データベース（DB）４と、操作者が対象物のAR情報をあたかも仮想のスクリーン３上に表示されているかの様に認識するための光学系モジュール６と、複数の対象物のAR情報をスクリーン上に一覧表示しても操作性や視認性が損なわれず、かつ各対象物とそのAR情報との対応関係を操作者が容易に認識できるように、各AR情報のスクリーン３上での位置や配列等の表示仕様を制御する表示制御部５とを主要な構成としている。 The optical see-through HMD 1 is a camera module 2 that captures an image of the operator's line-of-sight direction and outputs a camera image including an operation target (AR object) Obj, and operates as AR information for each target Obj. An AR information database (DB) 4 that stores operation guides such as support messages, figures, illustrations, symbols, and videos, and the operator as if the AR information of the object is displayed on the virtual screen 3 Even if the optical system module 6 for recognizing the object and the AR information of a plurality of objects are listed on the screen, the operability and the visibility are not impaired, and the correspondence between each object and the AR information is operated. A display control unit 5 that controls display specifications such as the position and arrangement of each AR information on the screen 3 is mainly configured so that a person can easily recognize it.
前記表示制御部５は、光学式シースルー型HMD１と一体の構成でも良いし、別のモジュールとして構成しても良い。前記AR情報DB４は表示制御部５に内蔵しても良いし、あるいはネットワーク上に設けて、表示制御部５が無線通信によりネットワーク経由でAR情報を取得するように構成しても良い。 The display control unit 5 may be integrated with the optical see-through HMD 1 or may be configured as a separate module. The AR information DB 4 may be built in the display control unit 5 or may be provided on a network so that the display control unit 5 acquires the AR information via the network by wireless communication.
図２は、光学式シースルー型HMD１における表示制御の仕組みを説明するための図であり、図１と同一の符号は同一又は同等部分を表している。 FIG. 2 is a diagram for explaining the mechanism of display control in the optical see-through HMD 1, and the same reference numerals as those in FIG. 1 represent the same or equivalent parts.
光学式シースルー型HMD１では、操作者がスクリーンにおいて対象物Objを認識できる位置の近傍に、そのAR情報を当該対象物Objの姿勢に応じた姿勢で重ねて表示するために、対象物Objの3D座標が現実空間の座標系（マーカ座標系）からカメラ座標系へ変換され、さらにカメラ座標系からスクリーン座標系へ変換される。 In the optical see-through HMD 1, in order to display the AR information in a position corresponding to the posture of the object Obj in the vicinity of the position where the operator can recognize the object Obj on the screen, the 3D of the object Obj is displayed. The coordinates are converted from the coordinate system in the real space (marker coordinate system) to the camera coordinate system, and further converted from the camera coordinate system to the screen coordinate system.
ここで、対象物Objの3D座標を仮想スクリーン上の2D座標に投影する関係を3行4列の変換行列P3×4、対象物Objに対するカメラ２の位置、姿勢を表す4行4列の変換行列をW4×4とすれば、カメラ座標系における3D座標をスクリーンへ投影する変換行列はP3×4・W-1 4×4で表される。 Here, the relationship of projecting the 3D coordinates of the object Obj to the 2D coordinates on the virtual screen is a 3-by-4 transformation matrix P 3 × 4 , and the 4-row by 4-column representing the position and orientation of the camera 2 with respect to the object Obj. If the transformation matrix is W 4 × 4 , the transformation matrix for projecting 3D coordinates in the camera coordinate system onto the screen is represented by P 3 × 4 · W −1 4 × 4 .
そして、対象物Objに対するカメラ２の現在の位置、姿勢をW1とすれば、当該対象物Objを前記変換行列P3×4・W-1 4×4を用いて現実空間の座標系基準でスクリーン上に描画する射影変換行列（P3×4・W-1 4×4）・W1を用いれば、AR情報を対象物Objの位置、姿勢に応じた位置、姿勢でスクリーン上に表示できる。 If the current position and orientation of the camera 2 with respect to the object Obj is W1, the object Obj is screened on the basis of the coordinate system in the real space using the transformation matrix P 3 × 4 · W −1 4 × 4. By using the projective transformation matrix (P 3 × 4 · W −1 4 × 4 ) / W1 drawn above, AR information can be displayed on the screen in a position and orientation corresponding to the position and orientation of the object Obj.
本発明は、このようなAR技術を利用して操作者（カメラ）と対象物との相対的な位置、姿勢を認識し、これに基づいて、複数の対象物とそのAR情報との対応関係を操作者が視覚的に容易に認識でき、かつ対象物に対する操作性やAR情報の視認性が良好に保たれるように、各AR情報の表示の位置や配列を制御するものである。 The present invention recognizes the relative position and orientation of an operator (camera) and an object using such AR technology, and based on this, the correspondence between a plurality of objects and their AR information. The position and arrangement of the display of each AR information is controlled so that the operator can visually recognize the information easily and the operability with respect to the object and the visibility of the AR information are kept good.
図３は、本発明の一実施形態の動作を示したフローチャートであり、ここでは、図４に示したシャーシ型ハイエンドスイッチを操作する場合を例にして、主に前記表示制御部５の動作に注目して説明する。ハイエンドスイッチはシャーシに複数のブレードを装着して構成され、各ブレードには、その種類や機能に応じて複数のイーサネット(登録商標)ポート、LEDランプ、その他各種のスイッチやインタフェース（以下、イーサネット(登録商標)ポート等で総称する）が装備されている。 FIG. 3 is a flowchart showing the operation of the embodiment of the present invention. Here, the operation of the chassis type high-end switch shown in FIG. Pay attention to the explanation. A high-end switch is configured by mounting multiple blades on the chassis. Each blade has multiple Ethernet (registered trademark) ports, LED lamps, and other various switches and interfaces (hereinafter referred to as Ethernet ( (Registered trademark) generically named port etc.).
ステップＳ１では、カメラ２が出力するカメラ画像から抽出した特徴点集合と各対象物の3Dモデルから予め抽出されている特徴点集合との対応点マッチングにより各対象物が認識される。ステップＳ２では、前記対応点マッチングの結果に基づいて、カメラ座標をスクリーン座標に変換する変換行列が計算される。 In step S1, each object is recognized by matching corresponding points between the feature point set extracted from the camera image output by the camera 2 and the feature point set extracted in advance from the 3D model of each object. In step S2, a transformation matrix for transforming camera coordinates to screen coordinates is calculated based on the corresponding point matching result.
ステップＳ３では、認識された全ての対象物またはその一部がAR情報の表示対象として選別される。対象物の選別は、例えば操作者が対象物を指定する行為を検知して、指定された対象物を特定することで行うことができる。あるいは、認識されている各対象物の状態（形状、位置、各種ランプの点灯状態等）が操作の進行状況に応じて変化するような場合には、当該状態の認識結果に基づいて自動で行うこともできる。 In step S3, all recognized objects or a part thereof are selected as display targets for AR information. The selection of the object can be performed by, for example, detecting an act of specifying the object by the operator and specifying the specified object. Alternatively, when the state of each recognized object (shape, position, lighting state of various lamps, etc.) changes according to the progress of the operation, it is automatically performed based on the recognition result of the state. You can also
あるいは、各対象物に対する操作の順序や時間が予め設定されているのであれば、経過時間と共に各対象物が順次に選別されるようにしても良い。さらにはカメラ画像に基づいて操作者と各対象物との相対位置を計算し、操作者が所定時間以上留まっていることが検知されると、その視野内で認識されている対象物を識別して、これが選別されるようにしても良い。 Or if the order and time of operation with respect to each target object are preset, each target object may be sequentially selected with the elapsed time. Furthermore, the relative position between the operator and each object is calculated based on the camera image. When it is detected that the operator stays for a predetermined time or more, the object recognized in the field of view is identified. This may be selected.
本実施形態では、操作者が対象物を指定する行為を検知し、当該指定された対象物が選別される場合を例にして説明する。操作者が指定した対象物は、例えば操作者が対象物を指差すなどした学習済みの行為をカメラ画像内で識別することにより、あるいは操作者の視点移動を公知の手法で検知することなどにより特定できる。 In the present embodiment, an example in which the operator detects an action of specifying an object and the specified object is selected will be described. The object specified by the operator is identified by, for example, identifying a learned action in which the operator points at the object in the camera image or by detecting the operator's viewpoint movement by a known method. Can be identified.
ステップＳ４では、A系対象物およびB系対象物のいずれが指定されたのか判定される。本実施形態では、サイズが比較的大きく、その位置を特徴点集合の対応点マッチングで認識できる対象物（ここでは、ハイエンドスイッチ本体および各ブレード）がA系対象物として予め登録されており、これらを指定する行為が検知されるとステップＳ７へ進む。ステップＳ７では、操作者が指定した位置およびその近傍から抽出した特徴点集合に基づいてA系対象物およびその位置が具体的に識別される。 In step S4, it is determined which one of the A system object and the B system object is designated. In this embodiment, objects (here, the high-end switch main body and each blade) whose size is relatively large and whose position can be recognized by matching corresponding points of the feature point set are registered in advance as A-system objects. If the act of designating is detected, the process proceeds to step S7. In step S7, the A-system object and its position are specifically identified based on the position designated by the operator and the feature point set extracted from the vicinity thereof.
また、本実施形態ではサイズが比較的小さく、その位置を特徴点集合の対応点マッチングでは認識できない対象物（ここでは、各ブレードに装備されているイーサネット(登録商標)ポート等）がB系対象物として予め登録されており、これらを指定する行為が検知されるとステップＳ５へ進む。 In addition, in this embodiment, an object that is relatively small in size and whose position cannot be recognized by matching of corresponding points of a feature point set (here, Ethernet (registered trademark) port equipped on each blade) is a B system target. If it is registered in advance as an object and an act of designating these is detected, the process proceeds to step S5.
ステップＳ５では、指定位置の位置情報が前記変換行列に基づいてスクリーン座標系からモデル座標系に変換される。ステップＳ６では、変換された座標に基づいてB系対象物およびその位置が具体的に識別される。 In step S5, the position information of the designated position is converted from the screen coordinate system to the model coordinate system based on the conversion matrix. In step S6, the B system object and its position are specifically identified based on the converted coordinates.
ステップＳ８では、識別された対象物を操作者がスクリーン上で視認できる領域を囲む枠が設定され、その位置が計算される。ここでは、矩形枠が設定される場合を例にして説明する。なお、本実施形態では操作者により複数の対象物が指定されることを想定しており、指定された全ての対象物に関して上記の各処理が繰り返される。 In step S8, a frame surrounding an area where the operator can visually recognize the identified object is set, and the position is calculated. Here, a case where a rectangular frame is set will be described as an example. In the present embodiment, it is assumed that a plurality of objects are specified by the operator, and each of the above processes is repeated for all the specified objects.
図５，６は、対象物ごとに設定される矩形枠の概念を示した図であり、対象物としてA系のブレードが指定されていると、図５に示したように、指定されたブレードごとに矩形枠が設定され、その位置が計算される。これに対して、対象物としてA系のブレードおよびB系のイーサネット(登録商標)ポート等が指定されていると、図６に示したように、指定されたブレードおよびイーサネット(登録商標)ポート等ごとに矩形枠が設定され、その位置が計算される。 5 and 6 are diagrams showing the concept of a rectangular frame set for each object. When an A-system blade is designated as the object, the designated blade is shown in FIG. A rectangular frame is set for each and its position is calculated. On the other hand, when an A-type blade and a B-type Ethernet (registered trademark) port are designated as objects, the designated blade and the Ethernet (registered trademark) port, etc., as shown in FIG. A rectangular frame is set for each and its position is calculated.
ステップＳ９では、前記指定（選別）された全ての対象物に関して、そのAR情報をスクリーン上に並べて表示するために当該スクリーンの一部に設けられる矩形の画面領域（以下、専用表示画面と表現する）の表示仕様が決定される。 In step S9, a rectangular screen area (hereinafter referred to as a dedicated display screen) provided in a part of the screen for displaying the AR information side by side on the screen for all the specified (selected) objects. Display specifications are determined.
本実施形態では、指定された各対象物のAR情報をデータベース４から取得する処理（９ａ）と、各対象物のAR情報を表示する専用表示画面をスクリーン上に並べて配置する際の配列方向を決定する処理（９ｂ）と、全ての専用表示画面を前記決定された配列方向でスクリーン上に配置するためのスペースを決定する処理（９ｃ）と、全ての表示専用画面を前記決定されたスペースに前記決定された配列方向で、一方の端部に詰めて配置するための位置決め処理（９ｄ）とが実行される。 In this embodiment, the process (9a) for acquiring the AR information of each designated object from the database 4 and the arrangement direction when arranging the dedicated display screen for displaying the AR information of each object on the screen are arranged. A process for determining (9b), a process for determining a space for arranging all the dedicated display screens on the screen in the determined arrangement direction (9c), and a process for determining all the display dedicated screens to the determined space. A positioning process (9d) for arranging and arranging one end portion in the determined arrangement direction is executed.
前記配列方向決定処理（９ｂ）では、各対象物の矩形枠がスクリーン上で左右および上下のいずれの方向により拡がって分布しているかに基づいて、各対象物のAR情報を表示する専用表示画面の配列方向が決定される。 In the arrangement direction determination process (9b), a dedicated display screen for displaying the AR information of each object based on whether the rectangular frame of each object is spread and distributed in the left, right, or upper and lower directions on the screen. The arrangement direction of is determined.
本実施形態では、図７に模式的に示したように、全ての対象物の矩形枠を包含する領域を対象に、その左右方向の幅w、上下方向の幅h、矩形枠同士の左右方向の重なり幅wdの総和Σwd、および矩形枠同士の上下方向の重なり幅hdの総和Σhdを求める。そして、次式(1)が成立すれば各矩形枠が左右方向により拡がって分布していると判断し、そのAR情報を表示する専用表示画面の配列を水平方向に決定する。また、次式(2)が成立すれば各矩形枠が上下方向により拡がって分布していると判断し、そのAR情報を表示する専用表示画面の配列を垂直方向に決定する。 In the present embodiment, as schematically illustrated in FIG. 7, for a region including the rectangular frames of all objects, the horizontal width w, the vertical width h, and the horizontal direction between the rectangular frames. The total sum Σwd of the overlapping widths wd and the total sum Σhd of the overlapping widths hd of the rectangular frames in the vertical direction are obtained. If the following equation (1) is satisfied, it is determined that the rectangular frames are spread and distributed in the left-right direction, and the arrangement of the dedicated display screen displaying the AR information is determined in the horizontal direction. If the following expression (2) is satisfied, it is determined that the rectangular frames are spread and distributed in the vertical direction, and the arrangement of the dedicated display screen for displaying the AR information is determined in the vertical direction.
（Σwd／w）＜（Σhd／h）…(1) (Σwd / w) <(Σhd / h) (1)
（Σhd／h）≧（Σwd／w）…(2) (Σhd / h) ≧ (Σwd / w) (2)
例えば、前記図５に示した例であれば、各ブレードは上下方向に並んでおり、その分布が上下方向により拡がっていると判断されるので、それらのAR情報を表示する専用表示画面の配列は垂直方向に決定される。これに対して、前記図６に示した例であれば、各イーサネット(登録商標)ポート等は左右方向に並んでおり、その分布が左右方向により拡がっていると判断されるので、それらのAR情報を表示する専用表示画面の配列は水平方向に決定される。 For example, in the example shown in FIG. 5, it is determined that the blades are arranged in the vertical direction and the distribution is expanded in the vertical direction. Is determined in the vertical direction. On the other hand, in the example shown in FIG. 6, it is determined that the Ethernet (registered trademark) ports and the like are arranged in the left-right direction, and the distribution is expanded in the left-right direction. The arrangement of the dedicated display screen for displaying information is determined in the horizontal direction.
前記配置スペース決定処理（９ｃ）では、図８に示したように、指定されている対象物Objがスクリーンを占有する割合がスクリーンの上下左右の各範囲で比較され、占有割合がより低い範囲のスクリーン端部が専用表示画面の配置スペースに決定される。 In the arrangement space determination process (9c), as shown in FIG. 8, the proportion of the designated object Obj occupying the screen is compared in each of the upper, lower, left and right ranges of the screen. The edge of the screen is determined as the space for the dedicated display screen.
さらに具体的に説明すれば、専用表示画面の配列が垂直方向に決定されていれば、同図(a)に一例を示したように、指定されている各対象物Obj1〜Obj3がスクリーンを占有する割合がスクリーンの左右で比較される。その結果、図示の例のように右半分における占有割合が左半分における占有割合よりも低ければ、占有割合の低いスクリーン右側の右端部が配置スペースに決定される。 More specifically, if the arrangement of the dedicated display screens is determined in the vertical direction, each designated object Obj1 to Obj3 occupies the screen as shown in the example of FIG. The percentage to do is compared on the left and right of the screen. As a result, if the occupation ratio in the right half is lower than the occupation ratio in the left half as in the illustrated example, the right end portion on the right side of the screen with a low occupation ratio is determined as the arrangement space.
これに対して、専用表示画面の配列が水平方向に決定されていれば、同図(b)に一例を示したように、指定されている各対象物Obj1〜Obj3がスクリーンを占有する割合がスクリーンの上下で比較される。その結果、図示の例のように上半分における占有割合が下半分における占有割合よりも低ければ、占有割合の低いスクリーン上側の上端部が配置スペースに決定される。 On the other hand, if the arrangement of the dedicated display screen is determined in the horizontal direction, as shown in the example in FIG. 5B, the proportion of the specified objects Obj1 to Obj3 occupying the screen is Compared at the top and bottom of the screen. As a result, if the occupation ratio in the upper half is lower than the occupation ratio in the lower half as in the illustrated example, the upper end portion on the upper side of the screen with the lower occupation ratio is determined as the arrangement space.
前記位置決め処理（９ｄ）では、全ての表示専用画面を一方の端部に詰めて配置するための位置決めが行われる。本実施形態では、表示専用画面の配列が水平方向であって、その配置スペースがスクリーンの上端部または下端部に決定されていると、各表示専用画面を当該表示スペースにおいて右詰めおよび左詰めのいずれで位置決めするかが決定される。同様に、表示専用画面の配列が垂直方向であって、その配置スペースがスクリーンの左端部または右端部に決定されていると、各表示専用画面を当該配置スペースにおいて上詰および下詰めのいずれで位置決めするかが決定される。 In the positioning process (9d), positioning for arranging all display-only screens in one end portion is performed. In this embodiment, when the display-only screen is arranged in the horizontal direction and the arrangement space is determined at the upper end or the lower end of the screen, each display-only screen is right-justified and left-justified in the display space. It is determined which position to position. Similarly, if the display-only screen is arranged in the vertical direction and its placement space is determined at the left or right end of the screen, each display-only screen can be either top-padded or bottom-padded in the placement space. It is determined whether to position.
図９，１０は、前記表示専用画面の位置決め方法の一例を模式的に表現した図であり、図９(a)に示したように、対象物Obj1〜Obj3が上下方向に分布していれば、最上部に位置する対象物Obj1のy座標の最大値ymaxとスクリーン上端部までの距離Δymaxが、最下部に位置する対象物Obj3のy座標の最小値yminとスクリーン下端部までの距離Δyminと比較される。その結果、Δymax＜Δyminであれば、同図(b)に示したように、対象物がより近接している上端部への上詰めに決定され、Δymax≧Δyminであれば、同図(c)に示したように下詰めに決定される。 FIGS. 9 and 10 are diagrams schematically showing an example of the positioning method of the display-only screen. As shown in FIG. 9A, the objects Obj1 to Obj3 are distributed in the vertical direction. The maximum value ymax of the y coordinate of the object Obj1 located at the top and the distance Δymax to the upper end of the screen are the minimum value ymin of the y coordinate of the object Obj3 located at the bottom and the distance Δymin to the bottom of the screen To be compared. As a result, if Δymax <Δymin, as shown in FIG. 8B, the object is determined to be topped on the upper end where the object is closer, and if Δymax ≧ Δymin, ) Is determined to be bottom-up as shown in.
また、図１０(a)に示したように、対象物Obj1〜Obj4が左右方向に分布していれば、最も左端に位置する対象物Obj1のx座標の最小値xminとスクリーン左端部までの距離Δxminが、最も右端に位置する対象物Obj4のx座標の最大値xmaxとスクリーン右端部までの距離Δxmaxと比較される。その結果、Δxmin＜Δxmaxであれば、同図(b)に示したように、対象物がより近接している左端部への左詰めに決定され、Δxmin≧Δxmaxであれば、同図(c)に示したように右端部への右詰めに決定される。 Further, as shown in FIG. 10A, if the objects Obj1 to Obj4 are distributed in the left-right direction, the minimum value xmin of the x coordinate of the object Obj1 located at the left end and the distance to the left end of the screen. Δxmin is compared with the maximum value xmax of the x coordinate of the object Obj4 located at the rightmost end and the distance Δxmax to the right end of the screen. As a result, if Δxmin <Δxmax, the object is determined to be left-justified to the left end where the object is closer as shown in FIG. ) Is determined to be right-justified to the right end as shown in FIG.
ステップＳ１０では、前記ステップＳ９で決定された今回周期の表示仕様と前回周期（現在）の表示仕様とが比較され、表示仕様の更新の要否が判断される。すなわち、指定（選別）された対象物や取得されたAR情報が前回の周期から変化していれば、AR情報を更新すべくステップＳ１１以降へ進む。 In step S10, the display specification of the current cycle determined in step S9 is compared with the display specification of the previous cycle (current) to determine whether or not the display specification needs to be updated. That is, if the specified (selected) object or the acquired AR information has changed from the previous cycle, the process proceeds to step S11 and subsequent steps to update the AR information.
また、各専用表示画面の位置（配列方向、配置スペース、位置決め）については、予め定義された要件を満足する変化が認められればステップＳ１１以降へ進んで表示内容を更新する一方、要件を満足しない変化であれば、表示を更新することなくステップＳ１２へジャンプする。 In addition, regarding the position (arrangement direction, arrangement space, positioning) of each dedicated display screen, if a change that satisfies a predefined requirement is recognized, the process proceeds to step S11 and the display contents are updated, but the requirement is not satisfied. If there is a change, the process jumps to step S12 without updating the display.
このように、本実施形態によれば対象物およびAR情報ならびに可視化情報に関してはその変化が表示に直ちに反映される一方、AR情報の表示位置に関しては、ある程度の変化が認められなければ更新されずに前回周期の表示仕様が維持される。したがって、操作者への最新のAR情報の提供を担保しながら、AR情報の表示位置が頻繁に切り替わることによる視認性や作業性の低下を防止できるようになる。 As described above, according to the present embodiment, changes in the object, AR information, and visualization information are immediately reflected in the display, while the display position of the AR information is not updated unless a certain change is recognized. The display specification of the previous cycle is maintained. Therefore, it is possible to prevent deterioration in visibility and workability due to frequent switching of the display position of the AR information while ensuring the provision of the latest AR information to the operator.
なお、前記ステップＳ１０における表示仕様の更新の要否判断では、前記専用表示画面の位置に関しては、前記要件として専用表示画面の配列方向、配置スペースまたは位置決めの変化量に着目し、変化量が所定の基準値を超えれば更新要と判定し、変化量が所定の基準値を超えなければ更新不要と判定することができる。 In determining whether or not the display specification needs to be updated in step S10, with respect to the position of the dedicated display screen, the amount of change is determined by paying attention to the arrangement direction of the dedicated display screen, the arrangement space, or the amount of change in positioning as the requirements. If it exceeds the reference value, it is determined that the update is necessary, and if the change amount does not exceed the predetermined reference value, it can be determined that the update is unnecessary.
ただし、操作者にとって視認性や操作性の高い表示仕様は、前記専用表示画面の位置に反映されにくい操作状況や操作環境などの潜在的な状況変化の影響を受けることも経験的に確認されている。したがって、専用表示画面の位置の変化量が所定の基準値を上回っていても、前記潜在的な状況変化の量や質によっては表示を維持することが望ましい場合がある。同様に、専用表示画面の位置の変化量が所定の基準値を下回っていても、前記潜在的な状況変化の量や質によっては表示を更新することが望ましい場合もある。 However, it has been confirmed empirically that display specifications with high visibility and operability for the operator are affected by potential status changes such as operation status and operation environment that are difficult to be reflected in the position of the dedicated display screen. Yes. Therefore, even if the amount of change in the position of the dedicated display screen exceeds a predetermined reference value, it may be desirable to maintain the display depending on the amount and quality of the potential situation change. Similarly, even if the amount of change in the position of the dedicated display screen is below a predetermined reference value, it may be desirable to update the display depending on the amount and quality of the potential situation change.
そこで、本実施形態では表示更新の要否を判断するための指標として、専用表示画面の位置の変化のみならず前記潜在的な状況変化をも採用し、例えばこれらの関数を指標として表示更新の要否を判断するようにしている。 Therefore, in the present embodiment, not only the change in the position of the dedicated display screen but also the potential situation change is adopted as an index for determining whether or not display update is necessary. For example, the display update is performed using these functions as an index. The necessity is judged.
このようにすれば、専用表示画面の位置の変化としては表れなくても、操作者の視認性や操作性の観点からは表示を更新することが望ましい状況では表示が更新されるので、操作者の視認性や操作性を更に向上させることができるようになる。 In this way, even if it does not appear as a change in the position of the dedicated display screen, the display is updated in situations where it is desirable to update the display from the viewpoint of operator visibility and operability. Can be further improved in visibility and operability.
なお、前記潜在的な状況変化としては、操作者が同一の対象物を再指定するなどして例えば他のAR情報の表示を要求等したこと、対象物の状態変化がその形状変化やインジケータランプ等により認識されたこと、あるいは同一の表示仕様が継続されている時間長などが想定できる。 The potential situation changes include, for example, that the operator has requested the display of other AR information by re-designating the same target object, the state change of the target object is its shape change, indicator lamp, etc. Or the length of time during which the same display specification is continued.
ステップＳ１１では、AR情報の表示内容および／または表示位置を更新するための新たな表示仕様が、前記ステップＳ９ａで新たに取得されたAR情報および前記ステップＳ９ｂ，９ｃ，９ｄで新たに計算された専用表示画面の配置等に基づいて決定される。ステップＳ１２では、各対象物とその専用表示画面との対応関係を可視化するための表示仕様が決定される。 In step S11, new display specifications for updating the display content and / or display position of the AR information are newly calculated in the AR information newly acquired in step S9a and in steps S9b, 9c, and 9d. It is determined based on the arrangement of the dedicated display screen. In step S12, a display specification for visualizing the correspondence between each object and its dedicated display screen is determined.
図１１は、対象物とそのAR情報を表示する専用表示画面との対応関係を可視化するための表示仕様の決定方法を示したフローチャートである。 FIG. 11 is a flowchart showing a display specification determination method for visualizing the correspondence between an object and a dedicated display screen for displaying the AR information.
ステップＳ５１では、対象物ごとにその矩形枠の４頂点の座標が計算される。ステップＳ５２では、専用表示画面ごとに、その配置スペースの位置に応じて紐付け線の接続辺が選択される。本実施形態では、専用表示画面の配置がスクリーンの上端部であればステップＳ５３へ進み、各専用表示画面の外枠の下辺が接続辺として選択される。 In step S51, the coordinates of the four vertices of the rectangular frame are calculated for each object. In step S52, for each dedicated display screen, the connection side of the tie line is selected according to the position of the arrangement space. In this embodiment, if the arrangement of the dedicated display screen is the upper end portion of the screen, the process proceeds to step S53, and the lower side of the outer frame of each dedicated display screen is selected as the connection side.
同様に、専用表示画面の配置がスクリーンの下端部であればステップＳ５４へ進み、専用表示画面の外枠の上辺が接続辺として選択される。同様に、専用表示画面の配置がスクリーンの左端部であればステップＳ５５へ進み、専用表示画面の外枠の右辺が接続辺として選択される。同様に、専用表示画面の配置がスクリーンの右端部であればステップＳ５６へ進み、専用表示画面の外枠の左辺が接続辺として選択される。 Similarly, if the position of the dedicated display screen is the lower end of the screen, the process proceeds to step S54, and the upper side of the outer frame of the dedicated display screen is selected as the connection side. Similarly, if the arrangement of the dedicated display screen is the left end of the screen, the process proceeds to step S55, and the right side of the outer frame of the dedicated display screen is selected as the connection side. Similarly, if the arrangement of the dedicated display screen is the right end of the screen, the process proceeds to step S56, and the left side of the outer frame of the dedicated display screen is selected as the connection side.
ステップＳ５７では、対応物およびそのAR情報の専用表示画面のペアごとに、対応物の矩形枠と専用表示画面の外枠の接続辺とを最短で接続できる紐付け線が計算され、この紐付け線と前記矩形枠および接続辺との交点が計算される。ステップＳ５８では、各交点を結ぶ紐付け線が決定される。 In step S57, for each pair of the corresponding object and its dedicated display screen of AR information, a tie line that can connect the rectangular frame of the corresponding object and the connecting edge of the outer frame of the dedicated display screen in the shortest is calculated. The intersection of the line with the rectangular frame and the connecting edge is calculated. In step S58, the linking line connecting the intersections is determined.
なお、接続辺が紐付け線と接続される位置は、その中点に限定しても良い。同様に、対応物の矩形枠が紐付け線と接続される位置も、紐付け線を最短化できる辺上の中点に限定しても良い。また、最短の紐付け線同士が交差する場合には、最短化よりも交差の解消を優先して接続辺等と紐付け線との交点を決定するようにしても良い。さらに、前記紐付け線、対応物の矩形枠および専用表示画面の外枠の線種や色は、当該対応物やそのAR情報のカテゴリに応じて固有としても良い。 It should be noted that the position where the connection side is connected to the tying line may be limited to the midpoint. Similarly, the position at which the rectangular frame of the counterpart is connected to the tie line may be limited to the midpoint on the side where the tie line can be minimized. In addition, when the shortest tie lines intersect each other, the intersection between the connection side and the tie line may be determined by giving priority to the cancellation of the crossover rather than the minimization. Further, the line type and color of the linking line, the rectangular frame of the corresponding object, and the outer frame of the dedicated display screen may be unique depending on the corresponding object and the category of the AR information.
ステップＳ５９では、対象物の矩形枠内又はその近傍と、そのAR情報の専用表示画面内またはその近傍とに、それぞれ同一または対応する識別子を付するための処理が実施される。 In step S59, a process for assigning the same or corresponding identifier to the rectangular frame of the object or the vicinity thereof and to the AR information dedicated display screen or the vicinity thereof is performed.
ステップＳ６０では、カテゴリの異なる対応物やAR情報が存在する場合に、カテゴリが同一の対象物の矩形枠、AR情報の専用表示画面の外枠およびそれらを接続する紐付け線同士をカテゴリごとに固有の同色または同一線種に統一したり、専用表示画面のサイズや形状をカテゴリごとに固有としたりするなどのカテゴライズ処理が実施される In step S60, when there are corresponding items or AR information of different categories, the rectangular frame of the object having the same category, the outer frame of the AR information dedicated display screen, and the linking lines connecting them are displayed for each category. Categorization is performed, such as unifying the same unique color or line type, or making the size and shape of the dedicated display screen unique to each category.
図３のフローチャートへ戻り、ステップＳ１３では、前記ステップＳ１１，Ｓ１２で決定された表示仕様にしたがって画像メモリ上に展開された画像データが透過型の光学系モジュール６上に投影されてスクリーン上に表示される。 Returning to the flowchart of FIG. 3, in step S13, the image data developed on the image memory in accordance with the display specifications determined in steps S11 and S12 is projected on the transmissive optical system module 6 and displayed on the screen. Is done.
図１２は、対象物として複数のブレードが選別されている場合のAR情報の表示例を示した図である。 FIG. 12 is a diagram illustrating a display example of AR information when a plurality of blades are selected as objects.
図示の例では、対象物としの複数のブレードが主に上下方向に分布しているので、そのAR情報の専用表示画面の配列は垂直方向となっている。また、各ブレードは全体としてスクリーンの左半分をより多く占有しているので、その専用表示画面はスクリーンの右端部に配置されている。さらに、最上部に位置しているブレートとスクリーン上端部との距離は、最下部に位置しているブレートとスクリーン下端部との距離よりも短いので、各専用表示画面は上詰めで位置決めされている。 In the illustrated example, since a plurality of blades serving as objects are mainly distributed in the vertical direction, the arrangement of the AR information dedicated display screen is in the vertical direction. Since each blade occupies more of the left half of the screen as a whole, the dedicated display screen is arranged at the right end of the screen. Furthermore, since the distance between the uppermost plate and the top edge of the screen is shorter than the distance between the lowermost plate and the lower edge of the screen, each dedicated display screen is positioned top-aligned. Yes.
そして、本実施形態では各対象物とそのAR情報の専用表示画面とが共通の紐付け線で接続されると共に、各対象物の矩形枠内および対応する専用表示画面内には、それぞれに共通するローマ数字が識別子として描画されている。 In the present embodiment, each object and its AR information dedicated display screen are connected by a common tie line, and are common to each object in the rectangular frame and the corresponding dedicated display screen. Roman numerals are drawn as identifiers.
図１３は、対象物として一つのブレードと複数のイーサネット(登録商標)ポート等が選別されている場合のAR情報の表示例を示した図である。 FIG. 13 is a diagram showing a display example of AR information when one blade and a plurality of Ethernet (registered trademark) ports are selected as objects.
図示の例では、対象物としての複数のイーサネット(登録商標)ポート等が主に左右方向に分布しているので、そのAR情報の専用表示画面の配列は水平方向となっている。また、各イーサネット(登録商標)ポート等は全体としてスクリーンの上半分をより多く占有しているので、その専用表示画面はスクリーンの下端部に配置されている。さらに、最も左側に位置しているLEDランプとスクリーン左端部との距離は、最も右側に位置しているイーサネット(登録商標)ポートとスクリーン右端部との距離よりも短いので、各専用表示画面は左詰めで配置されている。 In the illustrated example, since a plurality of Ethernet (registered trademark) ports as objects are mainly distributed in the left-right direction, the arrangement of the AR information dedicated display screen is in the horizontal direction. Further, since each Ethernet (registered trademark) port occupies more of the upper half of the screen as a whole, the dedicated display screen is arranged at the lower end of the screen. In addition, the distance between the leftmost LED lamp and the left edge of the screen is shorter than the distance between the rightmost Ethernet (registered trademark) port and the right edge of the screen. Arranged left-justified.
また、対象物として同時に選別されているブレードまたはそのAR情報は、イーサネット(登録商標)ポート等とカテゴリが異なるので、その専用表示画面は異なる位置に独立して設けられている。 Further, since the blades that are simultaneously selected as objects or their AR information have different categories from Ethernet (registered trademark) ports, etc., their dedicated display screens are provided independently at different positions.
このようなAR情報の表示は、図３のステップＳ１０において表示仕様が変化したと判断されてステップＳ１１以降へ進むまで維持される。その後、ステップＳ１０において表示仕様が変化したと判断されると、ステップＳ１１以降へ進んでAR情報、専用表示画面および可視化情報の表示仕様が更新される。 Such display of the AR information is maintained until it is determined that the display specification has changed in step S10 in FIG. Thereafter, when it is determined in step S10 that the display specification has changed, the process proceeds to step S11 and subsequent steps, and the display specifications of the AR information, the dedicated display screen, and the visualization information are updated.
図１４は、図１２と同じ対象物を異なる視点で見込んだ場合のAR情報の表示例を示した図である。 FIG. 14 is a diagram showing a display example of AR information when the same object as in FIG. 12 is viewed from a different viewpoint.
操作者が移動等して対象物との相対位置が変化し、その視野（スクリーン３）に写る対象物の位置、姿勢が図１２から図１４へ変化した結果、前記ステップＳ９で決定された今回周期の表示仕様が前記予め定義された要件を満足するほどに変化し、前記ステップＳ１０において表示仕様の更新が必要と判断されると、ステップＳ１１〜Ｓ１３の各処理が改めて実行される。 The relative position with respect to the object changes as the operator moves and the position and orientation of the object in the field of view (screen 3) change from FIG. 12 to FIG. If the display specification of the cycle changes to satisfy the predefined requirement, and it is determined in step S10 that the display specification needs to be updated, each process of steps S11 to S13 is executed again.
その結果、図１４の視点では、対象物としてのブレードが全体としてスクリーンの右半分をより多く占有するようになるので、専用表示画面の配置スペースがスクリーン右端部から左端部へ移動している。 As a result, since the blade as the object occupies more of the right half of the screen as a whole from the viewpoint of FIG. 14, the arrangement space of the dedicated display screen has moved from the right end of the screen to the left end.
図１５は、各対象物に複数のAR情報が登録されている場合の表示例を示した図であり、イーサネット(登録商標)ポート等のAR情報の専用表示画面には、その背後に残りの専用表示画面が配置されている。 FIG. 15 is a diagram showing a display example when a plurality of AR information is registered for each object. The AR information dedicated display screen such as an Ethernet (registered trademark) port has a remaining display behind it. Dedicated display screen is arranged.
このように、各対象物に複数のAR情報が登録されている場合に、手前側の専用表示画面に表示されるAR情報の役割が終了して操作者が当該AR情報を消去等する操作を行うと、図１６に示したように、当該AR情報の専用表示画面が消えて、背面に隠れていた次のAR情報の専用表示画面が前面に出現するように表示内容が更新される。 In this way, when multiple AR information is registered for each object, the role of the AR information displayed on the dedicated display screen on the near side is terminated, and the operator performs an operation such as deleting the AR information. When this is done, as shown in FIG. 16, the display content is updated so that the dedicated display screen for AR information disappears and the dedicated display screen for the next AR information hidden behind the screen appears.
なお、各対象物に複数のAR情報が登録されている場合の各AR情報の表示方法は上記に限定されるものではなく、全てのAR情報がたとえば並列的に複数列で網羅されるようにしても良い。 Note that the display method of each AR information when a plurality of AR information is registered for each object is not limited to the above. For example, all AR information should be covered in multiple columns in parallel. May be.
図１７は、前記表示制御部５の主要部の構成を示した機能ブロック図である。相対位置姿勢推定部５１は、カメラ画像から認識された各対象物について、前記ステップＳ２において、カメラ２との相対的な位置、姿勢の関係を推定する。 FIG. 17 is a functional block diagram showing the configuration of the main part of the display control unit 5. The relative position / orientation estimation unit 51 estimates the relative position / orientation of each object recognized from the camera image with respect to the camera 2 in step S2.
対象物選別部５２は、前記ステップＳ３において、前記認識された対象物の全部又は一部をAR情報の表示対象として選別する。A系対象物識別部５２ａおよびB系対象物識別部５２ｂは、前記ステップＳ３ないしS７において、操作者がAR情報の表示対象としてA系またはB系の対象物を指定したときに、当該行為を検知して指定された対象物をAR情報の表示対象として選別する。 In step S3, the object sorting unit 52 sorts all or part of the recognized objects as display targets for AR information. In steps S3 to S7, the A-system object identification unit 52a and the B-system object identification unit 52b perform the action when the operator designates an A-system or B-system object as an AR information display object. Detected and specified objects are selected as AR information display targets.
対象物位置計算部５３は、前記ステップＳ８において、前記選別された対象物のスクリーンでの位置を前記位置、姿勢の関係に基づいて計算する。AR情報取得部５４は、前記ステップＳ９ａにおいて、前記対象物のAR情報をデータベース４から取得する。 In step S8, the object position calculation unit 53 calculates the position of the selected object on the screen based on the relationship between the position and orientation. The AR information acquisition unit 54 acquires the AR information of the object from the database 4 in the step S9a.
本実施形態では、複数の対象物が選別されることを想定しており、前記対象物位置計算部５３は、選別された全ての対象物のスクリーンでの位置を計算し、前記AR情報取得部５４は、選別された全ての対象物のAR情報を取得する。 In the present embodiment, it is assumed that a plurality of objects are selected, and the object position calculation unit 53 calculates the positions of all the selected objects on the screen, and the AR information acquisition unit 54 acquires AR information of all the selected objects.
配列決定部５５は、スクリーン上での各対象物の分布を計算する分布計算部５５ａを含み、前記ステップＳ９ｂにおいて、前記指定された複数の対象物のスクリーン上での分布に基づいて、これらのAR情報を表示する専用表示画面の配列を、当該対象物またはそのAR情報のカテゴリごとに決定する。 The arrangement determination unit 55 includes a distribution calculation unit 55a that calculates the distribution of each object on the screen, and in step S9b, based on the distribution on the screen of the specified plurality of objects, The arrangement of the dedicated display screen for displaying the AR information is determined for each target object or the category of the AR information.
本実施形態では、前記図７を参照して説明したように、全ての対象物（Obj1，Obj2，Obj3）に外接する矩形枠を仮想し、そのx軸方向の広がりと重なり量との割合（Σwd/w）をy軸方向の広がりと重なり量との割合（Σhd/h）と比較し、AR情報の表示配列を、Σwd/w＜Σhd/hであれば水平方向、Σwd/w≧Σhd/hであれば垂直方向に決定する。 In the present embodiment, as described with reference to FIG. 7, a rectangular frame circumscribing all the objects (Obj1, Obj2, Obj3) is assumed, and the ratio between the spread in the x-axis direction and the overlap amount ( (Σwd / w) is compared with the ratio of the spread in the y-axis direction and the amount of overlap (Σhd / h). If / h, the vertical direction is determined.
配置スペース決定部５６は、スクリーン上での各対象物の占有割合を上下左右の範囲ごとに計算する占有割合計算部５６ａを含み、前記ステップＳ９ｃにおいて、対象物の占有割合が低い領域のスクリーン端部を専用表示画面の配置スペースに決定する。位置決め部５７は、前記ステップＳ９ｄにおいて、複数の専用表示画面を前記配置スペースにおいて一方の端部側に詰めて配置する際の位置決めを行う。 The arrangement space determination unit 56 includes an occupancy ratio calculation unit 56a that calculates the occupancy ratio of each object on the screen for each of the upper, lower, left, and right ranges. In step S9c, the screen edge of the region where the occupancy ratio of the object is low Is determined as the space for the dedicated display screen. In step S9d, the positioning unit 57 performs positioning when arranging and arranging a plurality of dedicated display screens on one end side in the arrangement space.
表示仕様更新判定部５０は、今回の周期で新たに取得したAR情報ならびに新たに計算された専用表示画面の配列、配置スペースおよび位置決めの各表示仕様を、前記ステップＳ１０において現在の各表示仕様と比較し、専用表示画面およびAR情報の表示仕様の更新の要否を決定する。 The display specification update determination unit 50 uses the AR information newly acquired in the current cycle and the newly calculated display specifications of the dedicated display screen, the arrangement space, and the positioning as the current display specifications in step S10. Compare and decide whether or not to update the display specifications of the dedicated display screen and AR information.
専用表示画面仕様決定部５８は、前記表示仕様更新判定部５０により専用表示画面に関して更新要判定がなされると、前記ステップＳ１１において専用表示画面の表示仕様を決定する。AR情報表示仕様決定部５９は、前記表示仕様更新判定部５０によりAR情報に関して更新要判定がなされると、前記ステップＳ１１においてAR情報の表示仕様を決定する。 The dedicated display screen specification determination unit 58 determines the display specification of the dedicated display screen in the step S11 when the display specification update determination unit 50 determines that the update is necessary for the dedicated display screen. When the display specification update determination unit 50 determines that the AR information needs to be updated, the AR information display specification determination unit 59 determines the display specification of the AR information in step S11.
可視化仕様決定部６０は、紐付け線決定部６０ａおよび識別子決定部６０ｂを含み、前記ステップＳ１２において、各対象物とそのAR情報を表示する専用表示画面との対応関係を、前記紐付け線や識別子をスクリーン上に描画して可視化するための表示仕様を決定する。 The visualization specification determination unit 60 includes a pegging line determination unit 60a and an identifier determination unit 60b. In step S12, the correspondence relationship between each object and a dedicated display screen that displays the AR information is represented by the pegging line, The display specification for visualizing the identifier by drawing it on the screen is determined.
画像データ生成部６１は、専用表示画面、AR情報および可視化用の紐付け線や識別子を前記各決定された表示仕様で表示するための画像データを画像メモリ上に展開し、これを表示機能部へ出力する。 The image data generation unit 61 develops image data for displaying the dedicated display screen, the AR information, the linking line for visualization and the identifier in the determined display specifications on the image memory, and displays the data on the display function unit. Output to.
なお、上記の実施形態では、本発明を光学式シースルー型HMD１への適用を例にして、操作者の視点で操作性や視認性が損なわれないように各AR情報の専用表示画面が配置されるものとして説明したが、モバイル端末のように、対象物のカメラ映像がそのAR情報と共に物理スクリーン（ディスプレイ）上に表示されるシステムへの適用では、当該ディスプレイにおいて操作性や視認性が損なわれないように対象物とそのAR情報とがディスプレイ上で重ならないように各専用表示画面が配置される。 In the above embodiment, the application of the present invention to the optical see-through HMD 1 is used as an example, and a dedicated display screen for each AR information is arranged so as not to impair operability and visibility from the viewpoint of the operator. However, when applied to a system in which a camera image of an object is displayed on a physical screen (display) together with its AR information, such as a mobile terminal, the operability and visibility of the display are impaired. Each dedicated display screen is arranged so that the object and its AR information do not overlap on the display so that they do not exist.
１…光学式シースルー型HMD，２…カメラモジュール，３…スクリーン，４…AR情報データベース（DB），５…表示制御部，６…光学系モジュール，５０…表示仕様更新判定部，５１…相対位置姿勢推定部，５２…対象物選別部，５３…対象物位置計算部，５４…AR情報取得部，５５…配列決定部，５６…配置スペース決定部，５７…位置決め部，５８…専用表示画面仕様決定部，５９…AR情報表示仕様決定部，６０…対応関係可視化部，６１…画像データ生成部 DESCRIPTION OF SYMBOLS 1 ... Optical see-through type HMD, 2 ... Camera module, 3 ... Screen, 4 ... AR information database (DB), 5 ... Display control part, 6 ... Optical system module, 50 ... Display specification update determination part, 51 ... Relative position Posture estimation unit, 52... Object selection unit, 53 .. object position calculation unit, 54... AR information acquisition unit, 55 .. arrangement determination unit, 56 .. arrangement space determination unit, 57. Determination unit, 59 ... AR information display specification determination unit, 60 ... Correspondence relationship visualization unit, 61 ... Image data generation unit
Claims (23)
対象物を撮影するカメラと、
カメラ画像から認識できた対象物とカメラとの相対位置および姿勢を推定する手段と、
各対象物のAR情報を取得する手段と、
各対象物のスクリーンでの位置を前記位置および姿勢の推定結果に基づいて計算する手段と、
各対象物の分布に基づいて、そのAR情報を表示する専用表示画面の配列を決定する手段と、
各専用表示画面を前記決定された配列で配置するスクリーン上のスペースを決定する手段と、
前記決定されたスペースに前記決定された配列で配置される各専用表示画面にAR情報を表示する手段とを具備したことを特徴とするAR情報表示装置。 In the AR information display device that displays the AR information of multiple objects on the screen,
A camera for shooting the object;
Means for estimating the relative position and orientation of the object recognized from the camera image and the camera;
Means for obtaining AR information of each object;
Means for calculating the position of each object on the screen based on the estimation result of the position and orientation;
Based on the distribution of each object, means for determining the arrangement of the dedicated display screen for displaying the AR information,
Means for determining a space on the screen for arranging each dedicated display screen in the determined arrangement;
An AR information display device comprising: means for displaying AR information on each dedicated display screen arranged in the determined arrangement in the determined space.
前記選別された複数の対象物のAR情報を表示することを特徴とする請求項１ないし６のいずれかに記載のAR情報表示装置。 Further comprising means for selecting a part of the plurality of recognized objects as a display target of the AR information;
7. The AR information display device according to claim 1, wherein the AR information of the plurality of selected objects is displayed.
各AR情報は、そのカテゴリごとに異なる形式で表示されることを特徴とする請求項１ないし１７のいずれかに記載のAR情報表示装置。 Each target has multiple types of AR information registered in different categories.
18. The AR information display device according to claim 1, wherein each AR information is displayed in a different format for each category.
所定の要件を満たす変化が生じるまでは現在の表示を維持し、所定の要件を満たす変化が生じると表示を変化後の内容に更新することを特徴とする請求項１ないし１９のいずれかに記載のAR情報表示装置。 Further comprising means for determining whether or not a change that satisfies a predetermined requirement has occurred regarding the arrangement of the AR information and / or its dedicated display screen;
20. The current display is maintained until a change that satisfies a predetermined requirement occurs, and the display is updated to the content after the change when a change that satisfies the predetermined requirement occurs. AR information display device.
所定の要件を満たす変化が生じるまでは、前記可視化の情報のみを更新して現在のAR情報および専用表示画面の表示を維持し、所定の要件を満たす変化が生じると表示を変化後の内容に更新することを特徴とする請求項４ないし６のいずれかに記載のAR情報表示装置。 Further comprising means for determining whether or not a change that satisfies a predetermined requirement has occurred regarding the arrangement of the AR information and / or its dedicated display screen;
Until the change that satisfies the predetermined requirement occurs, only the visualization information is updated and the current AR information and the display of the dedicated display screen are maintained.When the change that satisfies the predetermined requirement occurs, the display is changed to the changed content. The AR information display apparatus according to claim 4, wherein the AR information display apparatus is updated.
前記専用表示画面の配置の変化および潜在的な状況変化を指標として表示の更新の要否を判定することを特徴とする請求項２０または２１に記載のAR情報表示装置。 The means for determining whether or not a change satisfying the predetermined requirement has occurred further comprises means for detecting a potential situation change that is difficult to be reflected in the arrangement of the dedicated display screen,
The AR information display apparatus according to claim 20 or 21, wherein whether or not to update the display is determined by using a change in the arrangement of the dedicated display screen and a potential situation change as an index.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015193506A JP6468656B2 (en) | 2015-09-30 | 2015-09-30 | AR information display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015193506A JP6468656B2 (en) | 2015-09-30 | 2015-09-30 | AR information display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017068601A true JP2017068601A (en) | 2017-04-06 |
| JP6468656B2 JP6468656B2 (en) | 2019-02-13 |
Family
ID=58494851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015193506A Active JP6468656B2 (en) | 2015-09-30 | 2015-09-30 | AR information display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6468656B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121136A (en) * | 2017-12-29 | 2019-07-22 | 富士通株式会社 | Information processing apparatus, information processing system and information processing method |
| JP2019191216A (en) * | 2018-04-18 | 2019-10-31 | 株式会社エジェ | Moving image reproducing device and moving image reproducing system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220026322A (en) * | 2020-08-25 | 2022-03-04 | 삼성전자주식회사 | Apparatus and method for recognitzing target device over for augmented reality |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020075282A1 (en) * | 1997-09-05 | 2002-06-20 | Martin Vetterli | Automated annotation of a view |
| JP2006033210A (en) * | 2004-07-14 | 2006-02-02 | Alpine Electronics Inc | Image display apparatus and method |
| JP2008228034A (en) * | 2007-03-14 | 2008-09-25 | Chugoku Electric Power Co Inc:The | Mobile terminal device |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2010238098A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, information presentation system, and terminal screen display method |
| JP2014123193A (en) * | 2012-12-20 | 2014-07-03 | Kddi Corp | Field work support device |
| WO2014202262A1 (en) * | 2013-06-19 | 2014-12-24 | Robert Bosch Gmbh | Identification apparatus and identification method |
| JP2015138428A (en) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | Additional information display apparatus and additional information display program |
-
2015
- 2015-09-30 JP JP2015193506A patent/JP6468656B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020075282A1 (en) * | 1997-09-05 | 2002-06-20 | Martin Vetterli | Automated annotation of a view |
| JP2006033210A (en) * | 2004-07-14 | 2006-02-02 | Alpine Electronics Inc | Image display apparatus and method |
| JP2008228034A (en) * | 2007-03-14 | 2008-09-25 | Chugoku Electric Power Co Inc:The | Mobile terminal device |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2010238098A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, information presentation system, and terminal screen display method |
| JP2014123193A (en) * | 2012-12-20 | 2014-07-03 | Kddi Corp | Field work support device |
| WO2014202262A1 (en) * | 2013-06-19 | 2014-12-24 | Robert Bosch Gmbh | Identification apparatus and identification method |
| JP2015138428A (en) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | Additional information display apparatus and additional information display program |
Non-Patent Citations (2)
| Title |
|---|
| "カフェなび", [ONLINE], JPN6018041539, 31 March 2011 (2011-03-31), ISSN: 0003904786 * |
| 蔵田 武志: "ＡＲのインタフェース", 情報処理, vol. 第５１巻 第４号, JPN6018041541, 15 April 2010 (2010-04-15), JP, pages 425 - 430, ISSN: 0003904787 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121136A (en) * | 2017-12-29 | 2019-07-22 | 富士通株式会社 | Information processing apparatus, information processing system and information processing method |
| US11238653B2 (en) | 2017-12-29 | 2022-02-01 | Fujitsu Limited | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program |
| JP7017689B2 (en) | 2017-12-29 | 2022-02-09 | 富士通株式会社 | Information processing equipment, information processing system and information processing method |
| JP2019191216A (en) * | 2018-04-18 | 2019-10-31 | 株式会社エジェ | Moving image reproducing device and moving image reproducing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6468656B2 (en) | 2019-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| US10241565B2 (en) | Apparatus, system, and method of controlling display, and recording medium | |
| JP4341723B2 (en) | Light projection device, lighting device | |
| US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
| JP2017049658A (en) | AR information display device | |
| WO2010119496A1 (en) | Image processing device, image processing program, and image processing method | |
| JP6468656B2 (en) | AR information display device | |
| CN108885856A (en) | Information processing equipment, information processing method and program | |
| JP2012022632A (en) | Information processing apparatus and control method thereof | |
| GB2540032A (en) | Data browse apparatus, data browse method, program, and storage medium | |
| WO2017169273A1 (en) | Information processing device, information processing method, and program | |
| CN110084797B (en) | Plane detection method, plane detection device, electronic equipment and storage medium | |
| CN108629799B (en) | Method and equipment for realizing augmented reality | |
| CN111083463A (en) | Virtual content display method and device, terminal equipment and display system | |
| JP5565331B2 (en) | Display system, display processing apparatus, display method, and display program | |
| US20180150931A1 (en) | Screen zoom feature for augmented reality applications | |
| CN108769668A (en) | Method for determining position and device of the pixel in VR display screens in camera imaging | |
| JP6687510B2 (en) | AR information display device and program | |
| JP5215211B2 (en) | Related information display position specifying system and related information display position specifying program | |
| JP5706715B2 (en) | 3D map display system | |
| JP7467107B2 (en) | Image processing device, image processing method, and program | |
| KR101559739B1 (en) | System for merging virtual modeling and image data of cameras | |
| JP6358998B2 (en) | Security simulation device | |
| KR102182866B1 (en) | Apparatus and method for providing status comparison image | |
| US20240104883A1 (en) | Display apparatus and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190111 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6468656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |