JP2013210793A - System, method, and program for optimizing ar display - Google Patents

System, method, and program for optimizing ar display Download PDF

Info

Publication number
JP2013210793A
JP2013210793A JP2012079968A JP2012079968A JP2013210793A JP 2013210793 A JP2013210793 A JP 2013210793A JP 2012079968 A JP2012079968 A JP 2012079968A JP 2012079968 A JP2012079968 A JP 2012079968A JP 2013210793 A JP2013210793 A JP 2013210793A
Authority
JP
Japan
Prior art keywords
content
area
display
marker
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012079968A
Other languages
Japanese (ja)
Inventor
Hiroshi Otsuka
紘史 大塚
Tomoki Moriai
智紀 盛合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2012079968A priority Critical patent/JP2013210793A/en
Publication of JP2013210793A publication Critical patent/JP2013210793A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a system, a method, and a program that adjust a display position of an AR content, and thereafter adjust the AR content on the basis of information on a background image in consideration of the shape, size, color tone, and the like of an area where the AR content is to be displayed.SOLUTION: A captured image is acquired, a displayable area of an AR content in the image is discriminated, the AR content is adjusted on the basis of information on the displayable area, and the adjusted AR content is displayed.

Description

本発明は、ＡＲ表示最適化のためのシステム、方法、およびプログラムに関する。より詳細には、ＡＲコンテンツを背景画像の情報に基づき調整して重畳表示するためのシステム、方法、およびプログラムに関する。   The present invention relates to a system, method, and program for optimizing AR display. More specifically, the present invention relates to a system, a method, and a program for adjusting and displaying an AR content based on background image information.

従来、ＡＲ（Augmented Reality）と呼ばれる、ディスプレイに表示された現実世界の画像の上に、文字や３次元画像などの付加情報（以下、ＡＲコンテンツという）を重畳表示させる技術が開発されている。特に、現実世界の画像に含まれる対象物の説明文などを重畳表示させるといった事例が見受けられる。また、ＡＲを始めとする現実世界と仮想世界を融合する技術分野において、仮想世界のコンテンツが現実世界の画像表示の妨げとならないように、仮想世界のコンテンツの表示位置を調整する技術が開発されている。例えば、特許文献１〜３に記載されるような技術が開発されている。   2. Description of the Related Art Conventionally, a technique called AR (Augmented Reality) has been developed to superimpose and display additional information (hereinafter referred to as AR content) such as characters and three-dimensional images on a real-world image displayed on a display. In particular, there are cases where explanatory texts of objects included in real-world images are superimposed and displayed. Also, in the technical field that fuses the real world and the virtual world, such as AR, a technology to adjust the display position of the virtual world content has been developed so that the virtual world content does not interfere with the display of the real world image. ing. For example, techniques as described in Patent Documents 1 to 3 have been developed.

特開２０１１−１４１８２８号公報JP 2011-141828 A 特開２００９−１３４６９３号公報JP 2009-134893 A 特開２００５−１３５３５５号公報JP 2005-135355 A

しかしながら、これらの技術では、コンテンツの表示位置を調整するだけであって、コンテンツそのものの調整は行なっていない。すなわち、ＡＲにおいて、背景画像である現実世界の画像の情報に基づいて、ＡＲコンテンツの表示位置を調整するだけである。ＡＲコンテンツそのものの調整は行なわれないので、ＡＲコンテンツの形状が表示される領域の形状に適さない場合や表示される領域が狭い場合は、ＡＲコンテンツの一部が欠落したり、ＡＲコンテンツが表示領域からはみ出て、背景画像である現実世界の画像の一部を隠してしまうという問題があった。また、ＡＲコンテンツと表示される領域との色合いが似ている場合は、ＡＲコンテンツが見えにくくなるという問題もあった。   However, these techniques only adjust the display position of the content, and do not adjust the content itself. That is, in AR, the display position of the AR content is only adjusted based on the information of the real world image that is the background image. Since the AR content itself is not adjusted, when the shape of the AR content is not suitable for the shape of the displayed area or when the displayed area is narrow, a part of the AR content is lost or the AR content is displayed. There is a problem in that a part of the real-world image that is the background image is hidden from the area. In addition, when the AR content and the displayed area are similar in color, there is also a problem that the AR content becomes difficult to see.

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、ＡＲコンテンツの表示位置を調整した上で、さらに、ＡＲコンテンツが表示される領域の形状、大きさ、および色合いなどを考慮して、背景画像の情報に基づいたＡＲコンテンツの調整を行なうシステム、方法、およびプログラムを提供することにある。   The present invention has been made in view of such a problem. The object of the present invention is to adjust the display position of the AR content, and further, the shape, size, and size of the area where the AR content is displayed. To provide a system, method, and program for adjusting AR content based on background image information in consideration of hue and the like.

本発明は、このような目的を達成するために、請求項１に記載の発明は、ＡＲコンテンツを表示するためのシステムであって、撮像された画像を取得する画像取得部と、前記画像内における前記ＡＲコンテンツの表示可能領域を識別する領域判定部と、前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するＡＲコンテンツ決定部と、前記決定された最大表示領域に前記ＡＲコンテンツを表示する表示部とを含むことを特徴とする。   In order to achieve the above object, the present invention provides a system for displaying AR content, wherein an image acquisition unit that acquires a captured image, An area determination unit that identifies a displayable area of the AR content, an AR content determination unit that determines a maximum rectangular area inscribed in the displayable area as a maximum display area in which the AR content can be displayed, and And a display unit for displaying the AR content in a maximum display area.

以上説明したように、本発明によれば、表示可能領域の情報に基づいた調整が行なわれたＡＲコンテンツを表示することが可能となる。   As described above, according to the present invention, it is possible to display AR content that has been adjusted based on information in the displayable area.

本発明の一実施形態に係るシステム構成図である。It is a system configuration figure concerning one embodiment of the present invention. ＡＲ処理端末の構成図である。It is a block diagram of AR processing terminal. ＡＲマーカー・ＡＲコンテンツ管理サーバの構成図である。It is a block diagram of an AR marker / AR content management server. 本発明の一実施形態に係るフローチャートである。It is a flowchart concerning one embodiment of the present invention. 本発明の一実施形態に係るＡＲ表示領域の判定のフローチャートである。It is a flowchart of determination of the AR display area which concerns on one Embodiment of this invention. 本発明の一実施形態に係るＡＲコンテンツの表示位置・内容の決定のフローチャートである。It is a flowchart of determination of the display position and content of AR content according to an embodiment of the present invention. ＡＲコンテンツの最大表示領域の算出方法を示す図である。It is a figure which shows the calculation method of the maximum display area of AR content. ＡＲコンテンツの表示データセットを示す図である。It is a figure which shows the display data set of AR content. 本発明の一実施形態例を示す図である。It is a figure which shows one embodiment of this invention.

以下、図面を参照しながら本発明の実施形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施形態に係るシステム構成図を示している。
このシステムは、ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２を含む。また、ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、ネットワーク１０３に接続されている。ＡＲ処理端末１０１およびＡＲマーカー・ＡＲコンテンツ管理サーバ１０２については、図２および図３を参照しながら詳細に述べる。 FIG. 1 shows a system configuration diagram according to an embodiment of the present invention.
This system includes an AR processing terminal 101 and an AR marker / AR content management server 102. The AR processing terminal 101 and the AR marker / AR content management server 102 are connected to a network 103. The AR processing terminal 101 and the AR marker / AR content management server 102 will be described in detail with reference to FIGS.

図２は、ＡＲ処理端末１０１の構成図を示している。
ＡＲ処理端末１０１は、カメラ部で撮像した画像にＡＲコンテンツを重畳表示してディスプレイ部に出力する端末である。また、ＡＲ処理端末１０１には、カメラ２０１、画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６、ディスプレイ２０７、ＡＲマーカー・ＡＲコンテンツ取得部２０８が含まれる。 FIG. 2 shows a configuration diagram of the AR processing terminal 101.
The AR processing terminal 101 is a terminal that superimposes and displays the AR content on the image captured by the camera unit and outputs it to the display unit. The AR processing terminal 101 includes a camera 201, an image acquisition unit 202, an AR marker detection unit 203, an AR content display area determination unit 204, an AR content determination unit 205, an AR content display unit 206, a display 207, an AR marker / AR. A content acquisition unit 208 is included.

それぞれで行なわれる処理については、図４を参照しながら詳細に述べる。   The processing performed in each will be described in detail with reference to FIG.

なお、本明細書および図面では、カメラ２０１は、ＡＲ処理端末１０１に内蔵されたカメラとして記載されているが、ＡＲ処理端末１０１とは別の端末であってもよい。すなわち、ＡＲ処理端末１０１とは別の端末であるカメラで撮像された画像を、画像取得部２０２が取得して、本発明を実施することも可能である。   In the present specification and drawings, the camera 201 is described as a camera built in the AR processing terminal 101, but may be a terminal different from the AR processing terminal 101. That is, it is also possible for the image acquisition unit 202 to acquire an image captured by a camera that is a terminal different from the AR processing terminal 101, and to implement the present invention.

また、本明細書および図面においてＡＲ処理端末１０１に含まれている、画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６の一部または全部は、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２に含まれてもよい。   Also, one of the image acquisition unit 202, the AR marker detection unit 203, the AR content display area determination unit 204, the AR content determination unit 205, and the AR content display unit 206 included in the AR processing terminal 101 in the present specification and drawings. The part or the whole may be included in the AR marker / AR content management server 102.

図３は、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２の構成図を示している。
ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、ＡＲマーカーやＡＲコンテンツに関するデータを管理し、ＡＲ処理端末１０１からの要求に応じて、ＡＲ処理端末１０１へデータを送信するサーバである。ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２には、データセット３０１０を有するＡＲマーカー・ＡＲコンテンツフォルダ３０１が含まれる。さらに、データセット３０１０には、ＡＲマーカー検出データ３０１１、ＡＲコンテンツデータ３０１２、デザイン情報３０１３、デフォルト表示位置情報３０１４が含まれる。 FIG. 3 shows a configuration diagram of the AR marker / AR content management server 102.
The AR marker / AR content management server 102 is a server that manages data related to AR markers and AR content, and transmits data to the AR processing terminal 101 in response to a request from the AR processing terminal 101. The AR marker / AR content management server 102 includes an AR marker / AR content folder 301 having a data set 3010. Further, the data set 3010 includes AR marker detection data 3011, AR content data 3012, design information 3013, and default display position information 3014.

なお、本明細書および図面では、データセット３０１０がＡＲマーカー・ＡＲコンテンツ管理サーバ１０２に格納されるよう記載されているが、データセット３０１０は、ＡＲ処理端末１０１に格納されていてもよいし、ＡＲ処理端末１０１とは別の端末であるカメラ端末に格納されていてもよい。   In the present specification and drawings, it is described that the data set 3010 is stored in the AR marker / AR content management server 102. However, the data set 3010 may be stored in the AR processing terminal 101. It may be stored in a camera terminal which is a terminal different from the AR processing terminal 101.

ＡＲマーカー検出データ３０１１は、カメラ部で撮像した画像内にＡＲマーカーが存在するかを検出するために用いられるデータである。ＡＲマーカー検出データ３０１１には、検出用の特徴点データなどが含まれる。なお、マッチング方式によって、ＡＲマーカー検出データ３０１１には、さまざまなデータが含まれうる。   The AR marker detection data 3011 is data used to detect whether an AR marker is present in an image captured by the camera unit. The AR marker detection data 3011 includes detection feature point data and the like. Depending on the matching method, the AR marker detection data 3011 can include various data.

なお、ＡＲマーカーは、ＡＲコンテンツを表示するための基準となる情報である。すなわち、ＡＲ処理端末１０１は、ＡＲマーカーを含む画像を取得すると、ディスプレイ上にＡＲコンテンツを表示することが可能となる。ＡＲマーカーには、ＡＲ専用のマーカーのほかに、人物の顔や雑誌の表紙などのデータも含まれる。   The AR marker is information serving as a reference for displaying the AR content. That is, when the AR processing terminal 101 acquires an image including an AR marker, the AR content can be displayed on the display. The AR marker includes data such as a person's face and a magazine cover in addition to the AR-specific marker.

ＡＲコンテンツデータ３０１２は、カメラ部で撮像された画像に重畳表示されるコンテンツのデータである。ＡＲコンテンツデータ３０１２には、ＨＴＭＬデータ、テキストデータ、画像データなどが含まれる。また、ＡＲコンテンツデータ３０１２は、ＡＲマーカーに対応付けられている。すなわち、あるＡＲマーカーが取得されると、このＡＲマーカーに対応するＡＲコンテンツが表示される。   The AR content data 3012 is content data that is displayed superimposed on the image captured by the camera unit. The AR content data 3012 includes HTML data, text data, image data, and the like. The AR content data 3012 is associated with an AR marker. That is, when an AR marker is acquired, AR content corresponding to the AR marker is displayed.

デザイン情報３０１３は、ＡＲコンテンツをどのように表示するかを示す情報である。デザイン情報３０１３には、ＣＳＳなどのスタイルシート、ＡＲコンテンツを表示する大きさ（例えば、縦・横のピクセル数など）、アスペクト比などが含まれる。   The design information 3013 is information indicating how to display the AR content. The design information 3013 includes a style sheet such as CSS, a size for displaying AR content (for example, the number of vertical and horizontal pixels), an aspect ratio, and the like.

デフォルト表示位置情報３０１４は、ＡＲコンテンツをＡＲマーカーに対してどの位置に表示するかのデフォルト値を示す情報である。デフォルト表示位置情報３０１４には、例えば、ＡＲマーカーから右に１００ピクセル、上に５０ピクセルといった情報が含まれる。なお、本発明を利用してＡＲコンテンツの表示位置を決定できなかった場合は、このデフォルト表示位置情報３０１４に基づき、ＡＲコンテンツが表示される。   The default display position information 3014 is information indicating a default value indicating at which position the AR content is displayed with respect to the AR marker. The default display position information 3014 includes, for example, information such as 100 pixels to the right and 50 pixels above the AR marker. If the display position of the AR content cannot be determined using the present invention, the AR content is displayed based on the default display position information 3014.

図４は、本発明の一実施形態に係るフローチャートを示している。   FIG. 4 shows a flowchart according to an embodiment of the present invention.

ステップ４０１において、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２にて、ＡＲマーカー検出データ３０１１が作成される。さらに、ＡＲマーカーに対応付けられたＡＲコンテンツ３０１２が作成される。これらのＡＲマーカー検出データ３０１１およびＡＲコンテンツ３０１２を含むデータセット３０１０は、ＡＲマーカー・ＡＲコンテンツフォルダ３０１に記録される。別の実施形態では、ＡＲマーカー・ＡＲコンテンツ管理サーバ１０２は、予め作成されたデータセット３０１０をＡＲマーカー・ＡＲコンテンツフォルダ３０１に記録してもよい。   In step 401, AR marker detection data 3011 is created in the AR marker / AR content management server 102. Furthermore, AR content 3012 associated with the AR marker is created. A data set 3010 including the AR marker detection data 3011 and the AR content 3012 is recorded in the AR marker / AR content folder 301. In another embodiment, the AR marker / AR content management server 102 may record a previously created data set 3010 in the AR marker / AR content folder 301.

ステップ４０２において、ＡＲ処理端末１０１は、データセット３０１０を取得する。この取得は、ＡＲ処理端末１０１の起動時に行なうこともできるし、起動後の任意の時に行なうこともできる。別の実施形態では、ＡＲ処理端末１０１は、ＡＲマーカー検出データ３０１１のみを取得しておいて、ＡＲマーカーを含む画像を取得した後に、そのＡＲマーカーに対応付けられたＡＲコンテンツデータ３０１２、デザイン情報３０１３、デフォルト表示位置情報３０１４を取得するようにしてもよい。さらに別の実施形態では、ＡＲ処理端末１０１に含まれるアプリケーション内に、データセット３０１０を組み込んでおいてもよい。したがって、本発明においては、あらかじめデータセット３０１０が格納されている場所、ＡＲ処理端末１０１がデータセット３０１０を取得するタイミングについては問わない。   In step 402, the AR processing terminal 101 acquires a data set 3010. This acquisition can be performed when the AR processing terminal 101 is activated, or can be performed at any time after activation. In another embodiment, the AR processing terminal 101 acquires only the AR marker detection data 3011, acquires an image including the AR marker, and then acquires AR content data 3012 and design information associated with the AR marker. 3013 and default display position information 3014 may be acquired. In yet another embodiment, the data set 3010 may be incorporated in an application included in the AR processing terminal 101. Therefore, in the present invention, the place where the data set 3010 is stored in advance and the timing at which the AR processing terminal 101 acquires the data set 3010 are irrelevant.

このステップ４０２は、ＡＲ処理端末１０１のＡＲマーカー・ＡＲコンテンツ取得部２０８で実行される。   This step 402 is executed by the AR marker / AR content acquisition unit 208 of the AR processing terminal 101.

ステップ４０３において、ＡＲ処理端末１０１は、カメラ２０１を介して、画像を取得する。この画像は、カメラ２０１で撮像された、ＡＲコンテンツが重畳表示される背景画像である。なお、この画像には、静止画および動画が含まれる。   In step 403, the AR processing terminal 101 acquires an image via the camera 201. This image is a background image captured by the camera 201 and overlaid with AR content. Note that this image includes a still image and a moving image.

このステップ４０３は、画像取得部２０２で実行される。   This step 403 is executed by the image acquisition unit 202.

ステップ４０４において、ＡＲ処理端末１０１は、ＡＲマーカーを検出する。具体的には、ステップ４０３において取得した画像内から、ステップ４０２において取得したＡＲマーカー検出データ３０１１を用いてＡＲマーカーを探索して、そのＡＲマーカーの位置情報を取得する。ＡＲマーカーの位置情報には、検出番号（１、２、３…、ｎなど）、検出ＡＲマーカー（マーカー１、マーカー２など）、検出したＡＲマーカーの位置座標（（１２０，３０）、（４０，１５０）など）が含まれる。   In step 404, the AR processing terminal 101 detects an AR marker. Specifically, the AR marker is searched from the image acquired in step 403 using the AR marker detection data 3011 acquired in step 402, and the position information of the AR marker is acquired. The AR marker position information includes a detection number (1, 2, 3,..., N, etc.), a detected AR marker (marker 1, marker 2, etc.), and a detected AR marker position coordinate ((120, 30), (40 , 150)).

このステップ４０４は、ＡＲマーカー検出部２０３で実行される。   This step 404 is executed by the AR marker detection unit 203.

ステップ４０５において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示領域を判定する。具体的には、ステップ４０３において取得した画像を複数の領域に分割して、分割された各領域をＡＲコンテンツ表示可能領域と表示不可領域とに分類する。さらに具体的な処理については、図５を参照しながら詳細に述べる。   In step 405, the AR processing terminal 101 determines an AR content display area. Specifically, the image acquired in step 403 is divided into a plurality of areas, and each divided area is classified into an AR content displayable area and a non-displayable area. More specific processing will be described in detail with reference to FIG.

このステップ４０５は、ＡＲコンテンツ表示領域判定部２０４で実行される。   This step 405 is executed by the AR content display area determination unit 204.

ステップ４０６において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示位置・内容を決定する。具体的には、ステップ４０４において検出されたＡＲマーカーごとに、ＡＲコンテンツの最大表示領域を決定して、ＡＲコンテンツの調整をする。すなわち、ステップ４０４において取得されたＡＲマーカーの位置情報に基づき、ＡＲマーカーと表示可能領域との距離を算出して、最も近い表示可能領域を選択する。この選択後、選択された表示可能領域の形状、大きさ、および色合いに合わせて、表示可能領域に内接する最大表示領域を決定して、さらにＡＲコンテンツの表示量および表示色の調整を行なう。さらに具体的な処理については、図６を参照しながら詳細に述べる。   In step 406, the AR processing terminal 101 determines the display position / content of the AR content. Specifically, the AR content maximum display area is determined for each AR marker detected in step 404, and the AR content is adjusted. That is, based on the position information of the AR marker acquired in step 404, the distance between the AR marker and the displayable area is calculated, and the closest displayable area is selected. After this selection, the maximum display area inscribed in the displayable area is determined in accordance with the shape, size and color of the selected displayable area, and the display amount and display color of the AR content are further adjusted. More specific processing will be described in detail with reference to FIG.

このステップ４０６は、ＡＲコンテンツ決定部２０５で実行される。   This step 406 is executed by the AR content determination unit 205.

ステップ４０７において、ＡＲ処理端末１０１は、ディスプレイ２０７を介して、ＡＲコンテンツを表示する。具体的には、ＡＲコンテンツは、ステップ４０６において決定されたＡＲコンテンツの最大表示領域に表示される。また、このＡＲコンテンツは、ステップ４０６において決定された表示量・表示色で表示される。   In step 407, the AR processing terminal 101 displays the AR content via the display 207. Specifically, the AR content is displayed in the maximum display area of the AR content determined in step 406. The AR content is displayed with the display amount and display color determined in step 406.

このステップ４０７は、ＡＲコンテンツ表示部２０６で実行される。   This step 407 is executed by the AR content display unit 206.

図５は、本発明の一実施形態に係るＡＲ表示領域の判定のフローチャートを示している。   FIG. 5 shows a flowchart of the determination of the AR display area according to an embodiment of the present invention.

ステップ５０１において、ＡＲ処理端末１０１は、カメラで撮像された画像を複数の領域に分割する。この分割には、分割統合法、領域成長法、特徴空間でのクラスタリングといった任意の手法を用いることが可能である。例えば、分割統合法を用いた場合は、画像を４分割して、分割された各部分画像の均一性を評価する。この評価の結果、不均一であると判定された場合、判定された部分画像をさらに４分割する。これらの処理を分割処理が発生しなくなるまで（すなわち、不均一であると判定されなくなるまで）実行し、画像を木構造に分割する。その後、木構造の終端ノードに対応する隣接部分画像の類似性を評価する。この評価の結果、類似すると判定された場合、判定された部分画像を統合する。これらの処理を統合処理が発生しなくなるまで（すなわち、類似すると判定されなくなるまで）実行する。   In step 501, the AR processing terminal 101 divides an image captured by the camera into a plurality of regions. For this division, any method such as a division integration method, a region growth method, or clustering in a feature space can be used. For example, when the division integration method is used, the image is divided into four and the uniformity of each divided partial image is evaluated. As a result of this evaluation, if it is determined that the image is not uniform, the determined partial image is further divided into four. These processes are executed until the dividing process does not occur (that is, until it is not determined to be non-uniform), and the image is divided into a tree structure. Thereafter, the similarity of adjacent partial images corresponding to the terminal node of the tree structure is evaluated. As a result of this evaluation, if it is determined that they are similar, the determined partial images are integrated. These processes are executed until no integration process occurs (that is, until it is not determined that they are similar).

ステップ５０２において、ＡＲ処理端末１０１は、ラベル付けを行なう。例えば、ステップ５０１における領域分割の結果、画像がｎ個の領域に分割されたとすると、各領域に、１、２、３…、ｎとラベリングを行なう。さらに、ステップ５０２において、ＡＲ処理端末１０１は、ラベリングされた各領域の中心座標を算出する。この中心座標は、ステップ６０１において、ＡＲマーカーと各領域との距離を算出するために各領域の位置座標として用いられる。さらに、この中心座標は、ステップ６０２において、ＡＲコンテンツの最大表示領域を算出するための初期点の座標として用いられる。   In step 502, the AR processing terminal 101 performs labeling. For example, if the image is divided into n regions as a result of the region division in step 501, each region is labeled 1, 2, 3,..., N. Furthermore, in step 502, the AR processing terminal 101 calculates the center coordinates of each labeled region. In step 601, the center coordinates are used as the position coordinates of each area in order to calculate the distance between the AR marker and each area. Further, the central coordinates are used as the coordinates of the initial point for calculating the maximum display area of the AR content in step 602.

ステップ５０３において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域の画素数を算出する。   In step 503, the AR processing terminal 101 calculates the number of pixels in each area labeled in step 502.

ステップ５０４において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域内に含まれるエッジ、つまり領域内の画像からエッジを抽出する。このエッジ抽出には、微分フィルタ、Prewitt filter、Sobel filterといった任意の手法を用いることが可能である。さらに、ステップ５０４において、ＡＲ処理端末１０１は、抽出されたエッジの画素数を算出する。   In step 504, the AR processing terminal 101 extracts an edge included in each area labeled in step 502, that is, an edge from the image in the area. For this edge extraction, any method such as a differential filter, a Prewitt filter, or a Sobel filter can be used. Further, in step 504, the AR processing terminal 101 calculates the number of pixels of the extracted edge.

ステップ５０５において、ＡＲ処理端末１０１は、ステップ５０２においてラベリングされた各領域のエッジ密度を算出する。具体的には、式：エッジ密度＝抽出されたエッジの画素数（ａ）／各領域の画素数（ｂ）、で算出する。なお、抽出されたエッジの画素数（ａ）は、ステップ５０４において算出されたものである。また、各領域の画素数（ｂ）は、ステップ５０３において算出されたものである。   In step 505, the AR processing terminal 101 calculates the edge density of each area labeled in step 502. Specifically, it is calculated by the formula: edge density = number of extracted edge pixels (a) / number of pixels in each region (b). Note that the number of extracted edge pixels (a) is calculated in step 504. The number of pixels (b) in each area is calculated in step 503.

ステップ５０６において、ＡＲ処理端末１０１は、各領域を表示可能領域と表示不可領域とに分類する。具体的には、ステップ５０３において算出された各領域の画素数が閾値よりも多く、かつ、ステップ５０５において算出されたエッジ密度が閾値より低い領域を表示可能領域と設定する。また、それ以外の領域を表示不可領域と設定する。なお、いずれの閾値もそれぞれ予め設定されているものとする。また、ＡＲコンテンツ表示領域判定部２０４は、表示可能領域データを作成する。この表示可能領域データには、ラベル番号（１、２、３…、ｎなど）、中心座標（（ｘ１ｃ、ｘ１ｃ）など）、構成画素情報（画素１（ｘ１１，ｙ１１）、画素２（ｘ１２，ｙ１２）、画素３（ｘ１３，ｙ１３）など）などが含まれる。   In step 506, the AR processing terminal 101 classifies each area into a displayable area and a non-displayable area. Specifically, an area in which the number of pixels in each area calculated in step 503 is larger than a threshold and the edge density calculated in step 505 is lower than the threshold is set as a displayable area. Further, the other area is set as a non-displayable area. Note that each threshold value is set in advance. In addition, the AR content display area determination unit 204 creates displayable area data. This displayable area data includes label numbers (1, 2, 3,..., N, etc.), center coordinates ((x1c, x1c), etc.), constituent pixel information (pixel 1 (x11, y11), pixel 2 (x12, y12), pixel 3 (x13, y13), etc.).

図６は、本発明の一実施形態に係るＡＲコンテンツの表示位置・内容の決定のフローチャートを示している。   FIG. 6 shows a flowchart of determining the display position / content of AR content according to an embodiment of the present invention.

ステップ６０１において、ＡＲ処理端末１０１は、ステップ４０４において検出されたＡＲマーカーごとに、ＡＲコンテンツ表示可能領域を決定する。具体的には、ステップ４０４において取得されたＡＲマーカーの位置情報およびステップ５０２において算出された各領域の中心座標に基づき、ＡＲマーカーと各表示可能領域との距離を算出して、最も近い表示可能領域を選択する。   In step 601, the AR processing terminal 101 determines an AR content displayable area for each AR marker detected in step 404. Specifically, based on the position information of the AR marker acquired in step 404 and the center coordinates of each area calculated in step 502, the distance between the AR marker and each displayable area is calculated, and the closest display is possible. Select an area.

ステップ６０２において、ＡＲ処理端末１０１は、ＡＲコンテンツの最大表示領域を決定する。すなわち、ステップ６０１において決定された表示可能領域内で、ＡＲコンテンツの表示に適した最大部分を決定する。というのも、表示可能領域の形状によっては、表示可能領域のすべてにＡＲコンテンツを表示すると、ＡＲコンテンツが見えにくくなる場合がある。したがって、凹凸を有する表示可能領域に内接する最大の四角形を算出して、この四角形内にＡＲコンテンツを表示する。以下で、図７を参照しながら詳細に述べる。   In step 602, the AR processing terminal 101 determines the maximum display area of the AR content. That is, the maximum portion suitable for display of the AR content is determined within the displayable area determined in step 601. This is because, depending on the shape of the displayable area, when the AR content is displayed in the entire displayable area, the AR content may be difficult to see. Therefore, the largest rectangle inscribed in the displayable area having the unevenness is calculated, and the AR content is displayed in this rectangle. This will be described in detail below with reference to FIG.

図７は、ＡＲコンテンツの最大表示領域の算出方法を示している。
ステップ７０１において、初期点（例えば、決定された表示可能領域の中心座標）を設定する。ステップ７０２において、この初期点から上下左右に最大表示領域を拡張する。この拡張は、デザイン情報３０１３に含まれるアスペクト比に基づいて行なわれる。例えば、アスペクト比が３：４であれば、縦３ピクセル、横４ピクセルずつ拡張することとなる。ステップ７０３において、表示可能領域のエッジ（領域の枠）に接触すると、ステップ７０４において、接触した箇所とは反対方向に、エッジに接触するまで最大表示領域を拡張する。ステップ７０５において、確定した最大表示領域の中心点を算出する。また、ディスプレイ２０７の縦・横のピクセル数に基づいて、ステップ７０５において、最大表示領域の大きさ（画素数など）を算出する。 FIG. 7 shows a method for calculating the maximum display area of AR content.
In step 701, an initial point (for example, the determined center coordinates of the displayable area) is set. In step 702, the maximum display area is expanded vertically and horizontally from the initial point. This expansion is performed based on the aspect ratio included in the design information 3013. For example, if the aspect ratio is 3: 4, the pixel is expanded by 3 pixels vertically and 4 pixels horizontally. In step 703, when the edge of the displayable area (area frame) is touched, in step 704, the maximum display area is expanded in the direction opposite to the touched position until the edge is touched. In step 705, the center point of the determined maximum display area is calculated. Further, based on the number of vertical and horizontal pixels of the display 207, in step 705, the size of the maximum display area (such as the number of pixels) is calculated.

なお、１つの表示可能領域内に、複数の最大表示領域を設定することも可能である。この場合、上記のステップ７０５において最大表示領域を算出後、残った表示可能領域（すなわち、表示可能領域から算出された最大表示領域を除いた領域）内で初期点を設定し、上記のステップ７０１〜７０５と同様の処理を行なうことによって、複数の最大表示領域を設定することができる。   A plurality of maximum display areas can be set in one displayable area. In this case, after calculating the maximum display area in the above step 705, an initial point is set in the remaining displayable area (that is, the area excluding the maximum display area calculated from the displayable area), and the above step 701 is performed. A plurality of maximum display areas can be set by performing the same processing as in ˜705.

図６に戻り、ステップ６０３において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示量を決定する。すなわち、最大表示領域の大きさによって、表示するＡＲコンテンツの内容を調整して、ＡＲコンテンツを見えやすくする。例えば、最大表示領域が狭い場合は、表示するＡＲコンテンツの内容を要約して表示量を減らす。   Returning to FIG. 6, in step 603, the AR processing terminal 101 determines the display amount of the AR content. That is, the content of the AR content to be displayed is adjusted according to the size of the maximum display area so that the AR content can be easily seen. For example, when the maximum display area is narrow, the contents of the AR content to be displayed are summarized to reduce the display amount.

ＡＲコンテンツの表示量の決定方法としては、いくつかの方法が考えられる。例えば、第１の実施例として、サマリを記述する方法について説明する。まず、ＡＲコンテンツを、サマリ部と通常部とに分けて記述して格納しておく。サマリ部は、通常部の記述を要約したものである。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）が、閾値以上であれば通常部、閾値より小さければサマリ部を表示するよう決定する。   Several methods are conceivable as a method for determining the display amount of the AR content. For example, as a first embodiment, a method for describing a summary will be described. First, AR content is described and stored in a summary part and a normal part. The summary part summarizes the description of the normal part. In step 603, it is determined to display the normal portion if the size (number of pixels, etc.) of the maximum display area of the AR content is equal to or larger than the threshold, and to display the summary portion if smaller than the threshold.

第２の実施例として、コンテンツレベルを設定する方法について説明する。まず、ＡＲコンテンツを複数に分けて記述して格納しておく。これらの複数に分けられた記述には、それぞれレベルが設定されている。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたレベルの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、レベルＡのコンテンツを表示、画素数が１０００〜５０００の範囲である場合、レベルＢのコンテンツを表示、画素数が５０００〜２００００の範囲である場合、レベルＣのコンテンツを表示といった設定をすることができる。   As a second embodiment, a method for setting a content level will be described. First, AR content is divided into a plurality of descriptions and stored. Each of these divided descriptions has a level set. In step 603, it is determined to display a description at a level corresponding to the size (number of pixels, etc.) of the maximum display area of the AR content. For example, when the number of pixels is in the range of 0 to 1000, level A content is displayed. When the number of pixels is in the range of 1000 to 5000, level B content is displayed and the number of pixels is in the range of 5000 to 20000. In this case, it is possible to make a setting such as displaying level C content.

第３の実施例として、階層情報を設定したタグを利用する方法について説明する。まず、ＡＲコンテンツを階層情報を設定したタグを利用して記述して格納しておく。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたタグまでの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、タグ１まで表示、画素数が１０００〜５０００の範囲である場合、タグ２まで表示、画素数が５０００〜２００００の範囲である場合、タグ３まで表示といった設定をすることができる。   As a third embodiment, a method of using a tag in which hierarchical information is set will be described. First, AR content is described and stored using tags set with hierarchical information. In step 603, it is determined to display the description up to the tag corresponding to the size (number of pixels, etc.) of the maximum display area of the AR content. For example, when the number of pixels is in the range of 0 to 1000, display up to tag 1, when the number of pixels is in the range of 1000 to 5000, display up to tag 2, and when the number of pixels is in the range of 5000 to 20000, tag 3 You can make settings such as display.

第４の実施例として、ＨＴＭＬのタグレベルを設定する方法について説明する。まず、ＡＲコンテンツをＨＴＭＬによって記述して格納しておく。ステップ６０３において、ＡＲコンテンツの最大表示領域の大きさ（画素数など）に応じたＨＴＭＬタグまでの記述を表示するよう決定する。例えば、画素数が０〜１０００の範囲である場合、ＨＴＭＬタグ＜ｈ１＞まで表示、画素数が１０００〜５０００の範囲である場合、ＨＴＭＬタグ＜ｈ２＞まで表示、画素数が５０００〜２００００の範囲である場合、ＨＴＭＬタグ＜ｈ３＞まで表示といった設定をすることができる。   As a fourth embodiment, a method for setting the HTML tag level will be described. First, AR content is described and stored in HTML. In step 603, it is determined to display a description up to an HTML tag corresponding to the size (number of pixels, etc.) of the maximum display area of the AR content. For example, when the number of pixels is in the range of 0 to 1000, the HTML tag <h1> is displayed, and when the number of pixels is in the range of 1000 to 5000, the HTML tag <h2> is displayed, and the number of pixels is 5000 to 20000. In such a case, it is possible to make a setting such as displaying up to HTML tag <h3>.

ステップ６０４において、ＡＲ処理端末１０１は、ＡＲコンテンツの表示色を決定する。すなわち、最大表示領域の色合いによって、表示するＡＲコンテンツの色合いを調整して、ＡＲコンテンツを見えやすくする。具体的には、ＡＲコンテンツの色を、最大表示領域の色（例えば青色）の補色（例えば黄色）へと変換する。   In step 604, the AR processing terminal 101 determines the display color of the AR content. In other words, the AR content to be displayed is adjusted by adjusting the color of the AR content to be displayed according to the color of the maximum display area. Specifically, the color of the AR content is converted into a complementary color (for example, yellow) of the color (for example, blue) of the maximum display area.

ＡＲコンテンツの表示色の決定方法について説明する。まず、最大表示領域の平均画素値を算出する。次に、最大表示領域はすべて、この平均画素値で占められているとみなす。次に、この平均画素値の補色を算出する。次に、この算出された補色をＡＲコンテンツの表示色と決定して、ＡＲコンテンツの色をこの決定色へ変換する。   A method for determining the display color of the AR content will be described. First, the average pixel value of the maximum display area is calculated. Next, it is considered that all the maximum display areas are occupied by this average pixel value. Next, a complementary color of the average pixel value is calculated. Next, the calculated complementary color is determined as the display color of the AR content, and the color of the AR content is converted to the determined color.

なお、補色の算出方法としては、いくつかの方法が考えられる。例えば、まず、Ｒ、Ｇ、Ｂの値のうちの最大値および最小値を求める（Ｒ１０２，Ｇ１５３，Ｂ５１であれば、最大値１５３・最小値５１）。次に、この最大値と最小値とを加算する（最大値１５３と最小値５１とを加算して２０４）。次に、この加算した値から、元のＲＧＢ値をそれぞれ引くことによって（Ｒ：２０４−１０２，Ｇ：２０４−１５３，Ｂ：２０４−５１）、補色を算出することができる（補色：Ｒ１０２，Ｇ５１，Ｂ１５３）。   There are several methods for calculating the complementary color. For example, first, the maximum value and the minimum value among the values of R, G, and B are obtained (if R102, G153, and B51, the maximum value 153 and the minimum value 51). Next, the maximum value and the minimum value are added (maximum value 153 and minimum value 51 are added 204). Next, by subtracting the original RGB values from the added values (R: 204-102, G: 204-153, B: 204-51), a complementary color can be calculated (complementary color: R102, G51, B153).

さらに、ＡＲコンテンツに含まれる文字の色を変更することも可能である。例えば、算出された補色の色の輝度値に応じて、文字の色を白または黒に設定することができる。具体的には、輝度値が１２７以下の場合は、文字の色を白色に設定して、輝度値が１２８以上の場合は、文字の色を黒色に設定することができる。   Furthermore, it is possible to change the color of characters included in the AR content. For example, the character color can be set to white or black according to the calculated luminance value of the complementary color. Specifically, when the luminance value is 127 or less, the character color can be set to white, and when the luminance value is 128 or more, the character color can be set to black.

また、文字の色の設定方法としては、背景色と文字のコントラストから見やすさを算出する方法を使用することもできる。まず、前景および背景のそれぞれの色のＲＧＢ値を０〜２５５の１０進数で表わす（それぞれＲ、Ｇ、Ｂとする）。次に、明るさを計算式：((Ｒ×２９９)＋(Ｇ×５８７)＋(Ｂ×１４４))／１０００で算出する。次に、輝度Ｌ１、Ｌ２を計算式：Ｒ’×．２１２６＋Ｇ’×．７１５２＋Ｂ’×．０７２２で算出する。ただし、Ｒ’、Ｇ’、Ｂ’は、Ｒならば(Ｒ／２５５)^２.２ｓＲ＝Ｒ／２５５; Ｒ’＝(ｓＲ＜＝０．０３９２８)？ｓＲ／１２．９２：((ｓＲ＋０．０５５)/１．０５５)^２．４;としてガンマ補正したリニア化ＲＧＢの値とし、Ｌ１は前景、背景のうち輝度の大きい方の値、Ｌ２は小さい方の値とする。ここで、前景、背景色の明るさの差は 125 以上あることを基準とする。また、色の差を計算式：(max(Rb,Rf)−min(Rb,Rf))＋(max(Gb,Gf)−min(Gb,Gf))＋(max(Bb,Bf)−min(Bb,Bf))で算出する（Rbは背景色のＲ、Gfは前景色のＧなど）。輝度比は(Ｌ１＋．０５)／(Ｌ２＋．０５)で表し、４．５以上（文字サイズが１８ポイント以上、あるいは太字で１４ポイント以上なら３以上）あることを基準とする。色差は５００以上あることを基準とする。以上の条件を満たす色を、文字の色として設定することも可能である。   Further, as a method for setting the character color, a method for calculating the visibility from the contrast between the background color and the character can also be used. First, the RGB values of the foreground and background colors are represented by decimal numbers from 0 to 255 (respectively R, G, and B). Next, the brightness is calculated by a calculation formula: ((R × 299) + (G × 587) + (B × 144)) / 1000. Next, the luminances L1 and L2 are calculated using the formula: R ′ ×. 2126 + G ′ ×. 7152 + B ′ ×. It is calculated by 0722. However, if R ′, G ′, and B ′ are R, (R / 255) ^ 2.2 sR = R / 255; R ′ = (sR <= 0.03928)? sR / 12.92: ((sR + 0.055) /1.055) ^ 2.4; gamma-corrected linearized RGB values, L1 is the foreground and background of the higher luminance, and L2 is small The value of the direction. Here, the standard is that the difference in brightness between the foreground and background colors is 125 or more. The color difference is calculated by the formula: (max (Rb, Rf) −min (Rb, Rf)) + (max (Gb, Gf) −min (Gb, Gf)) + (max (Bb, Bf) −min (Bb, Bf)) (Rb is the background color R, Gf is the foreground color G, etc.). The luminance ratio is represented by (L1 + .05) / (L2 + .05), and is 4.5 or more (3 or more if the character size is 18 points or more, or 14 points or more in bold). The color difference is based on 500 or more. It is also possible to set a color satisfying the above conditions as a character color.

ステップ６０５において、ＡＲ処理端末１０１は、ステップ６０２において決定した最大表示領域に、ステップ６０３において決定した量、ステップ６０４において決定した色で、ＡＲコンテンツを画像に重畳させて表示する。ステップ６０２、６０３、６０４において決定された、ＡＲコンテンツの最大表示領域、量、色の情報に基づいて、データセットを調整することによって、表示データセットが生成される。表示データセットについては、以下で図８を参照しながら詳細に述べる。   In step 605, the AR processing terminal 101 displays the AR content superimposed on the image in the maximum display area determined in step 602 with the amount determined in step 603 and the color determined in step 604. A display data set is generated by adjusting the data set based on the AR content maximum display area, amount, and color information determined in steps 602, 603, and 604. The display data set will be described in detail below with reference to FIG.

図８は、ＡＲコンテンツの表示データセットを示している。
表示データセット８０１には、調整済みのＡＲコンテンツデータ８０２、調整済みのデザイン情報８０３、表示位置情報８０４が含まれる。 FIG. 8 shows a display data set of AR content.
The display data set 801 includes adjusted AR content data 802, adjusted design information 803, and display position information 804.

調整済みのＡＲコンテンツデータ８０２は、ステップ６０３において決定されたＡＲコンテンツの量に基づいて、ＡＲコンテンツ決定部２０５によって生成される。また、調整済みのＡＲコンテンツデータ８０２は、データセットに含まれるＡＲコンテンツデータを調整することによって生成される。   The adjusted AR content data 802 is generated by the AR content determination unit 205 based on the amount of AR content determined in step 603. The adjusted AR content data 802 is generated by adjusting the AR content data included in the data set.

調整済みのデザイン情報８０３は、ステップ６０４において決定されたＡＲコンテンツの色に基づいて、ＡＲコンテンツ決定部２０５によって生成される。また、調整済みのデザイン情報８０３は、データセットに含まれるデザイン情報を調整することによって生成される。   The adjusted design information 803 is generated by the AR content determination unit 205 based on the color of the AR content determined in step 604. The adjusted design information 803 is generated by adjusting the design information included in the data set.

表示位置情報８０４は、ステップ６０１および／またはステップ６０２において決定されたＡＲコンテンツを表示する位置情報を示す。   The display position information 804 indicates position information for displaying the AR content determined in step 601 and / or step 602.

図９は、本発明の一実施形態例を示している。
本システムには、カメラ９０１、ＡＲ重畳済み画像表示クライアント９０２、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３が含まれる。カメラ９０１、ＡＲ重畳済み画像表示クライアント９０２、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、ネットワークに接続されている。 FIG. 9 illustrates an example embodiment of the present invention.
This system includes a camera 901, an AR superimposed image display client 902, and an AR marker / AR content management server 903. The camera 901, the AR superimposed image display client 902, and the AR marker / AR content management server 903 are connected to a network.

カメラ９０１は、ＡＲ重畳済み画像表示クライアント９０２によって操作されることが可能である。また、カメラ９０１は、ロボットに内蔵されていてもよい。ＡＲ重畳済み画像表示クライアント９０２は、上記で説明したディスプレイ２０７を含む。ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、上記で説明した画像取得部２０２、ＡＲマーカー検出部２０３、ＡＲコンテンツ表示領域判定部２０４、ＡＲコンテンツ決定部２０５、ＡＲコンテンツ表示部２０６、ＡＲマーカー・ＡＲコンテンツ取得部２０８を含む。さらに、ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、データセット３０１０を含む。   The camera 901 can be operated by the AR superimposed image display client 902. The camera 901 may be built in the robot. The AR superimposed image display client 902 includes the display 207 described above. The AR marker / AR content management server 903 includes the image acquisition unit 202, the AR marker detection unit 203, the AR content display area determination unit 204, the AR content determination unit 205, the AR content display unit 206, and the AR marker / AR content described above. An acquisition unit 208 is included. Further, the AR marker / AR content management server 903 includes a data set 3010.

すなわち、ＡＲ重畳済み画像表示クライアント９０２は、カメラ９０１を操作することによって、このカメラを介して撮像を行なうことができる。ＡＲマーカー・ＡＲコンテンツ管理サーバ９０３は、カメラ９０１で撮像された画像およびＡＲコンテンツを、ＡＲ重畳済み画像表示クライアント９０２上で表示させることができる。   That is, the AR superimposed image display client 902 can take an image via this camera by operating the camera 901. The AR marker / AR content management server 903 can display the image captured by the camera 901 and the AR content on the AR superimposed image display client 902.

なお、本明細書では、ＡＲマーカーに基づきＡＲコンテンツを表示させる実施形態について説明したが、ＧＰＳなどから取得した位置情報に基づきＡＲコンテンツを表示させる実施形態においても、本発明を利用することができる。   In the present specification, the embodiment in which the AR content is displayed based on the AR marker has been described. However, the present invention can also be used in the embodiment in which the AR content is displayed based on position information acquired from GPS or the like. .

以上説明したように、本発明によると、表示可能領域の情報に基づいた調整が行なわれたＡＲコンテンツを表示することが可能となる。   As described above, according to the present invention, it is possible to display AR content that has been adjusted based on the information of the displayable area.

１０１ ＡＲ処理端末
１０２ ＡＲマーカー・ＡＲコンテンツ管理サーバ
１０３ ネットワーク
９０１ カメラ
９０２ ＡＲ重畳済み画像表示クライアント
９０３ ＡＲマーカー・ＡＲコンテンツ管理サーバ 101 AR processing terminal 102 AR marker / AR content management server 103 Network 901 Camera 902 AR superimposed image display client 903 AR marker / AR content management server

Claims (5)

ＡＲコンテンツを表示するためのシステムであって、
撮像された画像を取得する画像取得部と、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別する領域判定部と、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するＡＲコンテンツ決定部と、
前記決定された最大表示領域に前記ＡＲコンテンツを表示する表示部と
を含むことを特徴とするシステム。 A system for displaying AR content,
An image acquisition unit for acquiring a captured image;
An area determination unit for identifying a displayable area of the AR content in the image;
An AR content determination unit that determines a maximum rectangular area inscribed in the displayable area as a maximum display area in which the AR content can be displayed;
And a display unit for displaying the AR content in the determined maximum display area. 前記ＡＲコンテンツ決定部は、前記最大表示領域の画素数に応じて、前記ＡＲコンテンツの表示量を決定することを特徴とする請求項１に記載のシステム。   The system according to claim 1, wherein the AR content determination unit determines a display amount of the AR content according to the number of pixels of the maximum display area. 前記ＡＲコンテンツ決定部は、前記最大表示領域の色の補色を、前記ＡＲコンテンツの表示色として決定することを特徴とする請求項１に記載のシステム。   The system according to claim 1, wherein the AR content determination unit determines a complementary color of the color of the maximum display area as a display color of the AR content. ＡＲコンテンツを表示するための方法であって、
撮像された画像を取得するステップと、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別するステップと、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するステップと、
前記決定された最大表示領域に前記ＡＲコンテンツを表示するステップと
を含むことを特徴とする方法。 A method for displaying AR content, comprising:
Obtaining a captured image; and
Identifying a displayable area of the AR content in the image;
Determining a maximum rectangular area inscribed in the displayable area as a maximum display area capable of displaying the AR content;
Displaying the AR content in the determined maximum display area. コンピュータに、ＡＲコンテンツを表示させる方法を実行させるためのプログラムであって、前記方法は、
撮像された画像を取得するステップと、
前記画像内における前記ＡＲコンテンツの表示可能領域を識別するステップと、
前記表示可能領域に内接する最大の矩形領域を、前記ＡＲコンテンツを表示できる最大表示領域と決定するステップと、
前記決定された最大表示領域に前記ＡＲコンテンツを表示するステップと
を含むことを特徴とするプログラム。 A program for causing a computer to execute a method of displaying AR content, the method comprising:
Obtaining a captured image; and
Identifying a displayable area of the AR content in the image;
Determining a maximum rectangular area inscribed in the displayable area as a maximum display area capable of displaying the AR content;
Displaying the AR content in the determined maximum display area.
JP2012079968A 2012-03-30 2012-03-30 System, method, and program for optimizing ar display Pending JP2013210793A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012079968A JP2013210793A (en) 2012-03-30 2012-03-30 System, method, and program for optimizing ar display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012079968A JP2013210793A (en) 2012-03-30 2012-03-30 System, method, and program for optimizing ar display

Publications (1)

Publication Number Publication Date
JP2013210793A true JP2013210793A (en) 2013-10-10

Family

ID=49528575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012079968A Pending JP2013210793A (en) 2012-03-30 2012-03-30 System, method, and program for optimizing ar display

Country Status (1)

Country Link
JP (1) JP2013210793A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153169A (en) * 2014-02-14 2015-08-24 富士通株式会社 Terminal device, information processing device, display control method, and display control program
JP2016004292A (en) * 2014-06-13 2016-01-12 富士通株式会社 Terminal device, information processing system, and display control program
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
JP2021120901A (en) * 2019-07-03 2021-08-19 株式会社東芝 Wearable terminal, system, and method
US11741811B2 (en) 2015-09-01 2023-08-29 Kabushiki Kaisha Toshiba Electronic apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305867A (en) * 1995-04-28 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> Method and device for displaying and printing character image composite data
JPH1026967A (en) * 1996-07-12 1998-01-27 Toshiba Corp Picture processor
JP2002163670A (en) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc Device for presenting combined sense of reality and its controlling method
JP2008046806A (en) * 2006-08-14 2008-02-28 Nippon Telegr & Teleph Corp <Ntt> Image processing method, image processor, and program
JP2012033073A (en) * 2010-07-30 2012-02-16 Dainippon Printing Co Ltd Additional information service system and image pickup device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305867A (en) * 1995-04-28 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> Method and device for displaying and printing character image composite data
JPH1026967A (en) * 1996-07-12 1998-01-27 Toshiba Corp Picture processor
JP2002163670A (en) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc Device for presenting combined sense of reality and its controlling method
JP2008046806A (en) * 2006-08-14 2008-02-28 Nippon Telegr & Teleph Corp <Ntt> Image processing method, image processor, and program
JP2012033073A (en) * 2010-07-30 2012-02-16 Dainippon Printing Co Ltd Additional information service system and image pickup device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153169A (en) * 2014-02-14 2015-08-24 富士通株式会社 Terminal device, information processing device, display control method, and display control program
JP2016004292A (en) * 2014-06-13 2016-01-12 富士通株式会社 Terminal device, information processing system, and display control program
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
US10430655B2 (en) 2014-06-13 2019-10-01 Fujitsu Limited Augmented reality information processing system and augmented reality display control method with space information conversion and display control features
US11741811B2 (en) 2015-09-01 2023-08-29 Kabushiki Kaisha Toshiba Electronic apparatus and method
JP2021120901A (en) * 2019-07-03 2021-08-19 株式会社東芝 Wearable terminal, system, and method

Similar Documents

Publication Publication Date Title
Grasset et al. Image-driven view management for augmented reality browsers
EP3745339A1 (en) Method for implanting advertisements in video, and computer device
TWI669956B (en) Method, device, display terminal, and storage medium for processing augumented reality
TWI533027B (en) Color channels and optical markers
US9454836B2 (en) Object display device and object display method
JP5325267B2 (en) Object display device, object display method, and object display program
JP5793260B1 (en) Information processing apparatus, information processing method, and information processing program
JP4724247B2 (en) House change judgment method, house change judgment program, house change judgment image generation method, and house change judgment image
KR20140017527A (en) Image processing apparatus, display control method and program
CN109408008B (en) Image identification system and information display method thereof
JP2013203374A (en) Display device for vehicle, control method therefor, and program
JP2013210793A (en) System, method, and program for optimizing ar display
CN111104608A (en) Webpage data processing method and related device
US9177528B2 (en) Screen inspection device, screen inspection method, and program
WO2017215156A1 (en) Wallpaper processing method and device
CN116563570B (en) Color recognition method and device, electronic equipment and storage medium
US11308344B2 (en) Image processing apparatus, image forming apparatus, display apparatus, image processing method, and storage medium
US9361708B2 (en) Image processing device, image processing method
CN109885160B (en) Method and device for unfolding label in virtual space
CN111107264A (en) Image processing method, image processing device, storage medium and terminal
CN102663665A (en) Display method and edit method of stereo image graphic label with adaptive depth
CN107526489B (en) Picture adjusting method and device
US20150379750A1 (en) Image processing device, image processing method, information storage medium, and program
JP2015125543A (en) Line-of-sight prediction system, line-of-sight prediction method, and line-of-sight prediction program
CN102611906A (en) Method for displaying and editing stereoscopic video image-text label with adaptive depth

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150929