JP2017191245A

JP2017191245A - AR System

Info

Publication number: JP2017191245A
Application number: JP2016081391A
Authority: JP
Inventors: 豊田　治; Osamu Toyoda; 治豊田
Original assignee: Toyoda Res Institute Ltd; Toyoda Research Institute Ltd
Current assignee: Toyoda Res Institute Ltd; Toyoda Research Institute Ltd
Priority date: 2016-04-14
Filing date: 2016-04-14
Publication date: 2017-10-19

Abstract

PROBLEM TO BE SOLVED: To provide an AR system which can be applied in an environment where radio waves cannot be received.SOLUTION: A mobile communication device 30 having an imaging apparatus 32 and a display unit 34 includes: an AR marker storage apparatus 36 storing one or a plurality of AR markers in advance; a display data storage apparatus 37 storing display data associated with the stored AR markers; and a control unit 38 which determines whether the AR marker stored in the AR marker storage apparatus 36 is included in a captured image, and extracts display data corresponding to the AR marker from the display data storage apparatus 37 when a determination is made that the AR marker is included in the captured image, to be displayed on the display unit 34.SELECTED DRAWING: Figure 2

Description

本発明は、ＡＲマーカを使用したＡＲシステムに関する。 The present invention relates to an AR system using an AR marker.

ＡＲ（Augmented Reality）マーカを利用した拡張現実システム（本明細書中ではＡＲシステムと称する）が近年よく用いられている。
ＡＲシステムは、例えばスマートフォン、タブレットＰＣなどの携帯通信機器にあらかじめＡＲマーカを認識可能なアプリケーションソフトをインストールしておき、また拡張させるデータを携帯通信機器とデータ通信可能なサーバに記憶させておく。 Augmented reality systems using AR (Augmented Reality) markers (referred to herein as AR systems) are often used.
In the AR system, for example, application software capable of recognizing an AR marker is installed in advance in a mobile communication device such as a smartphone or a tablet PC, and data to be expanded is stored in a server capable of data communication with the mobile communication device.

携帯通信機器で、ＡＲマーカを含む箇所を撮影すると、ＡＲマーカを認識可能なアプリケーションソフトがＡＲマーカを認識する。認識されたＡＲマーカの種類に応じて、アプリケーションソフトは、サーバから必要なデータを受信する。
サーバから受信したデータは、携帯通信機器において、現実の撮影画像中の画像に重ねあわせて表示される（例えば、特許文献１参照）。 When a location including an AR marker is photographed with a mobile communication device, application software capable of recognizing the AR marker recognizes the AR marker. The application software receives necessary data from the server according to the recognized AR marker type.
The data received from the server is displayed superimposed on the image in the actual captured image on the mobile communication device (see, for example, Patent Document 1).

特開２０１２−１４１７７９号公報JP 2012-141777 A

従来のＡＲシステムによれば、携帯通信機器は撮影されたＡＲマーカの種類を認識し、ＡＲマーカの種類に基づいてサーバから必要なデータを受け取って表示させるようにしている。
しかし、例えば携帯通信機器の電波が届かない場所では、データをサーバから受け取ることができず、画像を重ねあわせて表示できないという課題がある。 According to the conventional AR system, the mobile communication device recognizes the type of the captured AR marker, receives necessary data from the server based on the AR marker type, and displays it.
However, there is a problem that, for example, in a place where radio waves of a mobile communication device do not reach, data cannot be received from the server and images cannot be displayed superimposed.

そこで、本発明は上記課題を解決すべくなされ、その目的とするところは、で電波が届かない環境下であっても適用させることができるＡＲシステムを提供することにある。 Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to provide an AR system that can be applied even in an environment where radio waves do not reach.

本発明にかかるＡＲシステムによれば、撮影装置と、撮影装置と連動して画像を表示する表示部とを具備する携帯通信機器に、１又は複数のＡＲマーカをあらかじめ記憶しているＡＲマーカ記憶装置と、ＡＲマーカ記憶装置に記憶されているＡＲマーカと対応づけされた表示用データが記憶されている表示用データ記憶装置と、撮影された画像に前記ＡＲマーカ記憶装置に記憶されているＡＲマーカが含まれているか否かを判断し、撮影された画像にＡＲマーカが含まれていると判断した場合に、ＡＲマーカに対応する表示用データを表示用データ記憶装置から取り出して前記表示部に表示させる制御部とを備えることを特徴としている。
この構成を採用することによって、あらかじめ携帯通信機器にＡＲマーカと表示用データを対応づけて記憶させておくので、電波が届かない環境であってもＡＲマーカを認識すれば表示部に表示用データを表示させることができる。 According to the AR system according to the present invention, an AR marker storage in which one or a plurality of AR markers are stored in advance in a mobile communication device including an imaging device and a display unit that displays an image in conjunction with the imaging device. A display data storage device in which display data associated with the AR marker stored in the AR marker storage device is stored, and an AR stored in the AR marker storage device in the captured image It is determined whether or not a marker is included, and when it is determined that an AR marker is included in the captured image, display data corresponding to the AR marker is extracted from the display data storage device and the display unit And a control unit to be displayed.
By adopting this configuration, the AR marker and the display data are stored in advance in the portable communication device so that the display data is displayed on the display unit if the AR marker is recognized even in an environment where radio waves do not reach. Can be displayed.

また、前記表示用データは、画像データ及び音声データの組み合わせであることを特徴としてもよい。 The display data may be a combination of image data and audio data.

また、前記ＡＲマーカはシールであることを特徴としてもよい。
この構成によれば、あらかじめ必要と思われる箇所又は場所にＡＲマーカのシール貼っておけばよい。 The AR marker may be a seal.
According to this configuration, an AR marker sticker may be pasted in a place or place that seems to be necessary in advance.

本発明によれば、電波が届かない場所でも画像を重ねあわせて表示できる。 According to the present invention, images can be superimposed and displayed even in places where radio waves do not reach.

ＡＲシステムの全体構成を示す説明図である。It is explanatory drawing which shows the whole structure of AR system. 携帯通信機器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a portable communication apparatus. ＡＲシステムの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of AR system.

本実施形態のＡＲシステムについて図面に基づいて説明する。
図１には、システム全体の概要について示す。
本実施形態のＡＲシステム２０は、携帯通信機器３０と、所定の場所に貼り付けられたＡＲマーカ１０とを有している。本実施形態のＡＲシステム２０としては、携帯通信機器３０とデータ通信可能なサーバは備えていなくてもよい。また、本実施形態のＡＲシステム２０においては、サーバを備えていてもよいが、必ずしもサーバと通信できなくても運用できる点が従来と異なっている。 The AR system of this embodiment will be described with reference to the drawings.
FIG. 1 shows an overview of the entire system.
The AR system 20 of the present embodiment includes a mobile communication device 30 and an AR marker 10 attached to a predetermined location. The AR system 20 of the present embodiment may not include a server capable of data communication with the mobile communication device 30. Further, the AR system 20 of the present embodiment may include a server, but is different from the conventional one in that it can be operated without necessarily communicating with the server.

また、図１ではＡＲマーカ１０の例として単にＭの字が記載されたものを図示しているが、通常は種々の図形などが考えられる。
例を挙げると、例えば何らのイベントの告知に用いるのであれば当該イベントのマスコットキャラクター、宗教の情報提供であれば当該宗教のシンボルマーク、災害時の避難経路提示であれば災害に関するマーク、ハラール認証に関する情報提供であればハラール認証マークなど、目的・用途に合わせて様々な図形を採用できる。 Further, in FIG. 1, an example in which the letter “M” is simply described as an example of the AR marker 10 is illustrated, but various figures are usually considered.
For example, if it is used to announce any event, it will be a mascot character of the event, if it is a religion, it will be a symbol mark of the religion, if it is an evacuation route at the time of a disaster, a mark related to the disaster, Halal certification Various information can be used according to the purpose and application, such as halal certification mark.

携帯通信機器３０は、スマートフォン、タブレットＰＣ、ウェアラブル端末、デジタルカメラなどを採用することができる。ＡＲシステム２０を構成するための携帯通信機器３０としては、カメラ等の撮影装置３２と、撮影装置３２によって撮影されている画像を表示する表示部３４とが設けられていればよい。したがって、本願の携帯通信機器３０としては、デジタルカメラも含まれるものであるとする。表示部３４としては液晶モニタを例として挙げることができ、さらにタッチパネル方式の液晶モニタを採用してもよい。 The mobile communication device 30 can employ a smartphone, a tablet PC, a wearable terminal, a digital camera, or the like. The mobile communication device 30 for configuring the AR system 20 may be provided with a photographing device 32 such as a camera and a display unit 34 that displays an image photographed by the photographing device 32. Accordingly, it is assumed that the mobile communication device 30 of the present application includes a digital camera. An example of the display unit 34 is a liquid crystal monitor, and a touch panel type liquid crystal monitor may be employed.

図２に、携帯通信機器の内部構成のブロック図を示す。
携帯通信機器３０は、撮影装置３２と、表示部３４とを備えることは上記のとおりである。そのほか、携帯通信機器３０は、１又は複数のＡＲマーカをあらかじめ記憶しているＡＲマーカ記憶装置３６と、１又は複数の表示用データをあらかじめ記憶している表示用データ記憶装置３７とを備えている。
ＡＲマーカ記憶装置３６に記憶されているＡＲマーカと、表示用データ記憶装置３７に記憶されている表示用データは、互いに対応付けされている。 FIG. 2 shows a block diagram of the internal configuration of the mobile communication device.
As described above, the mobile communication device 30 includes the imaging device 32 and the display unit 34. In addition, the mobile communication device 30 includes an AR marker storage device 36 that stores one or more AR markers in advance, and a display data storage device 37 that stores one or more display data in advance. Yes.
The AR marker stored in the AR marker storage device 36 and the display data stored in the display data storage device 37 are associated with each other.

なお、ＡＲマーカ記憶装置３６と表示用データ記憶装置３７は、物理的に別の記憶装置として設けられていなくてもよく、物理的に１つの記憶装置に対して、ＡＲマーカとＡＲマーカに対応づけされた表示用データとが記憶されていてもよい。
記憶装置としては、ＲＯＭやＲＡＭなどの半導体メモリなどを採用できる。 The AR marker storage device 36 and the display data storage device 37 do not have to be physically provided as separate storage devices, and correspond to the AR marker and the AR marker for one physical storage device. The attached display data may be stored.
As the storage device, a semiconductor memory such as a ROM or a RAM can be employed.

撮影装置３２は、レンズと、ＣＣＤイメージセンサ又はＣ−ＭＯＳイメージセンサなどの撮像素子とが用いられている。ＣＣＤイメージセンサ又はＣ−ＭＯＳイメージセンサなどの撮像素子に入射した撮影対象は、画像データとして出力される。
撮影装置３２から出力される画像データは、表示部３４に入力されて表示される。 The photographing device 32 uses a lens and an image sensor such as a CCD image sensor or a C-MOS image sensor. A subject to be photographed that has entered an image sensor such as a CCD image sensor or a C-MOS image sensor is output as image data.
The image data output from the imaging device 32 is input to the display unit 34 and displayed.

携帯通信機器３０は、さらにＣＰＵなどの半導体演算処理装置からなる制御部３８を備えている。制御部３８は、携帯通信機器３０全体の動作制御を実行するとともに、ＡＲシステムの動作制御を実行する。
制御部３８は所定のプログラムを読み込むことによって、所定の動作制御を実行することができる。ここで、携帯通信機器３０をスマートフォン又はタブレットＰＣであるとすると、このプログラムがいわゆるＡＲシステムのアプリ（アプリケーションソフトウェア）である。 The portable communication device 30 further includes a control unit 38 including a semiconductor arithmetic processing device such as a CPU. The control unit 38 performs operation control of the entire mobile communication device 30 and also performs operation control of the AR system.
The control unit 38 can execute predetermined operation control by reading a predetermined program. Here, if the mobile communication device 30 is a smartphone or a tablet PC, this program is an application (application software) of a so-called AR system.

携帯通信機器３０は、操作者が何らかの情報を入力できる入力部４０を有しているが、表示部３４がタッチパネル方式の場合、表示部３４と入力部４０が兼用することもできる。 The mobile communication device 30 has an input unit 40 through which an operator can input some information. However, when the display unit 34 is a touch panel system, the display unit 34 and the input unit 40 can also be used.

また、携帯通信機器３０は、画像を表示する表示部３４のほかに音声出力可能な音声出力部４２を有している。
音声出力部４２は、スピーカであってもよいし、イヤホン端子（ヘッドホン端子）であってもよい。 In addition to the display unit 34 that displays an image, the mobile communication device 30 includes an audio output unit 42 that can output audio.
The audio output unit 42 may be a speaker or an earphone terminal (headphone terminal).

表示用データとしては、画像データだけでなく、画像データと音声データとの組み合わせ、及び音声データのみの場合も含めるものとする。 The display data includes not only image data but also a combination of image data and audio data and only audio data.

次に、図３に基づいて本実施形態のＡＲシステムの動作について説明する。
操作者は、携帯通信機器３０のＡＲシステムのアプリを起動し、任意の箇所に撮影装置３２を向ける。
撮影装置３２のイメージセンサに入射している撮影対象は、撮影装置３２がシャッターを切らなくても画像データとして制御部３８と表示部３４に入力される（ステップＳ１００）。 Next, the operation of the AR system of this embodiment will be described based on FIG.
The operator activates the application of the AR system of the mobile communication device 30 and points the photographing device 32 at an arbitrary location.
A subject to be photographed that is incident on the image sensor of the photographing device 32 is input to the control unit 38 and the display unit 34 as image data even if the photographing device 32 does not release the shutter (step S100).

制御部３８では、入力されてくる画像データに、ＡＲマーカ記憶装置３６に記憶されているＡＲマーカが含まれているか否かを判断する（ステップＳ１０２）。本実施形態では、例としてＡＲマーカ記憶装置３６には、３つのＡＲマーカが記憶されているので、制御部３８は入力されてくる画像データに３つのＡＲマーカのうちのいずれかが含まれているかどうかを判断する。 The control unit 38 determines whether or not the input image data includes an AR marker stored in the AR marker storage device 36 (step S102). In the present embodiment, as an example, since the AR marker storage device 36 stores three AR markers, the control unit 38 includes any one of the three AR markers in the input image data. Determine whether or not.

撮影装置３２によって撮影された画像データにＡＲマーカが含まれていると制御部３８が判断した場合、制御部３８は、該当するＡＲマーカに対応づけされた表示用データを表示用データ記憶装置３７から抽出する（ステップＳ１０４）。
なお、ここでの表示用データとしては、画像データ及び音声データを組み合わせたものであるとする。また、画像データは動画であっても静止画であってもよいが、ＡＲシステムとしては動画の方が一般的である。 When the control unit 38 determines that the AR marker is included in the image data captured by the imaging device 32, the control unit 38 displays the display data associated with the corresponding AR marker as the display data storage device 37. (Step S104).
Note that the display data here is a combination of image data and audio data. The image data may be a moving image or a still image, but a moving image is more common as an AR system.

制御部３８が抽出した表示用データは、画像データが表示部３４に入力されて表示され、音声データが音声出力部４２から音声出力される（ステップＳ１０６）。
画像データと音声データとの組み合わせの例としては、アニメーションなどがあげられる。この場合、ＡＲマーカを取り付ける例として、書店においてビニールが被せられて立ち読みができない状態で陳列された漫画のビニール表面に取り付けるようにすればよい。表示用データとして、当該漫画をアニメーション化した内容にすることによって、立ち読みができない状態であっても漫画の内容を確認できるので、消費者の購買意欲を惹起することができる。 The display data extracted by the control unit 38 is displayed as image data is input to the display unit 34, and the audio data is output from the audio output unit 42 (step S106).
An example of a combination of image data and audio data is animation. In this case, as an example of attaching the AR marker, the AR marker may be attached to the vinyl surface of a cartoon displayed in a state where it cannot be read while being covered with vinyl in a bookstore. By making the comics into animated content as display data, the content of the comics can be confirmed even in a state where browsing is not possible, so that consumers can be motivated to purchase.

表示部３４における表示用データの表示は、撮影装置３２で撮影している画像データの表示に重ねあわせて表示させることができる。 The display data can be displayed on the display unit 34 so as to overlap the display of the image data captured by the image capturing device 32.

また、本実施形態のように、あらかじめ複数のＡＲマーカに対する表示用データを携帯通信機器３０内に記憶させておくことで、データ通信できない環境下においても表示用データを表示可能である。
このため、特に災害時に中継基地の被害で電波が届かない場合、又は電波が届かない地下等に閉じ込められた場合など、避難経路を提示する表示用データとすればよい。避難経路を提示する表示用データとすることで、災害時には確実に避難することができる。特に都会の地下街などで災害に遭遇した場合には、避難経路の表示がきわめて役立つと考えられる。 Further, by storing display data for a plurality of AR markers in advance in the mobile communication device 30 as in the present embodiment, the display data can be displayed even in an environment where data communication is not possible.
For this reason, display data for presenting an evacuation route may be used, particularly when radio waves do not reach due to damage at a relay base during a disaster, or when confined in underground where radio waves do not reach. By using the display data for presenting the evacuation route, it is possible to evacuate reliably in the event of a disaster. The display of evacuation routes is considered to be extremely useful especially when encountering a disaster in an underground shopping center in a city.

なお、表示用データとしては、上記の実施形態のように画像データと音声データの組み合わせに限定するものではなく、画像データのみであってもよい。 Note that the display data is not limited to a combination of image data and audio data as in the above embodiment, and may be only image data.

１０ＡＲマーカ
２０ＡＲシステム
３０携帯通信機器
３２撮影装置
３４表示部
３６ＡＲマーカ記憶装置
３７表示用データ記憶装置
３８制御部
４０入力部
４２音声出力部 DESCRIPTION OF SYMBOLS 10 AR marker 20 AR system 30 Portable communication apparatus 32 Imaging device 34 Display unit 36 AR marker storage device 37 Display data storage device 38 Control unit 40 Input unit 42 Audio output unit

Claims

In a mobile communication device including a photographing device and a display unit that displays an image in conjunction with the photographing device,
An AR marker storage device that stores one or more AR markers in advance;
A display data storage device in which display data associated with the AR marker stored in the AR marker storage device is stored;
It is determined whether or not the captured image includes the AR marker stored in the AR marker storage device, and the captured image includes the AR marker stored in the AR marker storage device. An AR system comprising: a control unit that controls to display display data corresponding to the AR marker from the display data storage device and display the display data on the display unit.

The AR system according to claim 1, wherein the display data is a combination of image data and audio data.

The AR system according to claim 1, wherein the AR marker is a seal.