JP2021060789A

JP2021060789A - Video processing system

Info

Publication number: JP2021060789A
Application number: JP2019184434A
Authority: JP
Inventors: 清峻渡邉; Kiyotoshi Watanabe
Original assignee: Placeholder Inc
Current assignee: Placeholder Inc
Priority date: 2019-10-07
Filing date: 2019-10-07
Publication date: 2021-04-15
Anticipated expiration: 2039-10-07
Also published as: JP7442168B2

Abstract

To provide a video processing system that can improve interest of a user.SOLUTION: The present invention relates to a video processing system. The video processing system including a three-dimensional object that is placed in a real environment that can be perceived by a user, comprises: video recognition information with which video corresponding to the three-dimensional object is associated to be placed on the object, and a video processing program that recognizes the video recognition information and superimposes the video on the object. According to such a configuration, video production using so-called augmented reality (AR) technology can be provided.SELECTED DRAWING: Figure 1

Description

本発明は、映像処理システム、特に、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムに関する。 The present invention relates to a video processing system, particularly a video processing system including a three-dimensional object arranged in a real environment perceptible to the user.

近年、ユーザが知覚可能な現実環境に存在する対象物にコンピュータグラフィックスによる映像を重ね合わせて、対象物と映像との調和を楽しむ、現実環境が拡張された拡張現実を提供する映像処理技術が提案されている。 In recent years, video processing technology that provides augmented reality with an expanded real environment has been developed by superimposing computer graphics images on objects that exist in a real environment that can be perceived by the user and enjoying the harmony between the objects and the images. Proposed.

特許文献１には、カメラによって撮影される現実環境の画像に仮想オブジェクトが配置された拡張現実空間をディスプレイに表示するとともに、この拡張現実空間を複数の端末間で共有することができる拡張現実プログラムが開示されている。 Patent Document 1 describes an augmented reality program in which an augmented reality space in which virtual objects are arranged in an image of a real environment taken by a camera is displayed on a display, and the augmented reality space can be shared among a plurality of terminals. Is disclosed.

特許第６５４８２４１号公報Japanese Patent No. 6548241

ところで、この種の映像処理技術において、現実環境に存在する対象物の物理的な存在感を損なわしめることなく、対象物の有する特徴を活用できるような映像を対象物に重ね合わせることができれば、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上する。 By the way, in this kind of image processing technology, if it is possible to superimpose an image that can utilize the characteristics of an object on the object without impairing the physical presence of the object existing in the real environment. It enhances the user's interest by providing a high degree of augmented reality that utilizes the real environment that the user perceives about the object.

本発明は、上記事情に鑑みてなされたものであり、ユーザの興趣を向上させることができる映像処理システムを提供することを課題とするものである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a video processing system capable of improving the interest of a user.

上記課題を達成するための、本発明に係る映像処理システムは、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムであって、立体形状の対象物に対応する映像が関連づけられて対象物に配置される映像認識情報と、映像認識情報を認識して映像を対象物に重ね合わせる映像処理プログラムと、を備えるものである。 The video processing system according to the present invention for achieving the above object is a video processing system including a three-dimensional object arranged in a real environment that can be perceived by a user, and corresponds to the three-dimensional object. It includes image recognition information in which images are associated and arranged on an object, and an image processing program that recognizes the image recognition information and superimposes the image on the object.

これによれば、映像処理システムは、立体形状の対象物に対応する映像が関連づけられた映像認識情報を認識すると、現実環境に配置される対象物についてユーザが知覚する物理的な存在感を損なわしめることがない状態で、立体形状であるという対象物の有する特徴を活用できる映像が対象物に重ね合わせられる。 According to this, when the image processing system recognizes the image recognition information associated with the image corresponding to the three-dimensional object, the physical presence perceived by the user about the object arranged in the real environment is impaired. An image that can utilize the characteristic of the object, which is a three-dimensional shape, is superimposed on the object without being squeezed.

したがって、ユーザが対象物について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。 Therefore, it is expected that the user's interest will be improved because a high-level augmented reality that utilizes the real environment that the user perceives about the object is brought about.

さらに、映像処理システムの映像処理プログラムは、映像認識情報を認識した際に対象物に認識映像を重ね合わせるものであり、映像は、対象物の映像認識情報を透過させる視覚効果を伴う映像であってもよい。 Further, the video processing program of the video processing system superimposes the recognition video on the object when the video recognition information is recognized, and the video is a video with a visual effect of transmitting the video recognition information of the object. You may.

しかも、映像処理システムは、映像認識情報を認識する認識手段を備え、映像処理プログラムは、対象物に映像を重ね合わせる際に認識手段と映像認識情報との間の距離に応じて対象物の映像認識情報を透過させる程度を変更するものである。 Moreover, the video processing system includes a recognition means for recognizing the video recognition information, and the video processing program superimposes the video on the object according to the distance between the recognition means and the video recognition information. The degree to which the recognition information is transmitted is changed.

映像処理システムの映像処理プログラムは、対象物に映像を重ね合わせる際に対象物にオブジェクトを配置するものであってもよい。 The video processing program of the video processing system may be one that arranges an object on the object when superimposing the video on the object.

一方、映像処理システムは、映像認識情報が配置された対象物を複数備え、映像処理プログラムは、複数の対象物が現実環境において隣接して配置される際に複数の対象物にそれぞれ配置された映像認識情報を認識して映像を複数の対象物に重ね合わせるものである。 On the other hand, the video processing system includes a plurality of objects on which the video recognition information is arranged, and the video processing program is arranged on each of the plurality of objects when the plurality of objects are arranged adjacent to each other in the real environment. It recognizes image recognition information and superimposes an image on a plurality of objects.

さらに、映像処理システムの映像処理プログラムは、複数の対象物に映像を重ね合わせる際に複数の対象物のうちいずれか一の対象物にオブジェクトを配置し、オブジェクトが配置された一の対象物に近接して配置される他の対象物にオブジェクトを移動させるものである。 Further, the video processing program of the video processing system arranges an object on one of a plurality of objects when superimposing an image on a plurality of objects, and sets the object on the one object on which the objects are arranged. It moves an object to another object that is placed in close proximity.

この発明によれば、ユーザが対象物について知覚する現実環境よりも高度な拡張現実がもたらされることから、ユーザの興趣が向上することが期待される。 According to the present invention, it is expected that the user's interest will be improved because a higher degree of augmented reality than the real environment that the user perceives about the object is brought about.

本発明の実施の形態に係る映像処理システムの概略を説明する図である。It is a figure explaining the outline of the image processing system which concerns on embodiment of this invention. 同じく、本実施の形態に係る映像処理システムの対象物であるＡＲボックスの概略を説明する図である。Similarly, it is a figure explaining the outline of the AR box which is the object of the image processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムのスマートフォンの構成の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of the structure of the smartphone of the video processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムのスマートフォンのストレージの構成の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of the storage structure of the smartphone of the video processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of processing of the image processing module of the image processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of processing of the image processing module of the image processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of processing of the image processing module of the image processing system which concerns on this embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理モジュールの処理の概略を説明するブロック図である。Similarly, it is a block diagram explaining the outline of processing of the image processing module of the image processing system which concerns on this embodiment.

次に、図１〜図８に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。 Next, the video processing system according to the embodiment of the present invention will be described with reference to FIGS. 1 to 8.

図１は、本実施の形態に係る映像処理システムの概略を説明する図である。図示のように、映像処理システム１は、対象物である複数、本実施の形態では２体のＡＲボックス１０−１、１０−２、このＡＲボックス１０−１、１０−２をモニターする認識手段であるカメラ４０が内蔵されてカメラ４０でモニターしたＡＲボックス１０−１、１０−２が表示されるディスプレイ４１を有する携帯型情報端末であるスマートフォン２０を備える。 FIG. 1 is a diagram illustrating an outline of a video processing system according to the present embodiment. As shown in the figure, the image processing system 1 is a recognition means for monitoring a plurality of objects, two AR boxes 10-1 and 10-2 in the present embodiment, and the AR boxes 10-1 and 10-2. The smartphone 20 is a portable information terminal having a display 41 in which the camera 40 is built-in and the AR boxes 10-1 and 10-2 monitored by the camera 40 are displayed.

図２は、ＡＲボックス１０−１、１０−２の概略を説明する図である。図示のように、ＡＲボックス１０−１、１０−２は、ユーザＵが知覚可能な現実環境に配置される立体形状、本実施の形態では立方体状であって、ＡＲボックス１０−１、１０−２にはそれぞれ、異なる図案として描画された映像認識情報Ｄ１、Ｄ２が配置される。 FIG. 2 is a diagram illustrating an outline of AR boxes 10-1 and 10-2. As shown, the AR boxes 10-1 and 10-2 have a three-dimensional shape arranged in a real environment perceptible to the user U, and in the present embodiment, have a cubic shape, and the AR boxes 10-1, 10- Image recognition information D1 and D2 drawn as different designs are arranged in 2, respectively.

これら映像認識情報Ｄ１、Ｄ２には、本実施の形態では、立体形状のＡＲボックス１０−１、１０−２に対応する映像が関連づけられており、スマートフォン２０のカメラ４０が各ＡＲボックス１０−１、１０−２をモニターすると、後述する映像処理プログラムでの処理によって映像認識情報Ｄ１、Ｄ２を認識して、ＡＲボックス１０−１、１０−２に映像を重ね合わせてスマートフォン２０のディスプレイ４１に表示する。 In the present embodiment, the image recognition information D1 and D2 are associated with images corresponding to the three-dimensional AR boxes 10-1 and 10-2, and the camera 40 of the smartphone 20 is associated with each AR box 10-1. When 10-2 is monitored, the video recognition information D1 and D2 are recognized by the processing by the video processing program described later, and the video is superimposed on the AR boxes 10-1 and 10-2 and displayed on the display 41 of the smartphone 20. To do.

図３は、スマートフォン２０の構成の概略を説明するブロック図である。図示のように、スマートフォン２０は、制御部３０、カメラ４０及びディスプレイ４１を主要構成として備える。 FIG. 3 is a block diagram illustrating an outline of the configuration of the smartphone 20. As shown in the figure, the smartphone 20 includes a control unit 30, a camera 40, and a display 41 as main configurations.

制御部３０は、本実施の形態では、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を備え、これらが互いにバス３６を介して電気的に接続される。 In the present embodiment, the control unit 30 includes a processor 31, a memory 32, a storage 33, a transmission / reception unit 34, and an input / output unit 35, which are electrically connected to each other via a bus 36.

プロセッサ３１は、制御部３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。 The processor 31 is an arithmetic unit that controls the operation of the control unit 30, controls the transmission and reception of data between each element, and performs processing necessary for executing an application program.

このプロセッサ３１は、本実施の形態では例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラムを実行して各処理を行う。 In the present embodiment, the processor 31 is, for example, a CPU (Central Processing Unit), and executes each process by executing an application program stored in the storage 33 and expanded in the memory 32, which will be described later.

メモリ３２は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。 The memory 32 includes a main storage device composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..

このメモリ３２は、プロセッサ３１の作業領域として使用される一方、制御部３０の起動時に実行されるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）、及び各種の設定情報等が格納される。 While the memory 32 is used as a work area of the processor 31, the BIOS (Basic Input / Output System) executed when the control unit 30 is started, various setting information, and the like are stored.

ストレージ３３は、プログラムや各種の処理に用いられる情報等が格納されている。このストレージ３３の構成については、後述する。 The storage 33 stores information and the like used for programs and various processes. The configuration of the storage 33 will be described later.

送受信部３４は、制御部３０をインターネット網等のネットワークに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（ＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。 The transmission / reception unit 34 connects the control unit 30 to a network such as an Internet network. The transmission / reception unit 34 may be provided with a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).

入出力部３５は、入出力機器が接続されるインターフェースであって、本実施の形態では、カメラ４０及びディスプレイ４１が接続される。 The input / output unit 35 is an interface to which input / output devices are connected, and in the present embodiment, the camera 40 and the display 41 are connected.

バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。 The bus 36 transmits, for example, an address signal, a data signal, and various control signals between the connected processor 31, the memory 32, the storage 33, the transmission / reception unit 34, and the input / output unit 35.

カメラ４０は、本実施の形態では、ＡＲボックス１０−１、１０−２をモニターしてＡＲボックス１０−１、１０−２を映像あるいは画像として取得する。 In the present embodiment, the camera 40 monitors the AR boxes 10-1 and 10-2 and acquires the AR boxes 10-1 and 10-2 as an image or an image.

ディスプレイ４１は、カメラ４０でモニターしたＡＲボックス１０−１、１０−２が表示され、本実施の形態では、表示面への接触によって情報の入力を受け付けるいわゆるタッチパネルであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。 The display 41 displays AR boxes 10-1 and 10-2 monitored by the camera 40, and in the present embodiment, it is a so-called touch panel that accepts information input by contact with the display surface, and is of a resistive film method or static. It is implemented by various technologies such as capacitance method.

図４は、ストレージ３３の構成の概略を説明するブロック図である。図示のように、ストレージ３３は、ストレージ３３の提供する記憶領域として実現される記憶部５０、及び映像処理プログラム５１を備える。 FIG. 4 is a block diagram illustrating an outline of the configuration of the storage 33. As shown in the figure, the storage 33 includes a storage unit 50 realized as a storage area provided by the storage 33, and a video processing program 51.

記憶部５０には、本実施の形態では、映像認識情報Ｄ１、Ｄ２に関連づけられてＡＲボックス１０−１、１０−２に重ね合わせられる映像が格納されるとともに、ＡＲボックス１０−１、１０−２に重ね合わせられる後述のオブジェクトが格納される。 In the storage unit 50, in the present embodiment, the images associated with the image recognition information D1 and D2 and superimposed on the AR boxes 10-1 and 10-2 are stored, and the AR boxes 10-1, 10- The object described later to be superimposed on 2 is stored.

映像処理プログラム５１は、本実施の形態では、入力モジュール５１ａ、距離検知モジュール５１ｂ及び映像処理モジュール５１ｃを備える。 In the present embodiment, the video processing program 51 includes an input module 51a, a distance detection module 51b, and a video processing module 51c.

入力モジュール５１ａは、カメラ４０がモニターして取得したＡＲボックス１０−１、１０−２の映像あるいは画像、及びカメラ４０を介して映像処理プログラム５１が認識した映像認識情報Ｄ１、Ｄ２が入力されるモジュールである。 The input module 51a inputs the images or images of the AR boxes 10-1 and 10-2 monitored and acquired by the camera 40, and the image recognition information D1 and D2 recognized by the image processing program 51 via the camera 40. It is a module.

距離検知モジュール５１ｂは、本実施の形態では、カメラ４０とＡＲボックス１０−１、１０−２に配置された映像認識情報Ｄ１、Ｄ２との距離を検知するモジュールである。 In the present embodiment, the distance detection module 51b is a module that detects the distance between the camera 40 and the image recognition information D1 and D2 arranged in the AR boxes 10-1 and 10-2.

映像処理モジュール５１ｃは、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１、Ｄ２との距離に基づいて、入力モジュール５１ａに入力されたＡＲボックス１０−１、１０−２の映像あるいは画像に映像認識情報Ｄ１、Ｄ２に関連づけられた映像を重ね合わせるとともに、後述のオブジェクトをＡＲボックス１０−１、１０−２の映像あるいは画像に重ね合わせるモジュールである。 The image processing module 51c converts the images or images of the AR boxes 10-1 and 10-2 input to the input module 51a based on the distance between the camera 40 and the image recognition information D1 and D2 detected by the distance detection module 51b. This is a module for superimposing the images associated with the image recognition information D1 and D2 and superimposing the objects described later on the images or images of the AR boxes 10-1 and 10-2.

図５〜図８は、映像処理モジュール５１ｃの処理の概略を説明するブロック図である。 5 to 8 are block diagrams illustrating an outline of processing of the video processing module 51c.

図５で示すように、映像処理モジュール５１ｃは、カメラ４０が現実環境に配置されるＡＲボックス１０−1をモニターして、ＡＲボックス１０−１に配置された映像認識情報Ｄ１を認識すると、ＡＲボックス１０−１を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してＡＲボックス１０−1が煙幕に包まれるような視覚効果を伴う映像Ｍ１をＡＲボックス１０−１に重ね合わせる。 As shown in FIG. 5, when the camera 40 monitors the AR box 10-1 arranged in the real environment and recognizes the image recognition information D1 arranged in the AR box 10-1, the AR is AR. A recognition image showing that the box 10-1 has been recognized, for example, in the present embodiment, the AR box 10-1 is an image M1 having a visual effect that the smoke ball bursts and the AR box 10-1 is wrapped in a smoke screen. Overlay on.

さらに、映像処理モジュール５１ｃは、図６で示すように、ＡＲボックス１０−１に、ＡＲボックス１０−１の映像認識情報Ｄ１を透過させる視覚効果を伴う映像Ｍ２を重ね合わせ、映像Ｍ２をＡＲボックス１０−１に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１との間の距離に応じて、ＡＲボックス１０−１の映像認識情報Ｄ１を透過させる程度を変更する映像処理を行う。 Further, as shown in FIG. 6, the image processing module 51c superimposes the image M2 with the visual effect of transmitting the image recognition information D1 of the AR box 10-1 on the AR box 10-1, and puts the image M2 in the AR box. An image that changes the degree to which the image recognition information D1 of the AR box 10-1 is transmitted according to the distance between the camera 40 and the image recognition information D1 detected by the distance detection module 51b when superimposing on 10-1. Perform processing.

具体的には、図６（ａ）で示すように、映像処理プログラム５１がＡＲボックス１０−1を認識した際におけるカメラ４０と映像認識情報Ｄ１との間の距離（例えば１７ｃｍ）に基づいて、図案として描画された映像認識情報Ｄ１を透過させて例えばＡＲボックス１０−１の内部に四角い窓が配置された部屋が存在するかのような視覚効果を伴う映像Ｍ２を、ＡＲボックス１０−１に重ね合わせる。 Specifically, as shown in FIG. 6A, based on the distance (for example, 17 cm) between the camera 40 and the image recognition information D1 when the image processing program 51 recognizes the AR box 10-1. An image M2 that allows the image recognition information D1 drawn as a design to pass through and has a visual effect as if there is a room in which a square window is arranged inside the AR box 10-1 is displayed in the AR box 10-1. Overlay.

さらに、映像処理プログラム５１は、本実施の形態では、映像認識情報Ｄ１を透過するオブジェクトＯをＡＲボックス１０−１に配置する。 Further, in the present embodiment, the video processing program 51 arranges the object O that transmits the video recognition information D1 in the AR box 10-1.

映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度と映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度とは、透過度を１００％とした場合において、一方が上昇すると他方が下降するという相関的な関係が成立する。 The transparency of the image M2 and the object O passing through the image recognition information D1 and the transparency of the image recognition information D1 passing through the image M2 and the object O are such that when the transparency is 100%, when one increases, the other increases. A correlated relationship of descending is established.

本実施の形態では、カメラ４０と映像認識情報Ｄ１との間の距離が３０ｃｍの場合において、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が例えば３０％であり、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が例えば７０％である。 In the present embodiment, when the distance between the camera 40 and the image recognition information D1 is 30 cm, the transparency through which the image M2 and the object O pass through the image recognition information D1 is, for example, 30%, and the image recognition information D1 The transparency of the image M2 and the object O is, for example, 70%.

次に、カメラ４０と映像認識情報Ｄ１との間の距離を近接させる（例えば２０ｃｍ）と、図６（ｂ）で示すように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が下降する。 Next, when the distance between the camera 40 and the image recognition information D1 is brought close (for example, 20 cm), as shown in FIG. 6B, the transparency through which the image M2 and the object O pass through the image recognition information D1 is increased. While increasing, the transparency of the image recognition information D1 passing through the image M2 and the object O decreases.

本実施の形態では、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が３０％から例えば５５％に上昇し、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が７０％から例えば４５％に下降する。 In the present embodiment, the transparency through which the video M2 and the object O pass through the video recognition information D1 increases from 30% to, for example, 55%, and the transparency through which the video recognition information D1 passes through the video M2 and the object O is 70%. From, for example, to 45%.

カメラ４０と映像認識情報Ｄ１との間の距離を更に近接させる（例えば１０ｃｍ）と、図６（ｃ）で示すように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が５５％から例えば１００％に上昇し、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が４５％から例えば０％に下降する。 When the distance between the camera 40 and the image recognition information D1 is further reduced (for example, 10 cm), as shown in FIG. 6C, the transmittance through which the image M2 and the object O pass through the image recognition information D1 is 55%. The transmittance of the image recognition information D1 passing through the image M2 and the object O decreases from 45% to, for example, 0%.

なお、上述したカメラ４０と映像認識情報Ｄ１との間の距離と、透過率は任意に変更可能である。 The distance between the camera 40 and the image recognition information D1 described above and the transmittance can be arbitrarily changed.

図７で示すように、映像処理モジュール５１ｃは、ＡＲボックス１０−1に隣接して現実環境に配置されたＡＲボックス１０−２をカメラ４０がモニターして、ＡＲボックス１０−２に配置された映像認識情報Ｄ２を認識すると、ＡＲボックス１０−２を認識したことを示す認識映像、例えば本実施の形態では、煙玉が破裂してＡＲボックス１０−２が煙幕に包まれるような視覚効果を伴う映像Ｍ３をＡＲボックス１０−２に重ね合わせる。 As shown in FIG. 7, the image processing module 51c is arranged in the AR box 10-2 with the camera 40 monitoring the AR box 10-2 arranged in the real environment adjacent to the AR box 10-1. When the image recognition information D2 is recognized, a recognition image indicating that the AR box 10-2 has been recognized, for example, in the present embodiment, a visual effect that the smoke ball bursts and the AR box 10-2 is wrapped in a smoke screen. The accompanying image M3 is superimposed on the AR box 10-2.

さらに、映像処理モジュール５１ｃは、図８で示すように、ＡＲボックス１０−２に、ＡＲボックス１０−２の映像認識情報Ｄ２を透過させる視覚効果を伴う映像Ｍ４を重ね合わせ、映像Ｍ４をＡＲボックス１０−２に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ２との間の距離に応じて、ＡＲボックス１０−２の映像認識情報Ｄ２を透過させる程度を変更する映像処理を行う。 Further, as shown in FIG. 8, the image processing module 51c superimposes the image M4 with the visual effect of transmitting the image recognition information D2 of the AR box 10-2 on the AR box 10-2, and puts the image M4 in the AR box. When superimposing on 10-2, the degree of transmitting the image recognition information D2 of the AR box 10-2 is changed according to the distance between the camera 40 detected by the distance detection module 51b and the image recognition information D2. Perform processing.

具体的には、図８（ａ）で示すように、映像処理プログラム５１がＡＲボックス１０−２を認識した際におけるカメラ４０と映像認識情報Ｄ２との間の距離（例えば１７ｃｍ）に基づいて、図案として描画された映像認識情報Ｄ２を透過させて例えばＡＲボックス１０−２の内部に上辺が弧を描く窓が配置された部屋が存在するかのような視覚効果を伴う映像Ｍ４を、ＡＲボックス１０−２に重ね合わせる。 Specifically, as shown in FIG. 8A, based on the distance (for example, 17 cm) between the camera 40 and the image recognition information D2 when the image processing program 51 recognizes the AR box 10-2. An image M4 with a visual effect as if there is a room in which a window whose upper side draws an arc is arranged inside the AR box 10-2 by transmitting the image recognition information D2 drawn as a design is displayed in the AR box. Overlay on 10-2.

本実施の形態では、カメラ４０と映像認識情報Ｄ２との間の距離が１７ｃｍの場合において、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が例えば３０％であり、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が例えば７０％である。 In the present embodiment, when the distance between the camera 40 and the image recognition information D2 is 17 cm, the transmittance through which the image M4 transmits the image recognition information D2 is, for example, 30%, and the image recognition information D2 is the image M4. The transparency of the material is, for example, 70%.

次に、カメラ４０と映像認識情報Ｄ２との間の距離を近接させる（例えば１２ｃｍ）と、図８（ｂ）で示すように、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ４を透過する透過度が下降する。 Next, when the distance between the camera 40 and the image recognition information D2 is brought close (for example, 12 cm), the transmittance through which the image M4 passes through the image recognition information D2 increases, as shown in FIG. 8B. Then, the transmittance through which the image recognition information D1 passes through the image M4 decreases.

本実施の形態では、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が３０％から例えば５５％に上昇し、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が７０％から例えば４５％に下降する。 In the present embodiment, the transmittance through which the image M4 transmits the image recognition information D2 increases from 30% to, for example, 55%, and the transmittance through which the image recognition information D2 transmits the image M4 decreases from 70%, for example, 45%. To do.

このとき、左右方向において互いに隣接して現実環境に配置されたＡＲボックス１０−１とＡＲボックス１０−２とを近接させると、ＡＲボックス１０−１に配置されたオブジェクトＯがＡＲボックス１０−２に移動する。 At this time, when the AR box 10-1 and the AR box 10-2 arranged adjacent to each other in the left-right direction are brought close to each other, the object O arranged in the AR box 10-1 becomes the AR box 10-2. Move to.

カメラ４０と映像認識情報Ｄ１との間の距離を更に近接させる（例えば８ｃｍ）と、図８（ｃ）で示すように、映像Ｍ４が映像認識情報Ｄ１を透過する透過度が５５％から例えば１００％に上昇し、映像認識情報Ｄ１が映像Ｍ４を透過する透過度が４５％から例えば０％に下降する。 When the distance between the camera 40 and the image recognition information D1 is further reduced (for example, 8 cm), as shown in FIG. 8C, the transmittance through which the image M4 passes through the image recognition information D1 is 55% to 100, for example. The transmittance of the image recognition information D1 passing through the image M4 decreases from 45% to, for example, 0%.

このとき、オブジェクトＯが映像認識情報Ｄ１を透過する透過度も１００％である一方、映像認識情報Ｄ１がオブジェクトＯを透過する透過度は０％である。 At this time, the transparency of the object O passing through the image recognition information D1 is also 100%, while the transparency of the image recognition information D1 passing through the object O is 0%.

次に、本実施の形態に係る映像処理システム１の作動概略について説明する。 Next, the outline of the operation of the video processing system 1 according to the present embodiment will be described.

まず、カメラ４０が現実環境に配置されるＡＲボックス１０−１をモニターして映像認識情報Ｄ１を認識すると、図５で示したように、映像Ｍ１がＡＲボックス１０−１に重ね合わせられてディスプレイ４１に表示される。 First, when the camera 40 monitors the AR box 10-1 arranged in the real environment and recognizes the image recognition information D1, the image M1 is superimposed on the AR box 10-1 and displayed as shown in FIG. It is displayed on 41.

このときのカメラ４０と映像認識情報Ｄ１との間の距離に基づいて、図６（ａ）で示したように、ＡＲボックス１０−１の映像認識情報Ｄ１を透過する映像Ｍ２がＡＲボックス１０−１に重ね合わせられるとともに、映像認識情報Ｄ１を透過するオブジェクトＯがＡＲボックス１０−１に配置されて、ディスプレイ４１に表示される。 Based on the distance between the camera 40 and the image recognition information D1 at this time, as shown in FIG. 6A, the image M2 that passes through the image recognition information D1 of the AR box 10-1 is the AR box 10-. An object O that is superimposed on 1 and that transmits the image recognition information D1 is arranged in the AR box 10-1 and displayed on the display 41.

カメラ４０とＡＲボックス１０−１との距離を近接させてカメラ４０と映像認識情報Ｄ１との間の距離を近接させると、図６（ｂ）、（ｃ）で示したように、映像Ｍ２及びオブジェクトＯが映像認識情報Ｄ１を透過する透過度が上昇する一方で、映像認識情報Ｄ１が映像Ｍ２及びオブジェクトＯを透過する透過度が下降する映像処理が実行され、ディスプレイ４１に表示される。 When the distance between the camera 40 and the AR box 10-1 is made close and the distance between the camera 40 and the image recognition information D1 is made close, as shown in FIGS. 6 (b) and 6 (c), the images M2 and While the transparency of the object O passing through the image recognition information D1 is increased, the image processing in which the image recognition information D1 is transmitted through the image M2 and the object O is decreased is executed and displayed on the display 41.

この状態において、ＡＲボックス１０−１に隣接して現実環境に配置されたＡＲボックス１０−２をモニターして映像認識情報Ｄ２を認識すると、図７で示したように、映像Ｍ３がＡＲボックス１０−２に重ね合わせられてディスプレイ４１に表示される。 In this state, when the image recognition information D2 is recognized by monitoring the AR box 10-2 arranged in the real environment adjacent to the AR box 10-1, the image M3 is the AR box 10 as shown in FIG. It is superimposed on -2 and displayed on the display 41.

このときのカメラ４０と映像認識情報Ｄ２との間の距離に基づいて、図８（ａ）で示したように、ＡＲボックス１０−２の映像認識情報Ｄ２を透過する映像Ｍ４がＡＲボックス１０−２に重ね合わせられて、ディスプレイ４１に表示される。 Based on the distance between the camera 40 and the image recognition information D2 at this time, as shown in FIG. 8A, the image M4 transmitted through the image recognition information D2 of the AR box 10-2 is the AR box 10-. It is superimposed on 2 and displayed on the display 41.

カメラ４０とＡＲボックス１０−２との距離を近接させてカメラ４０と映像認識情報Ｄ２との間の距離を近接させると、図８（ｂ）、（ｃ）で示したように、映像Ｍ４が映像認識情報Ｄ２を透過する透過度が上昇する一方で、映像認識情報Ｄ２が映像Ｍ４を透過する透過度が下降する映像処理が実行され、ディスプレイ４１に表示される。 When the distance between the camera 40 and the AR box 10-2 is made close and the distance between the camera 40 and the image recognition information D2 is made close, as shown in FIGS. 8 (b) and 8 (c), the image M4 is displayed. While the transparency of the image recognition information D2 is increased, the image processing in which the image recognition information D2 is transmitted through the image M4 is decreased is executed and displayed on the display 41.

このように、本実施の形態によれば、立方体状のＡＲボックス１０−１、１０−２に対応する映像Ｍ２、Ｍ４が関連づけられた映像認識情報Ｄ１、Ｄ２を認識して、現実環境に配置されるＡＲボックス１０−１、１０−２についてユーザＵが知覚する物理的な存在感を損なわしめることがない状態で、立方体状であるというＡＲボックス１０−１、１０−２の有する特徴を活用できる映像Ｍ２、Ｍ４がＡＲボックス１０−１、１０−２に重ね合わせられる。 As described above, according to the present embodiment, the video recognition information D1 and D2 associated with the video M2 and M4 corresponding to the cubic AR boxes 10-1 and 10-2 are recognized and arranged in the real environment. Utilizing the feature of AR boxes 10-1 and 10-2 that the AR boxes 10-1 and 10-2 are cubic in a state that does not impair the physical presence perceived by the user U. The resulting images M2 and M4 are superimposed on the AR boxes 10-1 and 10-2.

したがって、ユーザＵがＡＲボックス１０−１、１０−２について知覚する現実環境を活用した高度な拡張現実がもたらされることから、ユーザＵの興趣が向上する。 Therefore, a high degree of augmented reality utilizing the real environment that the user U perceives about the AR boxes 10-1 and 10-2 is brought about, and the interest of the user U is improved.

しかも、本実施の形態では、映像Ｍ２、Ｍ４をＡＲボックス１０−１、１０−２に重ね合わせる際に、距離検知モジュール５１ｂで検知したカメラ４０と映像認識情報Ｄ１、Ｄ２との間の距離に応じて、ＡＲボックス１０−１、１０−２の映像認識情報Ｄ１、Ｄ２を透過させる程度を変更する映像処理を行う。 Moreover, in the present embodiment, when the images M2 and M4 are superimposed on the AR boxes 10-1 and 10-2, the distance between the camera 40 detected by the distance detection module 51b and the image recognition information D1 and D2 is set. Accordingly, video processing is performed to change the degree to which the video recognition information D1 and D2 of the AR boxes 10-1 and 10-2 are transmitted.

したがって、ユーザＵの興趣が更に向上することが期待される。 Therefore, it is expected that the interest of the user U will be further improved.

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、映像Ｍ２、Ｍ４がＡＲボックス１０−１、１０−２の内部に窓が配置された部屋が存在するかのような視覚効果を伴う映像である場合を説明したが、例えば宇宙空間や空中、あるいは水中といった任意の空間であってもよい。 The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the invention. In the above embodiment, the case where the images M2 and M4 are images with a visual effect as if there is a room in which windows are arranged inside the AR boxes 10-1 and 10-2 has been described. It may be any space such as outer space, air, or underwater.

上記実施の形態では、ＡＲボックス１０−１、１０−２が左右方向において互いに隣接して現実環境に配置される場合を説明したが、例えば、上下方向において互いに隣接して現実環境に配置されるものであってもよく、上方のＡＲボックスから下方のＡＲボックスに、あるいは下方のＡＲボックスから上方のＡＲボックスにオブジェクトＯが移動するものであってもよい。 In the above embodiment, the case where the AR boxes 10-1 and 10-2 are arranged adjacent to each other in the left-right direction in the real environment has been described. For example, the AR boxes 10-1 and 10-2 are arranged adjacent to each other in the vertical direction in the real environment. The object O may move from the upper AR box to the lower AR box, or from the lower AR box to the upper AR box.

１映像処理システム
１０−１、１０−２ＡＲボックス（対象物）
２０スマートフォン
３０制御部
４０カメラ（認識手段）
４１ディスプレイ
５１映像処理プログラム
５１ｂ距離検知モジュール
５１ｃ映像処理モジュール
Ｄ１、Ｄ２映像認識情報
Ｍ１、Ｍ３映像（認識映像）
Ｍ２、Ｍ４映像
Ｏオブジェクト
Ｕユーザ 1 Video processing system 10-1, 10-2 AR box (object)
20 Smartphone 30 Control unit 40 Camera (recognition means)
41 Display 51 Video processing program 51b Distance detection module 51c Video processing module D1, D2 Video recognition information M1, M3 Video (recognition video)
M2, M4 Video O Object U User

Claims

A video processing system that includes a three-dimensional object that is placed in a real environment that can be perceived by the user.
The image recognition information in which the image corresponding to the three-dimensional object is associated and arranged on the object is
An image processing program that recognizes the image recognition information and superimposes the image on the object.
Video processing system equipped with.

The video processing program
When the image recognition information is recognized, the recognition image is superimposed on the object.
The video processing system according to claim 1.

The video is
An image with a visual effect that transmits the image recognition information of the object.
The video processing system according to claim 1 or 2.

A recognition means for recognizing the video recognition information is provided.
The video processing program
When superimposing the image on the object, the degree to which the image recognition information of the object is transmitted is changed according to the distance between the recognition means and the image recognition information.
The video processing system according to claim 3.

The video processing program
An object is placed on the object when the image is superimposed on the object.
The video processing system according to any one of claims 1 to 4.

A plurality of the objects on which the image recognition information is arranged are provided.
The video processing program
When a plurality of the objects are arranged adjacent to each other in the real environment, the image recognition information arranged in each of the plurality of objects is recognized and the image is superimposed on the plurality of objects.
The video processing system according to any one of claims 1 to 5.

The video processing program
When superimposing the image on the plurality of the objects, the object is placed on the object of any one of the plurality of objects, and the object is placed on the object.
Move the object to another object that is placed in close proximity to one object on which the object is placed.
The video processing system according to claim 6.