JP2015198443A - augmented reality system, augmented reality processing method, program and recording medium - Google Patents

augmented reality system, augmented reality processing method, program and recording medium Download PDF

Info

Publication number
JP2015198443A
JP2015198443A JP2014085904A JP2014085904A JP2015198443A JP 2015198443 A JP2015198443 A JP 2015198443A JP 2014085904 A JP2014085904 A JP 2014085904A JP 2014085904 A JP2014085904 A JP 2014085904A JP 2015198443 A JP2015198443 A JP 2015198443A
Authority
JP
Japan
Prior art keywords
marker
live
live video
camera
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014085904A
Other languages
Japanese (ja)
Inventor
良明 風間
Yoshiaki Kazama
良明 風間
創之介 鈴木
Sonosuke Suzuki
創之介 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2014085904A priority Critical patent/JP2015198443A/en
Publication of JP2015198443A publication Critical patent/JP2015198443A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To innovate the technic of virtual reality to display a virtual three-dimensional video while superposing on the display of visibility information of reality.SOLUTION: From the captured image 31 of a ticket 3, i.e., an AR marker taken by means of a camera 11, an image recorded in a ticket image storage section 51 is searched, a live video 32 which a live camera section 54, previously associated with the image thus searched, is in shooting is transmitted to a smart phone 1, and then the live video 32 is displayed on a display 10 so as to be superposed on the captured image 31 of a ticket 3. Furthermore, the live video 32 is transmitted to the smart phone 1 so that the live video 32 goes through a relay video storage device 22 once.

Description

この発明は、カメラで撮影された建物、Tシャツ、コンサートチケット、書籍、CDジャケットなどと言った各種映像上に、この映像に関連付けられたライブカメラ映像を重ね合わせるようにして表示する拡張現実システム、方法、プログラムおよび記録媒体に関する。すなわち現実の視界情報の表示の上に、ほぼ同時刻に存在する異なる場所の現実の視界情報を重ねて表示すると言う、全く新しいAR技術に関する。  The present invention is an augmented reality system that displays a live camera image associated with a video, such as a building, a T-shirt, a concert ticket, a book, a CD jacket, etc., captured by a camera in an overlapping manner. , Method, program, and recording medium. That is, the present invention relates to a completely new AR technique in which actual view information of different places existing at almost the same time is displayed on top of the display of actual view information.

カメラで撮影した現実の視界情報の表示上に仮想三次元映像を重ねて表示する技術は拡張現実(AR:Augmented Reality)や強化現実などと呼称される。一般的にこのAR技術では、ARマーカと呼ばれる一次元コードや二次元コードなどの識別子が用いられ、カメラがこのARマーカを含む現実の視界を撮影して、ARマーカに対応付けられている仮想三次元映像を探し出し、この仮想三次元映像を上記撮影された現実の視界情報に重ね合わせて表示している。特開2011−242816号ではARマーカにGPS位置情報と方位情報とが用いられている。  A technique for superimposing and displaying a virtual three-dimensional image on the display of actual view information taken by a camera is called augmented reality (AR) or augmented reality. In general, in this AR technology, an identifier such as a one-dimensional code or a two-dimensional code called an AR marker is used, and the camera captures a real field of view including the AR marker, and is associated with the AR marker. A three-dimensional image is searched for, and this virtual three-dimensional image is superimposed on the photographed real field of view information and displayed. In Japanese Patent Laid-Open No. 2011-242816, GPS position information and azimuth information are used for the AR marker.

また特開2013−198520号は、現実世界のカードに記された情報をゲーム装置で実行される処理に反映させるべく、カメラで撮影した現実のカードの複数枚から図形を検出し、この内からいずれか1つ以上の図形をユーザーに選択させ、この選択された図形に対応付けられている処理を実行すると言うものである。従ってユーザーは、自身が所持するカードの情報を仮想世界に取り入れ、検出した図形のうちユーザーが選択した図形に応じてゲームの進行を変化させてゲームを楽しむことができる。  Japanese Patent Laid-Open No. 2013-198520 detects a figure from a plurality of real cards photographed by a camera in order to reflect information recorded on a real-world card in processing executed by a game device. It is said that the user selects any one or more graphics and executes the processing associated with the selected graphics. Therefore, the user can enjoy the game by taking the information of the card possessed by the user into the virtual world and changing the progress of the game according to the figure selected by the user among the detected figures.

これに対して特願2014−031091号は当出願人の出願に係る発明であるが、これは上述した特開2011−242816号や特開2013−198520号の発明が抱える問題の解決を課題としていた。すなわちARマーカにQRコード(登録商標、以下同様)などの識別子を用いている特開2013−198520号の技術によれば、カードが美しいイラストや写真が印刷されたものであるとQRコードなどの識別子をその中に見ることには美観的な点で違和感を覚える問題があった。また特開2013−198520号では、所定の処理を実行するのに、カメラで撮影して検出した図形の内からユーザーに随意図形を選択させるようにしており、図形選択と言う作業がユーザーに要求されるためこの操作が面倒であった。  On the other hand, Japanese Patent Application No. 2014-031091 is an invention according to the applicant's application, but this is intended to solve the problems of the inventions of the above-mentioned JP2011-242816A and JP2013-198520A. It was. That is, according to the technology of Japanese Patent Laid-Open No. 2013-198520 using an identifier such as a QR code (registered trademark, the same applies hereinafter) for the AR marker, if the card is printed with a beautiful illustration or photograph, There was a problem that it was uncomfortable to see the identifier in the aesthetic point. In Japanese Patent Laid-Open No. 2013-198520, in order to execute a predetermined process, the user is required to select an arbitrary form from among figures detected by photographing with a camera. Therefore, this operation is troublesome.

そこで特願2014−031091号は、カメラで撮影されたARマーカである写真の撮影画像で画像記憶部に記録された画像を検索して、索出された画像に予め対応付けされている仮想三次元映像を仮想三次元映像記憶部53から読み出し、写真30に重ね合わせてディスプレイに表示するようにした。また各々任意のARマーカが印刷された複数のカードをカメラで撮影し、このARマーカでARマーカ記憶部に記録されたARマーカを検索して、索出されたARマーカに予め対応付けされている仮想三次元映像を仮想三次元映像記憶部から読み出し、カードに重ね合わせてディスプレイに表示するようにした。  Therefore, Japanese Patent Application No. 2014-031091 searches for an image recorded in an image storage unit with a photographed image of an AR marker photographed by a camera, and a virtual tertiary previously associated with the retrieved image. The original video is read from the virtual 3D video storage unit 53, and is superimposed on the photograph 30 and displayed on the display. Further, a plurality of cards each having an arbitrary AR marker printed thereon are photographed with a camera, and the AR marker recorded in the AR marker storage unit is searched with the AR marker, and is associated with the searched AR marker in advance. The virtual three-dimensional video that is present is read from the virtual three-dimensional video storage unit and displayed on the display in a superimposed manner on the card.

特開2011−242816号JP 2011-242816 A 特開2013−198520号JP2013-198520A 特願2014−031091号Japanese Patent Application No. 2014-031091

特願2014−031091号によって上述の課題は見事に解決された。しかしながら、特願2014−031091号を含めて従来のAR技術は、更に興味深くより一層有用な利用法があるはずである。従ってこの発明は、このような新たな問題を解決することを課題とするものである。  The above-mentioned problem has been successfully solved by Japanese Patent Application No. 2014-031091. However, the conventional AR technology including Japanese Patent Application No. 2014-031091 should be more interesting and more useful. Accordingly, an object of the present invention is to solve such a new problem.

そこで当発明者等は鋭意研究の結果、現実の視界情報の表示上にライブカメラで撮影したライブ映像を重ねて表示すると言う着想を得た。例えばスマートフォンのカメラで音楽コンサートのチケットを撮影すると、このチケット映像に重ねてコンサート出演者の現時点での楽屋風景の映像を表示するようにするのである。これはチケットを持っているユーザーにとって実に興味深いことであり、気分を高揚させる力は抜群である。  Accordingly, as a result of earnest research, the present inventors have come up with the idea that live video taken with a live camera is displayed on top of the actual view information display. For example, when a music concert ticket is photographed with a camera of a smartphone, an image of the dressing room at the present time of the concert performer is displayed on top of the ticket image. This is really interesting for users with tickets, and the power to raise their mood is outstanding.

すなわち上記課題は、カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置により前記ARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するように、カメラ側の表示装置に送信処理するようにすることにより達成される。拡張現実あるいは強化現実は、カメラで撮影した現実の視界情報の表示上に仮想三次元映像を重ねて表示するものであるが、この仮想三次元映像の代わりにライブカメラで撮影したライブ映像を用いる技術は、この発明独自の全く新しいものである。またライブ映像は現実にある遠隔の視界情報ではあるものの、この発明もまた拡張現実に係るものであるということができる。  That is, the above problem is that the AR marker of the marker presenting medium with the AR marker photographed by the camera is received and processed via a network such as the Internet, and the live video of the live camera corresponding to the AR marker is processed by the live video processing device. This is achieved by performing transmission processing on the display device on the camera side so that the live image is displayed on the display device on the camera side so as to be superimposed on the video on the marker presentation medium. In augmented reality or augmented reality, virtual 3D video is superimposed on the display of real field of view information captured by a camera. Instead of this virtual 3D video, live video captured by a live camera is used. The technology is completely new to this invention. In addition, although the live video is remote visual field information that actually exists, it can be said that the present invention also relates to augmented reality.

カメラ側から送信され受信したARマーカは、認証確認に必要なものとして用いても良いし、カメラ側に送信するライブカメラのライブ映像を特定するものとして用いても良い。その何れにせよライブ映像処理装置で前記ARマーカに対応するライブカメラのライブ映像を決定したら、このライブ映像をカメラ側の表示装置に向けて送信するのである。カメラ側ではこのライブ映像を受信して、このライブ映像を前記マーカ提示媒体の映像に重ねて表示するのである。なおライブ映像処理装置は、ライブカメラのライブ映像の配信サーバとして動作するようにも、或いはライブカメラ側に配信サーバを備えさせてこの配信サーバに前記ライブ映像を前記カメラ側に向けて送信させるようようにも設計することが可能である。なおライブ映像には音声を含めても含めなくても良い。  The AR marker transmitted and received from the camera side may be used as necessary for authentication confirmation, or may be used to identify the live video of the live camera transmitted to the camera side. In any case, when the live video processing device determines the live video of the live camera corresponding to the AR marker, the live video is transmitted to the display device on the camera side. On the camera side, the live video is received, and the live video is displayed superimposed on the video of the marker presentation medium. The live video processing apparatus may operate as a live video distribution server of the live camera, or may be provided with a distribution server on the live camera side so that the distribution server transmits the live video toward the camera side. It is possible to design as well. Note that the live video may or may not include audio.

ARマーカには、文字列、画像、QRコードやカメレオンコード(何れも登録商標)などのマーカとなり得るものであれば利用可能であり、マーカ提示媒体には、カード、チケット、Tシャツ、書籍雑誌、CDジャケット、広告ちらしやうちわなどのマーカが印刷可能なものであれば良い。あるいはスタジアムと言った建物にARマーカを付けることさえ可能である。  The AR marker can be used as long as it can be a marker such as a character string, an image, a QR code, or a chameleon code (all are registered trademarks), and the marker presenting medium can be a card, a ticket, a T-shirt, or a book magazine. As long as the marker such as a CD jacket, a flyer or a fan is printable. Or you can even add an AR marker to a building called a stadium.

また例えばマーカ提示媒体にコンサートチケットを用いる場合、ライブ映像には上述した楽屋風景の他にも、練習風景、舞台の袖の状況や衣装チェンジの様子、入場待ちの行列や会場内の混雑状況、あるいはプログラム開始後の舞台の生映像などを自由に設定することが可能である。もちろんコンサート以外にもスポーツイベントやグルメフェスティバル等々その利用範囲は広範である。また動物園に於ける外からは見えない飼育室の飼育状況、飲食店に於けるキッチンの調理風景、サーキットに於けるレーシングカー内外の情景、学習講座に於ける授業風景、国際会議に於ける講演の様子、旅行先に於ける空模様や先行するバスや列車の車窓風景、結婚式や葬式に於ける式進行状況、等々を自由に設定することができる。この際のライブカメラは、1台であっても複数台であっても、また固定式であっても移動式であってもこれ等を混用する方式であっても良い。移動式の場合に、ウェアラブルコンピュータのグラス(ヘッドマウントディスプレイの一種)に設けたカメラをライブカメラに設定することも可能であり、これ等は任意設計事項である。  For example, when a concert ticket is used as a marker presentation medium, in addition to the dressing room scenery described above, the practice scene, the situation of the stage sleeves and the costume change, the waiting queue for admission and the congestion situation in the venue, Alternatively, it is possible to freely set the live video of the stage after the program starts. Of course, in addition to concerts, sports events and gourmet festivals are used in a wide range. In addition, the breeding situation of the breeding room that cannot be seen from the outside at the zoo, the kitchen cooking scene at the restaurant, the scene inside and outside the racing car at the circuit, the class scene at the study course, the lecture at the international conference It is possible to freely set the state of the sky, the sky pattern at the travel destination, the bus window view of the preceding bus or train, the progress of the ceremony at the wedding or funeral, and so on. In this case, the number of live cameras may be one or a plurality, or may be a fixed type, a movable type, or a system in which these are mixed. In the case of the mobile type, it is also possible to set a camera provided on a wearable computer glass (a kind of head-mounted display) as a live camera, and these are optional design matters.

また上記課題は、カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像中継処理装置により前記ARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を中継装置を介して、前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するように、カメラ側の表示装置に送信処理するようにすることによって達成される。  In addition, the above problem is that the AR marker of the marker presentation medium with the AR marker photographed by the camera is received and processed via a network such as the Internet, and the live video relay processing device performs live processing of the live camera corresponding to the AR marker. By determining the video and transmitting the live video to the display device on the camera side so as to be displayed on the camera side display device so as to be superimposed on the video of the marker presentation medium via the relay device. Achieved.

この構成はほぼ上述の構成に倣うものであるが、ライブ映像の中継装置を備えている点で異なる。この中継装置はライブ映像中継処理装置が備えるようにしてライブカメラのライブ映像を一旦ここで中継するようにも、あるいは外部に中継装置を設定してこの中継装置にライブ映像中継処理装置が前記ライブ映像を前記カメラ側に向けて中継送信させるようようにも設計することが可能である。  This configuration substantially follows the configuration described above, but differs in that it includes a live video relay device. This relay device is provided in the live video relay processing device so that the live video of the live camera is once relayed here, or a relay device is set outside and the live video relay processing device is connected to the live device. It is also possible to design so that the video is relayed and transmitted toward the camera side.

この中継装置にはライブ映像の記憶装置を備えさせることができる。前記カメラ側ではこの記憶装置からのライブ映像を受信することになる。すると本来のライブ映像からすれば遅延を生ずることになるのであるが、テレビ放送の衛星中継などでは遅延が生ずることもしばしばあり、この意味でタイムシフト再生や録画再生をライブ中継に含めることができる。なお別の観点からすると、ライブカメラにアクセスが集中して送信処理が追いつかなくなることがあるが、上記記憶装置を経由しての送信処理によればアクセス集中の問題を比較的容易に回避することができると言う利点がある。  This relay device can be provided with a storage device for live video. The camera side receives live video from the storage device. Then, if it is based on the original live video, there will be a delay, but there is often a delay in television broadcast satellite relay, etc. In this sense, time shift playback and recording playback can be included in live relay . From another point of view, access may concentrate on the live camera and the transmission process may not be able to catch up. However, according to the transmission process via the storage device, the problem of access concentration can be avoided relatively easily. There is an advantage that you can.

なお、複数台の前記ライブカメラを備え、前記ライブ映像処理装置または前記ライブ映像中継処理装置は、何れのライブ映像が見たいかを選択可能にする選択肢を前記表示装置側に選択可能に提示すると共に、前記表示装置側で選択された前記ライブカメラのライブ映像を前記表示装置に送信すべきライブ映像として特定するように構成することができる。例えばマーカ提示媒体をコンサートチケットに設定した場合、ライブ映像として上述した楽屋風景、舞台の情景、入場待ちの行列の状況の3つを選択肢としてユーザー側に提示し、ユーザーがライブ映像を切り替えて楽しむことを可能にする、と言った利用法がある。  The live video processing apparatus or the live video relay processing apparatus includes a plurality of the live cameras, and presents an option on the display device side so that the user can select which live video the user wants to view. In addition, the live video of the live camera selected on the display device side can be specified as the live video to be transmitted to the display device. For example, when a marker presentation medium is set for a concert ticket, the user presents three options of the dressing room scene, the stage scene, and the waiting queue as the live video, and the user switches the live video and enjoys it. There is a usage that says to make it possible.

次に上記課題は、カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置により前記ARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するようにカメラ側の表示装置に送信処理すること、および前記ライブカメラを複数台備えるか、または撮影者と共に移動可能な前記ライブカメラを備え、前記ライブ映像処理装置の運営者側と前記表示装置のライブ映像を見るユーザーとの間で通信するためのチャットシステムを用いて、ユーザーが見たいライブ場面をチャットによって受け付ける操作を行うこと、を含む拡張現実処理方法を提供することで達成される。  Next, the above-described problem is that the AR marker of the marker presentation medium with the AR marker photographed by the camera is received and processed via a network such as the Internet, and a live video processing device performs live processing of the live camera corresponding to the AR marker. Determining a video, transmitting the live video to the display device on the camera side so that the live video is superimposed on the video of the marker presenting medium on the display device on the camera side, and a plurality of the live cameras, Alternatively, the user wants to watch using a chat system that includes the live camera movable with the photographer and communicates between the operator of the live video processing device and the user who views the live video on the display device. Achieved by providing an augmented reality processing method that includes operations to accept live scenes by chat It is.

このチャットシステムを用いてユーザーは運営者側に見たいライブ場面をリクエストすることができるようになる。ライブカメラを複数台備えている場合には、ユーザーはどのライブカメラのライブ映像を見たいかをチャットでリクエストし、運営者側はこれに応えて送信するライブ映像を切り替える。ライブカメラが固定されてはいるが方向を変えたり配置を変えたりし得る場合には、そのような操作をチャットで依頼することが可能である。あるいはライブカメラが撮影者と共に移動可能なものである場合には、ユーザーは出演者の移動に付いて回るようにチャットで依頼することが可能である。複数の依頼に対しては要求の多い順に対応したり、運営者側の考えで対応したりすればよい。何れにしてもこの発明によれば、チャットを通じライブ映像に関するユーザーのリクエストに応じて操作することが可能になる。  Using this chat system, the user can request a live scene to be viewed from the operator. When a plurality of live cameras are provided, the user requests by chat which live camera the user wants to view, and the operator switches the live video to be transmitted in response to the request. If the live camera is fixed but the direction can be changed or the arrangement can be changed, such an operation can be requested by chat. Alternatively, if the live camera is movable with the photographer, the user can request a chat to follow the performer's movement. It is possible to respond to a plurality of requests in the order in which the requests are large, or to respond based on the thought of the operator. Anyway, according to this invention, it becomes possible to operate according to the user's request regarding the live video through chat.

さて請求項1〜3(8〜10)の発明に付いて、前記カメラが同時に撮影した複数のマーカ提示媒体から得られた複数のARマーカを受け取る処理を行い、前記ライブ映像処理装置または前記ライブ映像中継処理装置によってこれ等のマーカにマッチングするマーカをマーカ記憶装置に記録されたマーカの中から検索し、この索出マーカに対応するライブ映像を複数の前記ライブカメラのライブ映像の中から決定し、このライブ映像を前記カメラ側の表示装置に送信処理するように構成することができる。これは上述の特願2014−031091号をさらに改良したものである。  According to the first to third aspects (8 to 10) of the present invention, the live video processing apparatus or the live image processing apparatus performs a process of receiving a plurality of AR markers obtained from a plurality of marker presenting media simultaneously captured by the camera. Markers that match these markers are searched by the video relay processing device from the markers recorded in the marker storage device, and live images corresponding to the search markers are determined from the live images of the plurality of live cameras. The live video can be transmitted to the display device on the camera side. This is a further improvement of the above-mentioned Japanese Patent Application No. 2014-031091.

各々ARマーカが付された複数のマーカ提示媒体から複数のマーカを受け取り、このマーカのセットに付きマーカ記憶装置に記録された同じセットのマーカとマッチングしている場合に、その同じセットに対応するライブ映像を前記カメラ側に送信して、表示装置に前記マーカ提示媒体の映像に重ねて表示させるのである。ARマーカには美麗な画像そのものや、文字列、QRコードやカメレオンコード(何れも登録商標)等が利用可能である。画像の場合には通信負担を軽くすべく圧縮画像を用いるようにしても良い。  When a plurality of markers are received from a plurality of marker presenting media each having an AR marker and matched with the same set of markers recorded in the marker storage device attached to the set of markers, the same set is handled. The live video is transmitted to the camera side and displayed on the display device so as to be superimposed on the video of the marker presenting medium. For the AR marker, a beautiful image itself, a character string, a QR code, a chameleon code (both are registered trademarks), and the like can be used. In the case of an image, a compressed image may be used to reduce the communication burden.

ライブ映像処理装置またはライブ映像中継処理装置が複数のARマーカの個々に付いてマッチングを取り、その個数の全てのマーカでマッチングが得られた場合にのみこれに対応するライブ映像を決定するようにも、その個数の幾つかのマーカでマッチングが得られた場合にこの部分セットに対応するライブ映像を決定するようにも、あるいは個々のARマーカのマッチングを取るのではなく総体としてマッチングを取るようにも構成することができるが、どの構成で設計するかは自由である。なお複数のARマーカの組み合わせに関しては上述したようなことが実現された上で、それぞれのマーカ提示媒体の1枚ごとに特定のライブ映像を割り当てておき、1枚でもAR表示を楽しむことができるように設計して良い。またマーカ提示媒体の裏面を利用するようにしても良く、この場合にはマーカ提示媒体の表裏の組み合わせによってAR表示し得るライブ映像の数を大きく増やしたり、表示の質そのものを変えたりすることができる。  The live video processing device or the live video relay processing device takes a matching for each of a plurality of AR markers, and determines a live video corresponding to the matching only when all the markers are matched. However, when matching is obtained with that number of markers, the live video corresponding to this subset is determined, or matching is performed as a whole instead of matching individual AR markers. However, it is free to design with which configuration. As for the combination of a plurality of AR markers, the above-described thing is realized, and a specific live video is assigned to each of the marker presentation media, and even one AR can be enjoyed. May be designed to Also, the back side of the marker presentation medium may be used. In this case, the number of live images that can be displayed in AR is greatly increased or the display quality itself is changed by combining the front and back of the marker presentation medium. it can.

ここで複数のマーカ提示媒体と言うことに付いて説明する。マーカ提示媒体が例えばトレーディングカードである場合、各々ARマーカが印刷された4枚のトレーディングカードを縦横2枚ずつ並べたり、横一列に4枚を並べたりしてカメラで撮影することになるが、この発明では、ただ1枚のカードを4つの区画に分けておき各々の区画にそれぞれARマーカを追加して行くものも、複数のマーカ提示媒体であると定義する。何となれば、ARマーカが追加された後のこの1枚のカードをそれぞれの区画を壊さないようにして分離すれば、複数のカードすなわちマーカ提示媒体となるからである。  Here, a description will be given of a plurality of marker presentation media. When the marker presenting medium is a trading card, for example, four trading cards each printed with an AR marker are arranged two by two in the vertical and horizontal directions, and four are arranged in a horizontal row. In the present invention, a single card divided into four sections and an AR marker added to each section is defined as a plurality of marker presenting media. This is because if one card after the AR marker is added is separated without breaking each section, a plurality of cards, that is, marker presenting media are obtained.

例えば、前記ARマーカの画像をスタンプ画像とし、複数のスタンプを重ならないように捺すための区分けされたスペースが設けられていることによって、実質的に複数のマーカ提示媒体と見なし得る印刷物を用いるようにすることができる。この用途の一例としてスタンプラリーカードを想定し得る。チェックポイントを回って上記区分けされたスペースにスタンプを捺して行くゲームでは、ライブ映像処理装置またはライブ映像中継処理装置が集まったスタンプに応じたライブ映像を決定し、この特定のライブ映像がスタンプラリーカードの上に重ねて表示される。すなわちスタンプが捺されたスタンプラリーカードは複数のARマーカを有することになる。  For example, the AR marker image is used as a stamp image, and a printed material that can be substantially regarded as a plurality of marker presenting media is provided by providing a partitioned space for printing a plurality of stamps so as not to overlap each other. Can be. A stamp rally card can be assumed as an example of this application. In a game that goes around checkpoints and stamps stamped spaces, the live video processing device or live video relay processing device determines the live video that corresponds to the stamp, and this particular live video is the stamp rally. Overlaid on the card. That is, the stamp rally card with the stamp is provided with a plurality of AR markers.

なお上記ではスタンプに付いて説明したが、スタンプの代わりにシール画像を貼付するタイプのものも提供可能である。なお複数個のスタンプやシール画像を集めることは言わば足算であるが、これを逆に引算にする設計も可能である。例えば展覧会チケットのように入場時に半券が切り取られるものであれば、これが切り取られる前(入場前)と切り取られた後(入場後)とでは、ARマーカに異なるマッチング結果が得られるように設計することが可能である。従って場合により異なるライブ映像を展覧会チケットの上に重ねて表示するようにすることができるのである。  In the above description, the stamp is described. However, it is possible to provide a type in which a sticker image is attached instead of the stamp. It should be noted that collecting a plurality of stamps and sticker images is an addition, but it is also possible to design a subtraction. For example, if a stub is cut off at the time of admission, such as an exhibition ticket, different matching results can be obtained for the AR marker before it is cut (before admission) and after it is cut (after admission). It is possible to design. Therefore, depending on the case, different live images can be displayed over the exhibition ticket.

また複数の前記マーカ提示媒体の内の少なくとも一に、異なる種類のマーカ提示媒体を用いるようにすることができる。例えばカードとCDジャケットとを組合わせたり、ポケットティッシュの包装紙と雑誌の表紙と宣伝用のうちわを組合わせたり、さらにはカードとペットボトルのシュリンクフィルムとを組合わせたりと、まったく自由な発想でこの発明を活用することが可能である。  Moreover, a different kind of marker presentation medium can be used for at least one of the plurality of marker presentation media. For example, a combination of a card and a CD jacket, a pocket tissue wrapping paper, a magazine cover and a promotional fan, or even a combination of a card and a plastic bottle shrink film. Thus, the present invention can be utilized.

なお上記の拡張現実処理方法をコンピュータに実行させるプログラムとして提供することができる。またこのプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。  The above augmented reality processing method can be provided as a program for causing a computer to execute the method. Moreover, it can provide as a computer-readable recording medium which recorded this program.

第1の発明によれば、カメラで撮影したARマーカをネットワークを介して受信処理し、ライブ映像処理装置によりARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像をカメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになった。これにより拡張現実の技術は更に興味深いものとなり、その用途もより有用で広範囲に及ぶようになっている。  According to the first invention, the AR marker photographed by the camera is received and processed via the network, the live video processing device determines the live video of the live camera corresponding to the AR marker, and the live video is displayed on the camera side. By performing transmission processing on the device, the display device on the camera side can display the live image superimposed on the image of the marker presentation medium. This makes augmented reality technology even more interesting and its use is more useful and widespread.

第2の発明によれば、カメラで撮影したARマーカをネットワークを介して受信処理し、ライブ映像中継処理装置によってARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を中継装置を介して、カメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになった。やはり拡張現実の技術が更に興味深いものとなり、その用途もより有用で広範囲に及ぶようになっている。なおこの中継装置にライブ映像の記憶装置を備えている場合では、記憶装置を経由しての送信処理によって、アクセス集中の問題を比較的容易に回避することができると言う利点がある。  According to the second invention, the AR marker photographed by the camera is received and processed via the network, the live video relay processing device determines the live video of the live camera corresponding to the AR marker, and the live video is transmitted to the relay device. Accordingly, the transmission processing is performed on the camera-side display device, and the camera-side display device can display the live image superimposed on the image of the marker presentation medium. Augmented reality technology has become even more interesting, and its applications are becoming more useful and widespread. In the case where the relay device includes a live video storage device, there is an advantage that the access concentration problem can be relatively easily avoided by the transmission processing via the storage device.

第3の発明によれば、カメラで撮影したARマーカをネットワークを介して受信処理し、ライブ映像処理装置によりARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像をカメラ側の表示装置に送信処理するようにしたことで、カメラ側の表示装置ではマーカ提示媒体の映像にライブ映像を重ねて表示することができるようになるのであるが、さらにライブカメラを複数台備えるかまたは撮影者と共に移動可能なライブカメラを備え、ライブ映像処理装置の運常者側と表示装置のライブ映像を見るユーザーとの間で通信するためのチャットシステムを備えるようにした。これによれば、ユーザーが見たいライブ場面をチャットによって受け付けて対応することができると言う効果を奏する。  According to the third invention, the AR marker photographed by the camera is received and processed via the network, the live video processing device determines the live video of the live camera corresponding to the AR marker, and the live video is displayed on the camera side. By performing transmission processing to the device, the display device on the camera side can display the live image superimposed on the image of the marker presentation medium. A live camera that can move with the user, and a chat system for communicating between the live video processing device operator and the user viewing the live video on the display device. According to this, there is an effect that it is possible to accept and respond to the live scene that the user wants to see by chat.

実施例1のシステムの説明図である。  1 is an explanatory diagram of a system according to Embodiment 1. FIG. 実施例1のAR表示部をブロック図で表した説明図である。  It is explanatory drawing which represented the AR display part of Example 1 with the block diagram. 実施例1のライブ映像処理部をブロック図で表した説明図である。  FIG. 3 is an explanatory diagram illustrating a live video processing unit according to the first embodiment in a block diagram. 実施例1のAR表示部の処理ステップを表す説明図である。  It is explanatory drawing showing the process step of AR display part of Example 1. FIG. 実施例1のライブ映像処理部の処理ステップを表す説明図である。  6 is an explanatory diagram illustrating processing steps of a live video processing unit according to Embodiment 1. FIG. 実施例1のAR表示部の処理ステップを表す説明図である。  It is explanatory drawing showing the process step of AR display part of Example 1. FIG. 実施例1のAR表示を模式的に表す説明図である。  It is explanatory drawing which represents AR display of Example 1 typically. 実施例2のシステムの説明図である。  It is explanatory drawing of the system of Example 2. FIG. 実施例2のライブ映像中継処理部をブロック図で表した説明図である。  It is explanatory drawing which represented the live video relay process part of Example 2 with the block diagram. 実施例2の動作原理の説明図である。  It is explanatory drawing of the operation principle of Example 2. FIG. 実施例2のAR表示部の処理ステップを表す説明図である。  FIG. 10 is an explanatory diagram illustrating processing steps of an AR display unit according to the second embodiment. 実施例2のライブ映像中継処理部の処理ステップを表す説明図である。  12 is an explanatory diagram illustrating processing steps of a live video relay processing unit according to Embodiment 2. FIG. 実施例3のAR表示を模式的に表す説明図である。  It is explanatory drawing which represents AR display of Example 3 typically. 実施例3のライブ映像処理部の処理ステップを表す説明図である。  10 is an explanatory diagram illustrating processing steps of a live video processing unit according to Embodiment 3. FIG. 実施例4のAR表示部をブロック図で表した説明図である。  It is explanatory drawing which represented the AR display part of Example 4 with the block diagram. 実施例4のライブ映像処理部をブロック図で表した説明図である。  It is explanatory drawing which represented the live video processing part of Example 4 with the block diagram. 実施例4のAR表示部の処理ステップを表す説明図である。  It is explanatory drawing showing the process step of AR display part of Example 4. FIG. 実施例4のライブ映像処理部の処理ステップを表す説明図である。  10 is an explanatory diagram illustrating processing steps of a live video processing unit according to Embodiment 4. FIG. 実施例4の動作原理の説明図である。  It is explanatory drawing of the operation principle of Example 4. 実施例4のAR表示を模式的に表す説明図である。  It is explanatory drawing which represents AR display of Example 4 typically. 実施例5のライブ映像処理部をブロック図で表した説明図である。  FIG. 10 is an explanatory diagram illustrating, in a block diagram, a live video processing unit according to a fifth embodiment. 実施例5のライブ映像処理部の処理ステップを表す説明図である。  FIG. 10 is an explanatory diagram illustrating processing steps of a live video processing unit according to a fifth embodiment. 実施例6のマーカ提示媒体の説明図である。  It is explanatory drawing of the marker presentation medium of Example 6. FIG. 実施例7のマーカ提示媒体の説明図である。  It is explanatory drawing of the marker presentation medium of Example 7. FIG.

図1乃至図7でこの実施例を説明する。表側にディスプレイ10を、裏側にカメラ11を備えたスマートフォン1は無線にてインターネットに接続されている。インターネットにはまたチケット認証サーバ2とこのチケット認証サーバ2側に属するライブカメラ20とが接続されている(図1)。  This embodiment will be described with reference to FIGS. A smartphone 1 having a display 10 on the front side and a camera 11 on the back side is connected to the Internet wirelessly. A ticket authentication server 2 and a live camera 20 belonging to the ticket authentication server 2 are also connected to the Internet (FIG. 1).

スマートフォン1のAR表示部4を図2のブロック図で表すと、AR表示部4は撮像部40と表示部41と送受信部42とから構成されている。一方チケット認証サーバ2のライブ映像処理部5を図3のブロック図で表すと、ライブ映像処理部5は検索部50とチケット画像記憶部51と映像処理部52と送受信部53と、インターネット越しに接続された遠隔のライブカメラ部54とから構成されている。  When the AR display unit 4 of the smartphone 1 is represented by the block diagram of FIG. 2, the AR display unit 4 includes an imaging unit 40, a display unit 41, and a transmission / reception unit 42. On the other hand, when the live video processing unit 5 of the ticket authentication server 2 is represented by the block diagram of FIG. 3, the live video processing unit 5 includes a search unit 50, a ticket image storage unit 51, a video processing unit 52, a transmission / reception unit 53, and the Internet. The remote live camera unit 54 is connected to the remote live camera unit 54.

各々のブロックの動作は次のようである。すなわち図4で表すようにスマートフォン1のカメラ11の撮像部40でチケット3の画像を撮影すると(ステップS1)、この撮影画像をAR表示部4の表示部41が処理してディスプレイ10に表示すると共に、この撮影画像からチケット3に印刷されている写真30の部分を切り出し(ステップS2)、この写真30をARマーカとして、送受信部42を以てインターネット経由でチケット認証サーバ2に宛てて送信する(ステップS3)。  The operation of each block is as follows. That is, as shown in FIG. 4, when the image of the ticket 3 is captured by the imaging unit 40 of the camera 11 of the smartphone 1 (step S <b> 1), the captured image is processed by the display unit 41 of the AR display unit 4 and displayed on the display 10. At the same time, a portion of the photograph 30 printed on the ticket 3 is cut out from the photographed image (step S2), and the photograph 30 is sent to the ticket authentication server 2 via the Internet as a AR marker via the Internet (step S2). S3).

図3で表すようにチケット認証サーバ2側で注目すべきはチケット画像記憶部51とライブカメラ54とである。チケット認証サーバ2では、送受信部53が上記撮影画像を受信すると(ステップS4)、映像処理部52は検索部50を以てこの撮影画像に合致する画像をチケット画像記憶部51の中から索出して(ステップS5)、索出された場合にはこれを以て上記チケット3を真正なものとして認証し、このチケット3の所有者たるユーザーのスマートフォン1に、ライブカメラ部54が只今撮影中のライブ画像を送信するように、映像処理部52が指令を出し(ステップS6)、こうしてライブカメラ部54は撮影中のライブ画像をスマートフォン1に宛てて送信する(ステップS7)。チケット画像記憶部51の中の画像データにはカード3に印刷された写真30の画像データと同じものを用意しておく。従って、このカード3が用いられる限り相当のライブ映像を得ることができるのである。なおチケット認証サーバ2とライブカメラ2とは同じ場所に設置されていても良い。なお複数台のライブカメラを配置してライブ映像を並べて表示したり切り替えて表示することに備えて、2台目移行のライブカメラ20’を鎖線で表した。  As shown in FIG. 3, the ticket image storage unit 51 and the live camera 54 should be noted on the ticket authentication server 2 side. In the ticket authentication server 2, when the transmission / reception unit 53 receives the photographed image (step S4), the video processing unit 52 searches the ticket image storage unit 51 for an image that matches the photographed image using the search unit 50 ( Step S5) If the ticket 3 is found, it authenticates the ticket 3 as authentic, and the live camera unit 54 transmits the live image currently being shot to the smartphone 1 of the user who is the owner of the ticket 3. Thus, the video processing unit 52 issues a command (step S6), and thus the live camera unit 54 transmits the live image being shot to the smartphone 1 (step S7). As the image data in the ticket image storage unit 51, the same image data as that of the photograph 30 printed on the card 3 is prepared. Therefore, as long as this card 3 is used, a considerable live image can be obtained. The ticket authentication server 2 and the live camera 2 may be installed at the same place. Note that the second live camera 20 ′ is indicated by a chain line in preparation for arranging a plurality of live cameras and displaying live images side by side or switching them.

そのスマートフォン1であるが、ディスプレイ10には先に撮影されたチケット3の撮影画像31が表示されているわけであるが、上記ライブカメラ部54から送信されたライブ映像を送受信部42にて受信して(ステップS8)、このライブ映像32を表示部41にて上記撮影画像31に重ね合わせるようにして表示する(ステップS9)。従って例えばコンサートチケットの上に只今この時点の楽屋風景が浮かび上がるように表示することが可能になっており、コンサート前のユーザーの高揚感をより一層高める効果は抜群である。  Although the smartphone 1 is displaying the captured image 31 of the previously captured ticket 3 on the display 10, the live image transmitted from the live camera unit 54 is received by the transmitting / receiving unit 42. Then, the live video 32 is displayed on the display unit 41 so as to be superimposed on the captured image 31 (step S9). Therefore, for example, it is possible to display a dressing room scene at this time on a concert ticket so as to emerge, and the effect of further enhancing the exhilaration of the user before the concert is outstanding.

図8乃至図12でこの実施例を説明する。実施例1ではチケット認証サーバ2であったものが、この実施例2ではライブ映像中継処理サーバ21であり、この側に属するものとしてライブカメラ20の他に中継映像記憶装置22がインターネットに接続されている。一方スマートフォン1は後述のようにそのカメラ11による撮影画像を圧縮処理する点に特徴を有する。  This embodiment will be described with reference to FIGS. What was the ticket authentication server 2 in the first embodiment is a live video relay processing server 21 in this second embodiment. In addition to the live camera 20, a relay video storage device 22 is connected to the Internet as belonging to this side. ing. On the other hand, the smartphone 1 is characterized in that it compresses the image captured by the camera 11 as described later.

図11で表すようにスマートフォン1のカメラ11で任意のチケット3を撮影すると(ステップS10)、この撮影画像を図示しない表示部で処理してディスプレイ10上に表示すると共に、この撮影画像からチケット3に印刷された、ARマーカとしての写真30の部分を切り出して圧縮処理を行い(ステップS11)、この圧縮した画像データを送受信部を以てインターネット経由でライブ映像中継処理サーバ21に宛てて送信する(ステップS12)。  As shown in FIG. 11, when an arbitrary ticket 3 is photographed by the camera 11 of the smartphone 1 (step S10), the photographed image is processed by a display unit (not shown) and displayed on the display 10, and the ticket 3 is obtained from the photographed image. A portion of the photo 30 printed as an AR marker is cut out and compressed (step S11), and the compressed image data is transmitted to the live video relay processing server 21 via the Internet via the transmission / reception unit (step S11). S12).

ライブ映像中継処理サーバ21は、ライブカメラ20のライブカメラ部54と中継映像記憶装置22のライブ映像中継部56とにインターネットを介して接続されている。すなわちこのライブ映像中継処理サーバ21は、実質的にライブ映像中継処理部55とライブカメラ部54とライブ映像中継部56とから構成されている。  The live video relay processing server 21 is connected to the live camera unit 54 of the live camera 20 and the live video relay unit 56 of the relay video storage device 22 via the Internet. That is, the live video relay processing server 21 is substantially composed of a live video relay processing unit 55, a live camera unit 54, and a live video relay unit 56.

ライブ映像中継処理部55では、送受信部53が上記圧縮された画像データを受信すると(ステップS13)、映像処理部52は検索部50を以てこの受信した圧縮画像に合致する圧縮画像をチケット画像記憶部51の中から索出して(ステップS14)、索出された圧縮画像に紐付けられたライブカメラ20を決定し(ステップS15)、このようにして決定されたライブカメラ20のライブ映像をスマートフォン1に宛てて送信するようにライブ映像中継部56の中継処理部57に指令する(ステップS16)。いま撮影画像(c)のデータを映像処理部52が受け取ると、チケット画像記憶部51の中に記録されている画像(a、b、c、d、e、f、g・・)を当たり画像(c)を索出するが、画像(c)にはライブカメラ(C)が紐付けられているため、このライブカメラ20(C)を使用すると決定し、ライブ映像中継部56の中継処理部57に上述のように引き継ぐのである(図12)。上記検索部50では画像同士が比較されるが(図10)、この際にチケット画像記憶部51の中の圧縮画像は上記写真30の圧縮時に用いられたものと同じ圧縮アルゴリズムで処理されたものであるから、圧縮後の両者は大凡合致することになる。なおこの合致割合は任意に設定して良い。なおこの実施例では検索部50にて圧縮画像同士を比較しているが、圧縮することなく比較したり圧縮されたものであっても一旦解凍した上で比較するように構成することが可能である。  In the live video relay processing unit 55, when the transmission / reception unit 53 receives the compressed image data (step S13), the video processing unit 52 uses the search unit 50 to display a compressed image that matches the received compressed image as a ticket image storage unit. 51 is searched out (step S14), the live camera 20 associated with the searched compressed image is determined (step S15), and the live video of the live camera 20 determined in this way is displayed on the smartphone 1. Is directed to the relay processing unit 57 of the live video relay unit 56 (step S16). When the video processing unit 52 receives the data of the photographed image (c), the image (a, b, c, d, e, f, g,...) Recorded in the ticket image storage unit 51 is hit and the image is hit. (C) is searched, but since the live camera (C) is linked to the image (c), it is determined that this live camera 20 (C) is used, and the relay processing unit of the live video relay unit 56 57 is taken over as described above (FIG. 12). The search unit 50 compares the images (FIG. 10). At this time, the compressed image in the ticket image storage unit 51 is processed by the same compression algorithm used when compressing the photograph 30. Therefore, both of them after compression are roughly matched. This matching ratio may be set arbitrarily. In this embodiment, the search unit 50 compares compressed images with each other. However, it is possible to configure such that comparison is performed without compression or comparison is performed after decompression. is there.

中継映像記憶装置22に於いてライブ映像中継部52は、中継処理部57が上記決定されたライブカメラ部54から送受信部58によりライブ映像を受信して一旦記録しているが、この蓄積時間はこの実施例では数分とごく短いものである。中継処理部57は上記映像処理部52からライブカメラ20(C)の使用が指定されたため、このライブ映像をいわゆる追いかけ再生的にスマートフォン1に向けて送信する。従って、ライブカメラ部54にはアクセスを集中させることなく、スマートフォン1からのアクセスはライブ映像中継部56に集中させて、ライブ映像の配信処理を円滑なものとすることに成功しているのである。  In the relay video storage device 22, the live video relay unit 52 receives the live video from the live camera unit 54 determined by the relay processing unit 57 through the transmission / reception unit 58 and temporarily records it. In this embodiment, it is a very short time of several minutes. Since the use of the live camera 20 (C) is designated by the video processing unit 52, the relay processing unit 57 transmits the live video to the smartphone 1 in a so-called chasing reproduction. Therefore, the access from the smartphone 1 is concentrated on the live video relay unit 56 without concentrating the access on the live camera unit 54, and the live video distribution process is smoothly performed. .

図13および図14でこの実施例を説明する。上述した実施例2では検索部50で画像同士を比較して複数あるライブカメラの中からライブカメラ20(C)を使用すると決定していた。これに対してこの実施例3では、上述した実施例1のようにユーザーが真正なチケットを持っていると認証したならば、見たいとするライブ映像をスマートフォン1のディスプレイ10に、先に撮影されたチケット3の撮影画像31に重ねるようにして、ライブカメラの選択肢表示34をユーザーが自由に選べるようにAR表示している点に特徴を有する。以下では実施例1を参照して説明する。  This embodiment will be described with reference to FIGS. In the second embodiment described above, the search unit 50 compares the images and determines that the live camera 20 (C) is used from among a plurality of live cameras. On the other hand, in this third embodiment, if the user authenticates that he / she has a genuine ticket as in the first embodiment, the live video to be viewed is first photographed on the display 10 of the smartphone 1. It is characterized in that AR display is performed so that the user can freely select the option display 34 of the live camera so as to be superimposed on the photographed image 31 of the ticket 3 that has been made. Hereinafter, a description will be given with reference to the first embodiment.

スマートフォン1のカメラ11の撮像部40でチケット3の画像を撮影すると、これをAR表示部4の表示部41が処理してディスプレイ10に表示すると共に、この撮影画像からチケット3に印刷されている写真30の部分を切り出して、この写真30をARマーカとして、送受信部42を以てインターネット経由でチケット認証サーバ2に宛て送信する。するとチケット認証サーバ2では、送受信部53が上記撮影画像を受信すると(ステップS17)、映像処理部52は検索部50を以てこの撮影画像に合致する画像をチケット画像記憶部51の中から検索して(ステップS18)、ここからがこの実施例3の特徴であるが、索出された場合には、これを以て上記チケット3を真正なものとして認証し、このチケット3の所有者たるユーザーのスマートフォン1に複数用意したライブカメラの選択肢を、すなわちライブ映像の選択肢を送信して、ユーザーの選択結果を待ち(ステップS19)、選択結果の情報を受信したらこの選択されたライブカメラ部54が只今撮影中のライブ画像をスマートフォン1に宛てて送信するように、映像処理部52が指令を出し(ステップS20)、こうしてこのライブカメラ部54は撮影中のライブ画像をスマートフォン1に宛てて送信する(ステップS21)。ユーザーは見たいライブ画像を自由意思で選択できる利便性を享受することができる。  When the image of the ticket 3 is captured by the imaging unit 40 of the camera 11 of the smartphone 1, this is processed by the display unit 41 of the AR display unit 4 and displayed on the display 10, and is printed on the ticket 3 from this captured image. A portion of the photograph 30 is cut out, and the photograph 30 is sent as an AR marker to the ticket authentication server 2 via the Internet via the transmission / reception unit 42. Then, in the ticket authentication server 2, when the transmission / reception unit 53 receives the captured image (step S17), the video processing unit 52 searches the ticket image storage unit 51 for an image that matches the captured image using the search unit 50. (Step S18) From now on, the feature of the third embodiment is described. When the ticket is searched, the ticket 3 is authenticated as authentic, and the smartphone 1 of the user who is the owner of the ticket 3 is authenticated. A plurality of live camera options prepared, i.e., live video options are transmitted, the user selection result is awaited (step S19), and when the selection result information is received, the selected live camera unit 54 is currently shooting. The video processing unit 52 issues a command so as to send the live image to the smartphone 1 (step S20). The live camera unit 54 transmits the control information a live image being captured in the smartphone 1 (step S21). The user can enjoy the convenience of freely selecting a live image to be viewed.

図15乃至図20でこの実施例を説明する。スマートフォンのAR表示部6を図15のブロック図で表す。AR表示部6は撮像部60と表示部61とARマーカ読取部62と送受信部63とから構成されている。一方、ライブ映像処理部7を図16のブロック図で表わすと、ライブ映像処理部7は検索部70とARマーカ記憶部71と映像処理部72と送受信部73とから構成されている。またインターネットに接続された複数台のライブカメラ部74を有している。  This embodiment will be described with reference to FIGS. The AR display unit 6 of the smartphone is represented by the block diagram of FIG. The AR display unit 6 includes an imaging unit 60, a display unit 61, an AR marker reading unit 62, and a transmission / reception unit 63. On the other hand, when the live video processing unit 7 is represented by the block diagram of FIG. 16, the live video processing unit 7 includes a search unit 70, an AR marker storage unit 71, a video processing unit 72, and a transmission / reception unit 73. It also has a plurality of live camera units 74 connected to the Internet.

この実施例で用いるスマートフォンは、実施例1と同様に、表側にディスプレイ10を裏側にカメラ11を備え、無線にてインターネットに接続されている。この実施例では4枚のトレーディングカード35を用い、スマートフォンのカメラ11でARマーカ36が印刷されたカード35を撮影すると(ステップS22)、この撮影画像をAR表示部6の撮像部60が処理して表示部61にてディスプレイ10に表示すると共に、この撮影画像からカード35に印刷されたARマーカ36をARマーカ読取部62で読み取り(ステップS23)、このARマーカ36のデータを送受信部63からインターネットを経由してライブ映像の処理サーバに宛てて送信する(ステップS24)。なおこの実施例ではARマーカ36にQRコードを用いている。  As in the first embodiment, the smartphone used in this embodiment includes a display 10 on the front side and a camera 11 on the back side, and is connected to the Internet wirelessly. In this embodiment, when four trading cards 35 are used and the card 35 on which the AR marker 36 is printed is photographed by the camera 11 of the smartphone (step S22), the photographed image is processed by the imaging unit 60 of the AR display unit 6. The display unit 61 displays the AR marker 36 on the card 35 from the captured image, and the AR marker reading unit 62 reads the AR marker 36 from the captured image (step S23). The live image is transmitted to the server for processing live video via the Internet (step S24). In this embodiment, a QR code is used for the AR marker 36.

ライブ映像の処理サーバの側では、ライブ映像処理部7の送受信部73がARマーカ36のデータを受信すると(ステップS25)、映像処理部72は検索部70を以てこの受信したARマーカ36のデータに合致するマーカーデータをARマーカ記憶部71の中から検索して(ステップS26)、索出されたARマーカに紐付けられている所のライブカメラ部74を決定し(ステップS27)、このようにして決定したライブカメラ部74に対して撮影中のライブ映像を送受信部73を以てこのスマートフォンに宛てて送信するよういに指令する(ステップS28)。これを受けて当該ライブカメラ部74は、ライブ映像をこのスマートフォン宛てに送信する(ステップS29)。ARマーカ記憶部71の中のマーカーデータには、カード35に印刷されたARマーカ36のデータと同じものを用意しておく。従ってこのカード33が用いられる限り相当のライブ映像を得ることができるのである。  On the live video processing server side, when the transmitting / receiving unit 73 of the live video processing unit 7 receives the AR marker 36 data (step S25), the video processing unit 72 uses the search unit 70 to convert the received AR marker 36 data. The matching marker data is searched from the AR marker storage unit 71 (step S26), and the live camera unit 74 linked to the searched AR marker is determined (step S27). The live camera unit 74 determined in this way is instructed to transmit the live video being shot to the smartphone via the transmission / reception unit 73 (step S28). In response to this, the live camera unit 74 transmits the live video to the smartphone (step S29). As the marker data in the AR marker storage unit 71, the same data as the AR marker 36 data printed on the card 35 is prepared. Therefore, as long as this card 33 is used, a considerable live image can be obtained.

ところで4枚のカード35(1、2、3、4)には、各々独自の写真と共に各々独自のARマーカ36(i、ii、iii、iv)が印刷されている。そこで例えば1枚のカード35(1)に付いてカメラで撮影して、このカード35(1)のマーカ36(i)のデータをライブ映像処理サーバに送信すると、ARマーカ記憶部71の中に記録されている単独のマーカーデータおよび組み合わせのマーカーデータからマーカ(i)を索出するが、このマーカ(i)にはライブカメラ(I)が紐付けられているため、このライブ映像をライブカメラ(I)からスマートフォンに送信することになる。するとスマートフォンの側ではディスプレイ10に、先ほど表示した撮影画像35に重ね合わせるようにしてこのライブカメラ(I)のライブ映像を表示するのである。カード35(2、3、4)の各々に付いても同様の処理を行う。  By the way, each of the four cards 35 (1, 2, 3, 4) is printed with a unique AR marker 36 (i, ii, iii, iv) together with a unique photograph. Therefore, for example, when a single card 35 (1) is attached and photographed with a camera and the data of the marker 36 (i) of this card 35 (1) is transmitted to the live video processing server, the AR marker storage unit 71 stores the data. The marker (i) is searched from the recorded single marker data and combination marker data. Since the live camera (I) is linked to the marker (i), the live video is displayed as the live camera. (I) will be transmitted to the smartphone. Then, on the smartphone side, the live image of the live camera (I) is displayed on the display 10 so as to be superimposed on the captured image 35 displayed earlier. Similar processing is performed for each of the cards 35 (2, 3, 4).

しかしながらこの実施例は上述した処理に止まらず、4枚のカード35(1、2、3、4)を任意に組合わせてカメラで撮影した場合にも映像決定の処理が決められているのである。すなわち4枚のカード35の内の何れか2枚の組合わせ、何れか3枚の組合わせ、或いは4枚揃いで撮影すると、ライブ映像処理サーバ側では各々の組み合わせにマッチするライブカメラ部74のライブ映像をスマートフォン側に送信する処理を行うように構成した。図19および図20を用いて4枚揃いの場合を説明すると、スマートフォンのディスプレイ10には図20のように縦横2列に整列させた4枚のカード35(1、2、3、4)が表示されるのであるが、各々の上に印刷されたマーカ36(i、ii、iii、iv)の画像からこの組み合わせに対応するライブカメラ(IV)が複数台のライブカメラ部74(I、II、III、IV、・・)の中から選択決定されて、このライブカメラ(IV)で撮影中のライブ映像がスマートフォンの側に返され、この結果ライブ映像38(iv)が上記4枚のカード35(1、2、3、4)に重ねて表示されるのである。  However, this embodiment is not limited to the processing described above, and the video determination processing is determined even when four cards 35 (1, 2, 3, 4) are arbitrarily combined and photographed by the camera. . That is, if any two of the four cards 35 are combined, any three are combined, or a set of four is photographed, the live video processing server 74 matches the respective combinations on the live video processing server side. It was configured to send live video to the smartphone. Referring to FIGS. 19 and 20, the case of a set of four cards will be described. On the display 10 of the smartphone, four cards 35 (1, 2, 3, 4) arranged in two vertical and horizontal rows as shown in FIG. Although displayed, the live camera (IV) corresponding to this combination from the images of the markers 36 (i, ii, iii, iv) printed on each of the plurality of live cameras 74 (I, II). , III, IV,...), The live video being shot by the live camera (IV) is returned to the smartphone, and as a result, the live video 38 (iv) is the above four cards. 35 (1, 2, 3, 4).

この他、ARマーカ36の並び順を判別してそれに対応するライブカメラ部74を決定するように構成することも可能である。例えば縦一列配列や横一列配列などを判別し得るように設計するのである。  In addition, it is possible to determine the arrangement order of the AR markers 36 and determine the live camera unit 74 corresponding thereto. For example, it is designed so that a vertical single row arrangement, a horizontal single row arrangement, or the like can be discriminated.

図21及び図22でこの実施例を説明する。ライブ映像の処理サーバ側は、主体となるライブ映像処理部8とライブカメラ部84とスイッチ切り替え部85とから構成されている。複数台のライブカメラから成るライブカメラ部84は遠隔地に分散して設置されているが、ライブ映像処理部8とスイッチ切り替え部85とは同一サーバ上に構築されている。スイッチ切り替え部85の特徴は、ライブカメラ84を後述するように切り替えるスイッチ部87と、スマートフォン側と文字で対話するチャット部86とを備えている点にある。なおチャット部86とスイッチ部87とはライブ映像の処理サーバ側のオペレータによって操作されるものである。一方、スマートフォン側にはチャットのアプリ(応用ソフトウェア)がインストールされている。  This embodiment will be described with reference to FIGS. The live video processing server side includes a main live video processing unit 8, a live camera unit 84, and a switch switching unit 85. Although the live camera unit 84 composed of a plurality of live cameras is distributed and installed in a remote place, the live video processing unit 8 and the switch switching unit 85 are constructed on the same server. The feature of the switch switching unit 85 is that it includes a switch unit 87 that switches the live camera 84 as described later, and a chat unit 86 that communicates with the smartphone side by characters. The chat unit 86 and the switch unit 87 are operated by an operator on the live video processing server side. On the other hand, a chat application (application software) is installed on the smartphone side.

ライブ映像処理部8の映像処理部82は、送受信部83を用いてスマートフォンからのチケット画像を受信したら(ステップS30)、検索部80はこのチケット画像に合致する画像をチケット画像記憶部81の中から検索し、一致した場合にはこのチケットを真正なものと認証する(ステップS31)。従ってこのスマートフォンのユーザーは、ライブカメラ部84からのライブ映像をAR表示する権利があり、またオペレータとチャットしてライブ映像を切り替えてもらうことができる。  When the video processing unit 82 of the live video processing unit 8 receives the ticket image from the smartphone using the transmission / reception unit 83 (step S30), the search unit 80 displays an image that matches the ticket image in the ticket image storage unit 81. If they match, the ticket is authenticated as authentic (step S31). Therefore, the user of this smartphone has the right to AR display the live video from the live camera unit 84 and can chat with the operator to switch the live video.

さて上述した認証処理が終わると、所定のライブ映像がライブカメラ部84から送信され、スマートフォン側でAR表示されるように設定されているが、認証済みユーザーからチャット部86に対してライブ映像を切り替え要求があった場合には、オペレータはスイッチ部87を以てライブカメラ部84のライブカメラの切り替えを行うと、すなわち切り替えた先のライブカメラにそのライブ映像を当該スマートフォンに送信するように指令すると(ステップS32)、当該切り替えられたライブカメラから新たなライブ映像がスマートフォン側に送信されることになる(ステップS33)。  When the authentication process described above is completed, a predetermined live video is transmitted from the live camera unit 84 and is set to be displayed as an AR on the smartphone side. When there is a switching request, the operator switches the live camera of the live camera unit 84 using the switch unit 87, that is, instructs the live camera of the switched destination to transmit the live video to the smartphone ( In step S32), a new live video is transmitted from the switched live camera to the smartphone side (step S33).

なおここでは固定された複数台のライブカメラを切り替えることについて説明したが、例えばライブカメラを携帯したカメラマンとチャットを行って、撮影場所を移動してもらうようにも設計することができる。その何れにせよユーザーとのコラボレーションを可能にして、ユーザーの要望に極力沿ったライブ映像をAR表示するサービスを提供し得るようになる。  Here, switching between a plurality of fixed live cameras has been described. However, for example, it is possible to perform a chat with a photographer carrying a live camera to move the shooting location. In any case, it is possible to provide a service that enables collaboration with the user and AR displays live video that meets the user's request as much as possible.

上述の実施例4では、4枚のカード35(1、2、3、4)を集めて、並べてカメラをかざすと言うことを行っている。すなわち複数のマーカ提示媒体の撮影によって複数のARマーカを得るのである。そしてこの範疇にはこの実施例のようなスタンプカードが含まれることをここに説明する。  In the above-described fourth embodiment, four cards 35 (1, 2, 3, 4) are collected and arranged side by side to hold the camera. That is, a plurality of AR markers are obtained by photographing a plurality of marker presentation media. It will be described here that this category includes stamp cards such as this embodiment.

図23はこの実施例のスタンプラリーシート39であり、この表面には3行3列の区画300が印刷されている。この状態でカメラをかざしても特段何も起こらない。しかしながらスタンプ301を区画300内に捺して行くことにより、スタンプ301の数に応じたライブ映像をこのシート39のスタンプ301の上に重ねて表示するように設計されている。すなわち、この実施例のシート39では各々の区画300を独立した印刷媒体に見立てることができるのである。  FIG. 23 shows a stamp rally sheet 39 of this embodiment, on which a section 300 of 3 rows and 3 columns is printed. If you hold the camera in this state, nothing will happen. However, by marking the stamp 301 in the section 300, a live image corresponding to the number of the stamps 301 is designed to be displayed over the stamp 301 of the sheet 39. That is, in the sheet 39 of this embodiment, each section 300 can be regarded as an independent print medium.

なお区画300内にスタンプ301を捺すのではなく、イラスト303などが描かれたシール302を用いてこれを貼付するものとして提供することも可能である。  Instead of stamping the stamp 301 in the section 300, it is also possible to provide a sticker with a sticker 302 on which an illustration 303 or the like is drawn.

さてこれまではマーカ提示媒体にカード様のものを組合わせて用いる例を取り上げたが、マーカ提示媒体は何もカードに限定されるものではなく、また種類の異なる複数のマーカ提示媒体を組み合わせて使用するようにしても良いわけである。  So far, the example of using a card-like combination in the marker presentation medium has been taken up, but the marker presentation medium is not limited to a card, and a combination of a plurality of different types of marker presentation mediums. It may be used.

図24では印刷媒体としてCDジャケット304とポケットティッシュ305とトレーディングカード306との組み合わせを用いる実施例を表している。すなわちこの3種類を集めて初めて、カメラをかざした時にこの3種類のマーカ提示媒体の画像に、ライブカメラのライブ映像が重ねて表示されるのである。  FIG. 24 shows an embodiment in which a combination of a CD jacket 304, a pocket tissue 305, and a trading card 306 is used as a print medium. That is, only when these three types are collected, when the camera is held over, live images from the live camera are displayed superimposed on the images of the three types of marker presentation media.

この発明はARマーカが付されたマーカ提示媒体に限定されず、例えば風景中に集められた所定の組み合わせの人物や物体などにも広く応用し得る。また建物にARマーカを付すことができるが、建物の場合はこれが地図上で位置するGPS位置情報やカメラの方位情報を利用するようにしても良い。これ等もまたこの発明の権利範囲内のものである。  The present invention is not limited to a marker presenting medium with an AR marker, and can be widely applied to, for example, a predetermined combination of persons and objects collected in a landscape. An AR marker can be attached to a building, but in the case of a building, GPS position information or camera orientation information located on the map may be used. These are also within the scope of this invention.

1:スマートフォン 10:ディスプレイ 11:カメラ 2:チケット認証サーバ
20:ライブカメラ 21:ライブ映像中継処理サーバ 22:中継映像記憶装置
3:チケット 30:写真 31:撮影画像 32:ライブ映像 33:写真
34:選択肢表示 35:カード 36:ARマーカ 37:撮影画像
38:ライブ映像 39:シート 300:区画 301:スタンプ 302:シール
303:イラスト 304:CDジャケット 305:ポケットティッシュ
306:トレーディングカード 4:AR表示部 40:撮像部 41:表示部
42:送受信部 5:ライブ映像処理部 50:検索部 51:チケット画像記憶部
52:映像処理部 53:送受信部 54:ライブカメラ部
55:ライブ映像中継処理部 56:ライブ映像中継部 57:中継処理部
58:送受信部 6:AR表示部 60:撮像部 61:表示部
62:ARマーカ読取部 63:送受信部 7:ライブ映像処理部 70:検索部
71:ARマーカ記憶部 72:映像処理部 73:送受信部 74:ライブカメラ部
8:ライブ映像処理部 80:検索部 81:チケット画像記憶部 82:映像処理部
83:送受信部 84:ライブカメラ部 85:スイッチ切り替え部
86:チャット部 87:スイッチ部
1: Smartphone 10: Display 11: Camera 2: Ticket authentication server 20: Live camera 21: Live video relay processing server 22: Relay video storage device 3: Ticket 30: Photo 31: Captured image 32: Live video 33: Photo 34: Choice display 35: Card 36: AR marker 37: Captured image 38: Live video 39: Sheet 300: Section 301: Stamp 302: Sticker 303: Illustration 304: CD jacket 305: Pocket tissue 306: Trading card 4: AR display section 40 : Imaging unit 41: Display unit 42: Transmission / reception unit 5: Live video processing unit 50: Search unit 51: Ticket image storage unit 52: Video processing unit 53: Transmission / reception unit 54: Live camera unit 55: Live video relay processing unit 56: Live video relay unit 57: Relay processing unit 58 : Transmission / reception unit 6: AR display unit 60: Imaging unit 61: Display unit 62: AR marker reading unit 63: Transmission / reception unit 7: Live video processing unit 70: Search unit 71: AR marker storage unit 72: Video processing unit 73: Transmission / reception Unit 74: Live camera unit 8: Live video processing unit 80: Search unit 81: Ticket image storage unit 82: Video processing unit 83: Transmission / reception unit 84: Live camera unit 85: Switch switching unit 86: Chat unit 87: Switch unit

Claims (16)

ARマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラとを備え、前記カメラで撮影された前記ARマーカを受け取ってこのARマーカに対応する前記ライブカメラのライブ映像を前記カメラ側の表示装置に送信するライブ映像処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ARマーカやライブ映像の通信を媒介するインターネットなどのネットワークと、から成る拡張現実システム。  A camera for shooting a marker presenting medium with an AR marker, and a live camera for shooting a live video; the live marker corresponding to the AR marker received by the AR marker shot by the camera; A live video processing device that transmits a live video of the camera to the display device on the camera side, a display device that receives the live video and displays the live video superimposed on the marker presentation medium, and communication of the AR marker and the live video. Augmented reality system consisting of a network such as the Internet. ARマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラと、前記ライブカメラのライブ映像を中継するための中継装置とを備え、前記カメラで撮影された前記ARマーカを受け取ってこのARマーカに対応する前記ライブカメラのライブ映像を前記中継装置を介して前記カメラ側の表示装置に送信するライブ映像中継処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ARマーカの通信や前記ライブ映像の中継を媒介するインターネットなどのネットワークと、から成る拡張現実システム。  A camera for shooting a marker presenting medium with an AR marker, a live camera for shooting a live video, and a relay device for relaying the live video of the live camera, which is shot by the camera A live video relay processing device that receives the AR marker and transmits the live video of the live camera corresponding to the AR marker to the display device on the camera side via the relay device; An augmented reality system comprising: the display device that displays a marker presentation medium in a superimposed manner; and a network such as the Internet that mediates communication of the AR marker and relay of the live video. 複数台の前記ライブカメラを備え、前記ライブ映像処理装置または前記ライブ映像中継処理装置は、何れのライブ映像が見たいかを選択可能にする選択肢を前記表示装置側に選択可能に提示すると共に、前記表示装置側で選択された前記ライブカメラのライブ映像を前記表示装置に送信すべきライブ映像として特定する、請求項1または請求項2に記載の拡張現実システム。  Provided with a plurality of the live cameras, the live video processing device or the live video relay processing device presents selectable options on the display device side so as to select which live video is desired to be viewed, The augmented reality system according to claim 1 or 2, wherein a live video of the live camera selected on the display device side is specified as a live video to be transmitted to the display device. ARマーカが付されたマーカ提示媒体を撮影するためのカメラと、ライブ映像を撮影するためのライブカメラとを備え、前記カメラで撮影された前記ARマーカを受け取ってこのARマーカに対応する前記ライブカメラのライブ映像を前記カメラ側の表示装置に送信するライブ映像処理装置と、このライブ映像を受信して前記マーカ提示媒体に重ねて表示する前記表示装置と、前記ARマーカやライブ映像の通信を媒介するインターネットなどのネットワークとから成り、更に複数台の前記ライブカメラを備えるかまたは撮影者と共に移動可能な前記ライブカメラを備えていると共に、前記ライブ映像処理装置の運営者側と前記表示装置のライブ映像を見るユーザーとの間で、このユーザーが見たいライブ場面をチャットにより運営者側に依頼するためのチャットシステムを備えている、拡張現実システム。  A camera for shooting a marker presenting medium with an AR marker, and a live camera for shooting a live video; the live marker corresponding to the AR marker received by the AR marker shot by the camera; A live video processing device that transmits a live video of the camera to the display device on the camera side, a display device that receives the live video and displays the live video superimposed on the marker presentation medium, and communication of the AR marker and the live video. An intermediary network such as the Internet, further comprising a plurality of the live cameras or the live camera movable with the photographer, and the live video processing device operator side and the display device The live scene that this user wants to see depends on the operator side by chat with the user who sees the live video. And it includes a chat system for, augmented reality system. 前記カメラが同時に撮影した複数のマーカ提示媒体から得られた複数のARマーカを受け取って、前記ライブ映像処理装置または前記ライブ映像中継処理装置が、これ等のマーカにマッチングするマーカをマーカ記憶装置に記録されたマーカの中がら検索し、この索出マーカに対応するライブ映像を複数の前記ライブカメラのライブ映像の中から決定し、このライブ映像を前記カメラ側の表示装置に送信する、請求項1乃至請求項3の何れか一に記載の拡張現実システム。  Upon receiving a plurality of AR markers obtained from a plurality of marker presentation media photographed simultaneously by the camera, the live video processing device or the live video relay processing device stores markers matching these markers in a marker storage device. Searching among recorded markers, determining a live video corresponding to the search marker from a plurality of live videos of the live camera, and transmitting the live video to a display device on the camera side. The augmented reality system according to any one of claims 1 to 3. 複数の前記マーカ提示媒体の内の少なくとも一が異なる種類のマーカ提示媒体である、請求項5に記載の拡張現実システム。  The augmented reality system according to claim 5, wherein at least one of the plurality of marker presentation media is a different type of marker presentation media. 前記ARマーカの画像を、スタンプが捺されたることによって得られるスタンプ画像またはシールが付されることによって得られるシール画像とし、複数のスタンプを重ならないように捺すためのまたは複数のシールを重ならないように付すための区分けされたスペースが設けられていることによって実質的に複数のマーカ提示媒体と見なし得るマーカ提示媒体を用いる、請求項5に記載の拡張現実システム。  The AR marker image is a stamp image obtained by imprinting a stamp or a seal image obtained by applying a sticker, and a plurality of stamps are printed so as not to overlap each other. The augmented reality system according to claim 5, wherein a marker presenting medium that can be regarded as a plurality of marker presenting media is provided by providing a partitioned space to be attached. カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置によって前記ARマーカに対応するライブカメラのライブ映像を決定してこのライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するようにカメラ側の表示装置に送信処理する、拡張現実処理方法。  The AR marker on the marker presentation medium with the AR marker photographed by the camera is received and processed via a network such as the Internet, and the live video of the live camera corresponding to the AR marker is determined by the live video processing device. An augmented reality processing method of performing transmission processing to a display device on a camera side so that a live image is displayed on the display device on the camera side so as to be superimposed on the image of the marker presentation medium. カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像中継処理装置によって前記ARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を中継装置を介して、前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するように、カメラ側の表示装置に送信処理する、拡張現実処理方法。  The AR marker of the marker presentation medium with the AR marker taken by the camera is received and processed via a network such as the Internet, and the live video relay processing device determines the live video of the live camera corresponding to the AR marker, An augmented reality processing method of performing transmission processing on a display device on the camera side so that the live image is displayed on the display device on the camera side so as to be superimposed on the video on the marker presentation medium via a relay device. 前記ライブ映像処理装置または前記ライブ映像中継処理装置は、複数台の前記ライブカメラのライブ映像の内の何れのライブ映像が見たいかを選択可能にする選択肢を前記表示装置側に選択可能に提示すると共に前記表示装置側で選択された前記ライブカメラのライブ映像を前記表示装置に送信すべきライブ映像に特定する、請求項1または請求項2に記載の拡張現実処理方法。  The live video processing device or the live video relay processing device presents an option on the display device side so that the user can select which live video of the live video of the plurality of live cameras is to be viewed. The augmented reality processing method according to claim 1, wherein a live video of the live camera selected on the display device side is specified as a live video to be transmitted to the display device. カメラで撮影したARマーカが付されたマーカ提示媒体の前記ARマーカをインターネットなどのネットワークを介して受信処理し、ライブ映像処理装置によって前記ARマーカに対応するライブカメラのライブ映像を決定し、このライブ映像を前記カメラ側の表示装置で前記マーカ提示媒体の映像に重ねて表示するようにカメラ側の表示装置に送信処理すること、および前記ライブカメラを複数台備えるかまたは撮影者と共に移動可能な前記ライブカメラを備え、前記ライブ映像処理装置の運営者側と前記表示装置のライブ映像を見るユーザーとの間で通信するためのチャットシステムを用いてユーザーが見たいライブ場面をチャットによって受け付ける操作を行うこと、を含む拡張現実処理方法。  The AR marker of the marker presentation medium with the AR marker taken by the camera is received and processed via a network such as the Internet, and a live video of the live camera corresponding to the AR marker is determined by a live video processing device. Transmission processing to the display device on the camera side so that a live image is displayed on the display device on the camera side so as to be superimposed on the image of the marker presentation medium, and a plurality of the live cameras are provided or movable with the photographer An operation that includes the live camera and accepts a live scene that the user wants to see by chat using a chat system for communication between an operator of the live video processing device and a user who views the live video on the display device. Performing an augmented reality processing method. 前記カメラが同時に撮影した複数のマーカ提示媒体から得られた複数のARマーカを受け取る処理を行い、前記ライブ映像処理装置または前記ライブ映像中継処理装置によってこれ等のマーカにマッチングするマーカをマーカ記憶装置に記録されたマーカの中から検索し、この索出マーカに対応するライブ映像を複数の前記ライブカメラのライブ映像の中から決定し、このライブ映像を前記カメラ側の表示装置に送信処理する、請求項8乃至請求項10の何れか一に記載の拡張現実処理方法。  A marker storage device that performs a process of receiving a plurality of AR markers obtained from a plurality of marker presentation media photographed simultaneously by the camera and that matches the markers by the live video processing device or the live video relay processing device A live image corresponding to the search marker is determined from the live video of the plurality of live cameras, and the live video is transmitted to the display device on the camera side. The augmented reality processing method according to any one of claims 8 to 10. 複数の前記マーカ提示媒体の内の少なくとも一が異なる種類のマーカ提示媒体である、請求項12に記載の拡張現実処理方法。  The augmented reality processing method according to claim 12, wherein at least one of the plurality of marker presentation media is a different type of marker presentation media. 前記ARマーカの画像を、スタンプが捺されたることによって得られるスタンプ画像またはシールが付されることによって得られるシール画像とし、複数のスタンプを重ならないように捺すためのまたは複数のシールを重ならないように付すための区分けされたスペースが設けられていることによって実質的に複数のマーカ提示媒体と見なし得るマーカ提示媒体を用いる、請求項12に記載の拡張現実処理方法。  The AR marker image is a stamp image obtained by imprinting a stamp or a seal image obtained by applying a sticker, and a plurality of stamps are printed so as not to overlap each other. The augmented reality processing method according to claim 12, wherein a marker presenting medium that can be substantially regarded as a plurality of marker presenting media is provided by providing a partitioned space for being attached. 請求項8乃至請求項14の何れか1に記載の拡張現実処理方法をコンピュータに実行させるプログラム。  The program which makes a computer perform the augmented reality processing method of any one of Claims 8 thru | or 14. 請求項8乃至請求項14の何れか1に記載の拡張現実処理方法をコンピュータに実行させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。  A computer-readable recording medium storing a program for causing a computer to execute the augmented reality processing method according to claim 8.
JP2014085904A 2014-04-01 2014-04-01 augmented reality system, augmented reality processing method, program and recording medium Pending JP2015198443A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014085904A JP2015198443A (en) 2014-04-01 2014-04-01 augmented reality system, augmented reality processing method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014085904A JP2015198443A (en) 2014-04-01 2014-04-01 augmented reality system, augmented reality processing method, program and recording medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017001767U Continuation JP3211308U (en) 2017-04-03 2017-04-03 Augmented reality system

Publications (1)

Publication Number Publication Date
JP2015198443A true JP2015198443A (en) 2015-11-09

Family

ID=54547881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014085904A Pending JP2015198443A (en) 2014-04-01 2014-04-01 augmented reality system, augmented reality processing method, program and recording medium

Country Status (1)

Country Link
JP (1) JP2015198443A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200665A (en) * 2017-05-30 2018-12-20 セイコーエプソン株式会社 Control method of information processing device, program and information processing device
JP2019193075A (en) * 2018-04-24 2019-10-31 東芝テック株式会社 Moving image distribution apparatus and information processing program
JP2020017176A (en) * 2018-07-27 2020-01-30 株式会社Nttドコモ Information processing device
CN112380393A (en) * 2020-10-23 2021-02-19 岭东核电有限公司 Ticket holding test method and device, computer equipment and storage medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200665A (en) * 2017-05-30 2018-12-20 セイコーエプソン株式会社 Control method of information processing device, program and information processing device
JP2019193075A (en) * 2018-04-24 2019-10-31 東芝テック株式会社 Moving image distribution apparatus and information processing program
JP7188906B2 (en) 2018-04-24 2022-12-13 東芝テック株式会社 Video distribution device and information processing program
JP2020017176A (en) * 2018-07-27 2020-01-30 株式会社Nttドコモ Information processing device
JP6999516B2 (en) 2018-07-27 2022-01-18 株式会社Nttドコモ Information processing equipment
CN112380393A (en) * 2020-10-23 2021-02-19 岭东核电有限公司 Ticket holding test method and device, computer equipment and storage medium
CN112380393B (en) * 2020-10-23 2024-04-12 岭东核电有限公司 Ticket holding test method, device, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
EP3238445B1 (en) Interactive binocular video display
US9558593B2 (en) Terminal apparatus, additional information managing apparatus, additional information managing method, and program
CN106792228B (en) Live broadcast interaction method and system
JP5715842B2 (en) Information providing system, information providing method, and program
CN117784938A (en) System and method of linking and interacting between augmented reality and virtual reality environments
US20140178029A1 (en) Novel Augmented Reality Kiosks
CN106792214A (en) A kind of living broadcast interactive method and system based on digital audio-video place
JP2018182428A (en) Video distribution device, video distribution system, and video distribution method
US20190221019A1 (en) Computer Readable Media, Information Processing Apparatus and Information Processing Method
KR20140143777A (en) Method of communication and of information in augmented reality
CN111242704B (en) Method and electronic equipment for superposing live character images in real scene
JP2015198443A (en) augmented reality system, augmented reality processing method, program and recording medium
JP2015146173A (en) Annotation system, method, program, and recording medium
JP5596844B2 (en) Image processing apparatus, image processing system, and image processing method
US20080158242A1 (en) Virtual image preservation
KR102084970B1 (en) Virtual reality viewing method and virtual reality viewing system
JP3211308U (en) Augmented reality system
CN112288877A (en) Video playing method and device, electronic equipment and storage medium
JP7069857B2 (en) Content providing device
JP2021034977A (en) Server, reproduction device, content reproduction system, content reproduction method, and program
JP2020150289A (en) Imaging system, imaging apparatus, management device and imaging method
JP2020071519A (en) Guide device and guide system
KR102516780B1 (en) User upload VR system
JP6849851B2 (en) Shooting system, shooting device and user shooting method
JP5409852B2 (en) Virtual landscape display device and virtual landscape display method