JP2012208558A - Display control apparatus, terminal device, communication system, and program - Google Patents

Display control apparatus, terminal device, communication system, and program Download PDF

Info

Publication number
JP2012208558A
JP2012208558A JP2011071595A JP2011071595A JP2012208558A JP 2012208558 A JP2012208558 A JP 2012208558A JP 2011071595 A JP2011071595 A JP 2011071595A JP 2011071595 A JP2011071595 A JP 2011071595A JP 2012208558 A JP2012208558 A JP 2012208558A
Authority
JP
Japan
Prior art keywords
image
image data
display
series
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011071595A
Other languages
Japanese (ja)
Inventor
Takahiro Asano
貴裕 浅野
Toshihiro Kimura
俊洋 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2011071595A priority Critical patent/JP2012208558A/en
Publication of JP2012208558A publication Critical patent/JP2012208558A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable a display of a terminal apparatus to show a display image having no moire even in a case where an image display device displaying an image is included in the photographing range of a camera of the terminal apparatus in an AR system.SOLUTION: A CPU 41 of a terminal apparatus 20performs the steps of: extracting a QR code from photographed image data PV-i output from a camera 34; obtaining, from a server apparatus 50, the same image data CV-k as that having an image display device 1photographed in the image data PV-i as a transmission destination; comparing the image data CV-k with a zone ARH having a predetermined positional relationship with the QR code within the photographed image data PV-i to determine a display zone ARJ on an image display face of the image display device 1included in the photographed image data PV-i and replace the image within the display zone ARJ with an image represented by the image data CV-k.

Description

本発明は、カメラとディスプレイとを有する端末装置の動作を制御する技術に関する。   The present invention relates to a technique for controlling the operation of a terminal device having a camera and a display.

スマートフォン等の端末装置に提供されるサービスの中にはＡＲ（Augmented
Reality：拡張現実）と呼ばれる技術を利用したものがある。ＡＲは、端末装置の利用者の眼前の景色をカメラにより撮影した撮影画像データにその撮影画像データ内の物に関わる注釈情報（アノテーション）を合成し、撮影画像データと注釈情報とを合成した合成画像データをディスプレイを介して利用者に提示する技術である。ＡＲに関わるシステムを開示した文献として、例えば、特許文献１がある。この文献１に開示されたシステムは、利用者に携帯される情報提供端末、及び各情報提供端末と通信網を介して接続されるサーバを有する。このシステムでは、情報提供端末は、利用者の眼前の景色をカメラにより撮影すると共に、自らの位置を示す位置情報をサーバに送信する。サーバは、情報提供端末から受信した位置情報によって情報提供端末の位置を把握し、その情報提供端末のカメラの撮影範囲内に写り込んでいる物に関わる注釈情報である仮想表示情報を情報提供端末へ送信する。情報提供端末は、サーバから受信した仮想表示情報をカメラの撮影結果である視界情報に合成し、仮想表示情報と視界情報とを合成した画面をディスプレイに表示させる。 Among the services provided to terminal devices such as smartphones, AR (Augmented
There is something that uses a technology called Reality. AR synthesizes annotation information (annotation) related to an object in the photographed image data with the photographed image data obtained by photographing the scenery in front of the user of the terminal device with the camera, and synthesizes the photographed image data and the annotation information. This is a technique for presenting image data to a user via a display. For example, Patent Document 1 discloses a document that discloses a system related to AR. The system disclosed in Document 1 includes an information providing terminal carried by a user and a server connected to each information providing terminal via a communication network. In this system, the information providing terminal captures a scene in front of the user with a camera and transmits position information indicating its own position to the server. The server grasps the position of the information providing terminal based on the position information received from the information providing terminal, and displays virtual display information that is annotation information related to an object reflected in the shooting range of the camera of the information providing terminal. Send to. The information providing terminal synthesizes the virtual display information received from the server with the view information that is the result of photographing by the camera, and causes the display to display a screen that combines the virtual display information and the view information.

国際公開第ＷＯ２０１０／０２９６７１号パンフレットInternational Publication No. WO2010 / 029671 Pamphlet 特開２００３−１９６５８６号公報JP 2003-196586 A 本道 貴行、黄瀬 浩一 “大規模画像認識のための局所特徴量の性能比較”，[online]，２００８年７月，画像の認識・理解シンポジウム（ＭＩＲＵ２００８），[平成２３年１月１１日検索]，インターネット＜http://www.m.cs.osakafu-u.ac.jp/publication_data/1031/paper.pdf＞Takayuki Honmichi, Koichi Kise “Performance comparison of local features for large-scale image recognition” [online], July 2008, Image Recognition and Understanding Symposium (MIRU2008), [Search January 11, 2011] , Internet <http://www.m.cs.osakafu-u.ac.jp/publication_data/1031/paper.pdf>

ところで、カメラの撮影範囲にそれ自体が画像表示を行う物である画像表示装置が含まれていると、カメラの撮影画像データ内における画像表示装置の表示画像の表示領域にモアレと呼ばれる縞模様が現れて表示内容の鮮明さが低下する、といった問題がある。例えば、小規模な小売店が多数集まっている商業施設では、各小売店の店頭に画像表示装置が設置され、小売店毎のお買い得情報やタイムセールスケージュールなどの画像が表示されていることが多く、このような商業施設においてＡＲを利用すると、上記問題点は顕著となる。   By the way, when an image display device that itself displays an image is included in the shooting range of the camera, a striped pattern called a moire pattern is displayed in the display area of the display image of the image display device in the captured image data of the camera. There is a problem that it appears and the clearness of the displayed content is lowered. For example, in a commercial facility where many small retail stores are gathered, an image display device is installed at the storefront of each retail store, and images such as bargain information and time sales schedules for each retail store are displayed. In many cases, the use of AR in such commercial facilities makes the above-mentioned problem prominent.

本発明は上記課題に鑑みて為されたものであり、ＡＲシステムにおいて端末装置のカメラの撮影範囲に画像を表示中の画像表示装置が含まれており、当該画像を一部に含む画像を端末装置に表示させる場合であっても、端末装置の表示画像の画質の劣化を抑えることを可能にする技術を提供することを目的とする。   The present invention has been made in view of the above problems, and includes an image display device that displays an image in the shooting range of the camera of the terminal device in the AR system. It is an object of the present invention to provide a technique that makes it possible to suppress deterioration in image quality of a display image of a terminal device even when it is displayed on a device.

本発明は、サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段とを具備する表示制御装置を提供する。   The present invention provides a series of photographed image data obtained by photographing a photographing range including at least one of a plurality of image display devices that display a moving image according to a series of distribution image data transmitted from a server device. A captured image acquisition means for acquiring image, an image display device shown in a series of captured image data acquired by the captured image acquisition means, a marker extracted from the image represented by the captured image data, and the A message requesting a series of distribution image data distributed to the image display device specified by at least one of the position of the camera and the shooting direction is sent to the server device, and the server device is triggered by receiving this message. Acquired by the distribution image acquisition means for acquiring a series of distribution image data sent, and the captured image acquisition means Each of the series of photographed image data is compared with each of the series of photographed image data acquired by the distribution image acquisition means, and an image display shown in the image represented by the series of photographed image data based on the result of the comparison A display image of the device is specified for each image display device, and the display image of the image display device in the series of captured image data is replaced with an image representing a corresponding one of the series of distribution image data acquired by the distribution image acquisition unit. A display control device including display control means for generating composite image data and displaying an image represented by the composite image data on a display device.

この発明では、撮影画像データの表す画像に写っている画像表示装置の表示画像が、サーバ装置からその画像表示装置に送信されているものと同じ配信画像データが表す画像に差替えられ、この差替え後の画像が撮影結果の画像として表示装置に表示される。従って、撮影画像データの表す画像内に画像を表示中の画像表示装置が含まれている場合であっても、モアレのない表示画像を表示装置に表示させることができる。   In the present invention, the display image of the image display device shown in the image represented by the captured image data is replaced with an image represented by the same distribution image data transmitted from the server device to the image display device. Is displayed on the display device as an image of the photographing result. Therefore, even if the image represented by the captured image data includes an image display device that is displaying an image, a display image without moire can be displayed on the display device.

本発明の第１及び第２実施形態である表示制御装置としての機能を持った端末装置とこの端末装置を含む通信システムの構成を示す図である。It is a figure which shows the structure of the communication apparatus containing the terminal device which has a function as a display control apparatus which is 1st and 2nd embodiment of this invention, and this terminal device. 同システムにおけるサーバ装置から配信される画像データを説明するための図である。It is a figure for demonstrating the image data delivered from the server apparatus in the system. 同システムにおける端末装置による方位角及び仰俯角の検出の様子を示す図である。It is a figure which shows the mode of a detection of the azimuth and elevation angle by the terminal device in the system. 同システムにおける端末装置内の動画像データベースＤＢのデータ構造図である。It is a data structure figure of moving image database DB in the terminal device in the system. 同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the terminal device and server apparatus in the system. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs. 同システムにおける端末装置とサーバ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the terminal device and server apparatus in the system. 同システムにおける端末装置が行う時間差算出処理を説明するための図である。It is a figure for demonstrating the time difference calculation process which the terminal device in the same system performs. 同システムにおける端末装置が行う表示制御処理を説明するための図である。It is a figure for demonstrating the display control process which the terminal device in the system performs.

以下、図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態である表示制御装置を含む通信システムの構成を示す図である。この通信システムは、商業施設内の各小売店の店頭に設置された画像表示装置１ｍ（ｍ＝１，２…）と、同施設の管理センター内に設置されたサーバ装置５０と、利用者に携帯される端末装置２０ｎ（ｎ＝１，２…）とを有する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram showing a configuration of a communication system including a display control apparatus according to the first embodiment of the present invention. The communication system includes an image display device 1 m (m = 1, 2,...) Installed at a retail store in a commercial facility, a server device 50 installed in the management center of the facility, and a user. Terminal devices 20 n (n = 1, 2,...)

画像表示装置１ｍ（ｍ＝１，２…）は、矩形状の画像表示面を持ったディスプレイである。サーバ装置５０は、各画像表示装置１ｍが設置された店舗におけるお買い得情報やタイムスケジュールなどに関わる動画像コンテンツＣＮＴｍを配信する配信サーバとしての役割を果たす装置である。 The image display device 1 m (m = 1, 2,...) Is a display having a rectangular image display surface. The server device 50 is a device that serves as a distribution server that distributes moving image content CNT m related to bargain information, a time schedule, and the like at a store where each image display device 1 m is installed.

図２に示すように、サーバ装置５０は、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの一連のフレーム画像データＦＶｍ−ｋ（ｋ＝１，２…Ｎ：ｋは、フレーム順を示すインデックスである）の右上の位置（より具体的には、画像データＦＶｍ−ｋ内における右端から当該画像データＦＶｍ−ｋの主走査方向の幅Ｘの１／Ｌ（例えば、Ｌ＝１２とする）の距離Ｘ／Ｌだけ左に離れ且つ上端から当該画像データＦＶｍ−ｋの副走査方向の幅Ｙの１／Ｌの距離Ｙ／Ｌだけ下に離れた位置）に画像表示装置１ｍの識別情報ＩＤｍを示すＱＲコード（登録商標）を上書きしたものを配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とし、この一連の配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を画像表示装置１ｍに送信する。また、サーバ装置５０は、端末装置２０ｎからの要求に応じて、画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。サーバ装置５０の構成の詳細については、後述する。 As illustrated in FIG. 2, the server device 50 includes a series of frame image data FV m -k (k = 1, 2... N: k) of the moving image content CNT m having the image display device 1 m as a transmission destination. upper right position of an index) indicating the order (more specifically, the image data FV m the image data from the right end in the -k FV m -k of 1 / L in the main scanning direction of the width X (eg, L = 12) and is displayed to the left by a distance X / L, and from the top by a distance Y / L that is 1 / L of the width Y in the sub-scanning direction of the image data FV m -k. and QR code indicating the identification information ID m of the apparatus 1 m deliver that overwrites the (R) image data CV m -k (k = 1,2 ... N), the series of distribution image data CV m -k ( be transmitted k = 1,2 ... N) to the image display device 1 m . Further, in response to a request from the terminal device 20 n , the server device 50 transmits the same distribution image data CV m -k that is sent to the image display device 1 m to the terminal device 20 n . Details of the configuration of the server device 50 will be described later.

各端末装置２０ｎは、通話機能、ブラウジング機能、メーラ機能などといったスマートフォンとしての各種機能と、本発明の第１実施形態である表示制御装置としての機能とを併有する装置である。ここで、端末装置２０ｎ内におけるスマートフォンとしての機能を司る各部については、本発明との関係が希薄であるため、図示及びその説明を割愛する。 Each terminal device 20 n is a device that has various functions as a smartphone such as a call function, a browsing function, and a mailer function, and a function as a display control apparatus according to the first embodiment of the present invention. Here, each portion which controls the function of the smart phone in the terminal device 20 n, for the context of the present invention is lean, not shown in the drawing and description.

端末装置２０ｎの筐体２は、手の中に収まる寸法を持った扁平な板状をなしている。筐体２の表面には３つの開口２１，２２，２３が設けられている。これらのうち表面の大部分を占める中央の開口２１からはタッチパネルディスプレイ３１が露出している。筐体２内における開口２２の底の位置にはスピーカ３２が固定されている。筐体２内における左側の開口２３の底の位置にはマイクロホン３３が固定されている。筐体２の裏面の一角には開口２４が設けられている。筐体２内における開口２４の底の位置には、カメラ３４がその撮影方向を開口２４に向けて固定されている。カメラ３４は、当該カメラ３４の撮影範囲内を撮影した撮影結果である撮影画像データＰＶ−ｉ（ｉ＝１，２…：ｉは撮影時刻を示すインデックスである）を出力する。 The casing 2 of the terminal device 20 n has a flat plate shape having a size that can fit in the hand. Three openings 21, 22, and 23 are provided on the surface of the housing 2. Among these, the touch panel display 31 is exposed from the central opening 21 which occupies most of the surface. A speaker 32 is fixed to the bottom of the opening 22 in the housing 2. A microphone 33 is fixed at the bottom of the left opening 23 in the housing 2. An opening 24 is provided at one corner of the back surface of the housing 2. A camera 34 is fixed to the bottom position of the opening 24 in the housing 2 with its shooting direction facing the opening 24. The camera 34 outputs captured image data PV-i (i = 1, 2,..., I is an index indicating a shooting time) that is a shooting result of shooting within the shooting range of the camera 34.

端末装置２０ｎの筐体２には、ＧＰＳ（Global Positioning System）センサ３５、方位角センサ３６、仰俯角センサ３７、無線通信部３８、及び制御部３９が内蔵されている。ＧＰＳセンサ３５は、当該端末装置２０ｎの位置（より具体的には緯度と経度）を検出し、検出した位置を示す位置データＤＰを出力する。方位角センサ３６は、図３（Ａ）に示すように、当該端末装置２０ｎを含む水平面における真北と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である方位角θ１を検出し、検出した方位角θ１を示す方位角データＤθ１を出力する。仰俯角センサ３７は、図３（Ｂ）に示すように、当該端末装置２０ｎを含む鉛直面における水平方向と当該端末装置２０ｎのカメラ３４が向いている方向との間の角度である仰俯角θ２を検出し、検出した仰俯角θ２を示す仰俯角データＤθ２を出力する。 The terminal device 20 n of the housing 2, GPS (Global Positioning System) sensor 35, the azimuth angle sensor 36, elevation depression angle sensor 37, the wireless communication unit 38, and the control unit 39 is built. The GPS sensor 35 detects the position (more specifically, latitude and longitude) of the terminal device 20 n and outputs position data DP indicating the detected position. Azimuth sensor 36, as shown in FIG. 3 (A), the angle a is the azimuth angle between the direction in which the terminal device camera 34 true north and the terminal device 20 n in the horizontal plane containing the 20 n are oriented θ1 is detected, and azimuth angle data Dθ1 indicating the detected azimuth angle θ1 is output. Depression sensor 37 elevation, as shown in FIG. 3 (B), the angle between the direction of the horizontal direction and the terminal device 20 n of the camera 34 in the vertical plane including the terminal device 20 n is oriented elevation The depression angle θ2 is detected, and elevation angle data Dθ2 indicating the detected elevation angle θ2 is output.

図１において、無線通信部３８は、制御部３９による制御の下、移動体通信網９１における基地局にアクセスし、移動体通信網９１やインターネット９２に接続されている他の装置とデータを送受信する。制御部３９は、当該端末装置２０ｎの制御中枢としての役割を果たす装置である。制御部３９は、ＣＰＵ４１、ＲＡＭ４２、およびＲＯＭ４３を有する。ＣＰＵ４１は、ＲＡＭ４２をワークエリアとして利用しつつ、ＲＯＭ４３内の表示制御プログラムを実行する。表示制御プログラムは、次の３つの機能を有する。
ａ１．撮影画像取得機能
これは、カメラ３４から出力される撮影画像データＰＶ−ｉを取得する機能である。
ｂ１．配信画像取得機能
これは、一連の撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍであって、撮影画像データＰＶ−ｉから抽出されるマーカであるＱＲコードとカメラ３４の位置および撮影方向との少なくとも一方によって特定される画像表示装置１ｍへ配信されている一連の配信画像データＣＶｍ−ｋを要求するメッセージＭＳＧ１またはＭＳＧ２をサーバ装置５０に送り、メッセージＭＳＧ１またはＭＳＧ２を受けたことを契機としてサーバ装置５０から送られてくる一連の配信画像データＣＶｍ−ｋを取得する機能である。
ｃ１．表示制御機能
これは、一連の撮影画像データＰＶ−ｉの各々と一連の配信画像データＣＶｍ−ｋの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データＰＶ−ｉの表す画像に写っている画像表示装置１ｍの表示画像を画像表示装置１ｍ毎に特定し、当該一連の撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画像を一連の配信画像データＣＶｍ−ｋのうちの該当するものの表す画像に差替えて合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる機能である。 In FIG. 1, the wireless communication unit 38 accesses a base station in the mobile communication network 91 under the control of the control unit 39, and transmits and receives data to and from other devices connected to the mobile communication network 91 and the Internet 92. To do. Control unit 39 is a serving device as a control center of the terminal device 20 n. The control unit 39 includes a CPU 41, a RAM 42, and a ROM 43. The CPU 41 executes the display control program in the ROM 43 while using the RAM 42 as a work area. The display control program has the following three functions.
a1. Captured Image Acquisition Function This is a function for acquiring captured image data PV-i output from the camera 34.
b1. Distribution image acquisition function This is an image display device 1 m shown in an image represented by a series of captured image data PV-i, and a QR code that is a marker extracted from the captured image data PV-i and the camera 34. feed position and the message MSG1 or MSG2 requesting a series of distribution image data CV m -k being delivered to the image display device 1 m specified by at least one of the imaging direction in the server device 50, a message MSG1 or MSG2 This is a function of acquiring a series of distribution image data CV m -k sent from the server device 50 when received.
c1. Display control function This compares each of the series of captured image data PV-i with each of the series of distributed image data CV m -k, and based on the result of this comparison, a display image of the image display device 1 m contained in the image specified in the image display device every 1 m representing, the series of photographed image data PV-i series of delivery a display image of the image display device 1 m in the image data CV This is a function of generating composite image data WV-k by replacing the image represented by the corresponding one of m -k and displaying the image represented by the composite image data WV-k on the touch panel display 31.

次に、サーバ装置５０の構成について説明する。サーバ装置５０は、制御部５９、ハードディスク６４、及びＮＩＣ６５を有する。制御部５９は、当該サーバ装置５０の制御中枢としての役割を果たす装置である。制御部５９は、ＣＰＵ６１、ＲＡＭ６２、及びＲＯＭ６３を有する。ＣＰＵ６１は、ＲＡＭ６２をワークエリアとして利用しつつ、ＲＯＭ６３やハードディスク６４に記憶されたプログラムを実行する。ハードディスク６４には、動画像データベースＤＢと画像配信プログラムとが記憶されている。   Next, the configuration of the server device 50 will be described. The server device 50 includes a control unit 59, a hard disk 64, and a NIC 65. The control unit 59 is a device that serves as a control center for the server device 50. The control unit 59 includes a CPU 61, a RAM 62, and a ROM 63. The CPU 61 executes programs stored in the ROM 63 and the hard disk 64 while using the RAM 62 as a work area. The hard disk 64 stores a moving image database DB and an image distribution program.

動画像データベースＤＢは、画像表示装置１ｍ（ｍ＝１，２…）の各々と対応するレコードの集合体である。図４に示すように、動画像データベースＤＢにおける各レコードは、「ＩＤ」、「位置」、「コンテンツ」、及び「スケジュール」の４つのフィールドを有する。「ＩＤ」のフィールドは、画像表示装置１ｍの識別情報ＩＤｍを示す。「位置」のフィールドは、画像表示装置１ｍが設置されている位置の位置データＤＰを示す。「コンテンツ」のフィールドは、画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）を示す。「スケジュール」のフィールドは、動画像コンテンツＣＮＴｍにおける最初の配信画像データＣＶｍ−１から最後の配信画像データデータＣＶｍ−Ｎまでの各々の再生予定時刻を配列したデータであるスケジュールデータＳＣＤｍを示す。 The moving image database DB is a collection of records corresponding to each of the image display devices 1 m (m = 1, 2,...). As shown in FIG. 4, each record in the moving image database DB has four fields of “ID”, “position”, “content”, and “schedule”. The “ID” field indicates identification information ID m of the image display device 1 m . The “position” field indicates position data DP of a position where the image display device 1 m is installed. The “content” field indicates distribution image data CV m -k (k = 1, 2,... N) of moving image content CNT m having the image display device 1 m as a transmission destination. The field of “schedule” is schedule data SCD m which is data in which the respective reproduction scheduled times from the first distribution image data CV m −1 to the last distribution image data data CV m −N in the moving image content CNT m are arranged. Indicates.

画像配信プログラムは、次の２つの機能を有する。
ａ２．画像表示装置向け画像配信機能
これは、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とスケジュールデータＳＣＤｍをＲＡＭ６２に読み出し、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する機能である。
ｂ２．端末装置向け画像配信機能
これは、端末装置２０ｎからメッセージＭＳＧ１またはＭＳＧ２を受け取った場合に、メッセージＭＳＧ１またはＭＳＧ２の要求を満たす動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する機能である。 The image distribution program has the following two functions.
a2. Image distribution function for image display device This is the distribution image data CV m -k (k = 1, 2... N) and schedule of the moving image content CNT m with each image display device 1 m in the moving image database DB as the transmission destination. reading data SCD m to RAM 62, the distribution image data CV m -k as the display time thereof in each delivery the image data CV m reproduction scheduled time and the image display device 1 m of -k in the schedule data SCD m matches This is a function of transmitting the distribution image data CV m -k to the image display device 1 m while controlling the transmission time.
b2. Image distribution function for terminal device When the message MSG1 or MSG2 is received from the terminal device 20 n , the distribution image data CV m -k of the moving image content CNT m that satisfies the request of the message MSG1 or MSG2 is received from the terminal device 20 n. It is a function to transmit to.

次に、本実施形態の動作を説明する。図５は、本実施形態の動作を示すフローチャートである。図５において、端末装置２０ｎのＣＰＵ４１は、表示制御プログラムが起動されている間、ステップＳ１００乃至ステップＳ１６０ｂの処理を行う。これらの処理のうちステップＳ１１０は、撮影画像取得機能の働きにより実行される処理であり、ステップＳ１２０、ステップＳ１３０、ステップＳ１４０ａ、ステップＳ１５０ａ、ステップＳ１４０ｂ、及びステップＳ１５０ｂは、配信画像取得機能の働きにより実行される処理であり、ステップＳ１６０ａ及びステップＳ１６０ｂは、表示制御機能の働きにより実行される処理である。 Next, the operation of this embodiment will be described. FIG. 5 is a flowchart showing the operation of the present embodiment. In FIG. 5, the CPU 41 of the terminal device 20 n performs the processing from step S100 to step S160b while the display control program is activated. Of these processes, step S110 is a process executed by the function of the captured image acquisition function, and step S120, step S130, step S140a, step S150a, step S140b, and step S150b are performed by the function of the distribution image acquisition function. Steps S160a and S160b are executed by the operation of the display control function.

サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されている間、ステップＳ２００乃至ステップＳ２１０ｂの処理を行う。これらの処理のうちステップＳ２００は、画像表示装置向け画像配信機能の働きによって実行される処理であり、ステップＳ２１０ａ及びステップＳ２１０ｂは、端末装置向け画像配信機能の働きによって実行される処理である。   The CPU 61 of the server device 50 performs the processing from step S200 to step S210b while the image distribution program is activated. Of these processes, step S200 is a process executed by the function of the image distribution function for the image display apparatus, and steps S210a and S210b are processes executed by the function of the image distribution function for the terminal apparatus.

図５において、サーバ装置５０のＣＰＵ６１は、画像配信プログラムが起動されると、画像表示装置向け画像提供処理を開始する（Ｓ２００）。この処理では、ＣＰＵ６１は、動画像データベースＤＢにおける各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）とそのスケジュールデータＳＣＤｍをＲＡＭ６２に読み出す。ＣＰＵ６１は、各画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）について、スケジュールデータＳＣＤｍにおける各配信画像データＣＶｍ−ｋの再生予定時刻と画像表示装置１ｍにおけるそれらの表示時刻とが一致するように配信画像データＣＶｍ−ｋの送信時刻を制御しつつ、配信画像データＣＶｍ−ｋを画像表示装置１ｍに送信する。これ以降、ＣＰＵ６１は、端末装置２０ｎからのメッセージＭＳＧ１またはＭＳＧ２の受信の有無を監視する。 In FIG. 5, when the image distribution program is started, the CPU 61 of the server device 50 starts an image providing process for the image display device (S200). In this process, the CPU 61 distributes the image data CV m -k (k = 1, 2,... N) of the moving image content CNT m with the image display device 1 m as the transmission destination in the moving image database DB and its schedule data SCD. m is read into the RAM 62. CPU61, for distributing the image data CV m -k (k = 1,2 ... N) of the moving image content CNT m of which destination each image display device 1 m, the distribution image data in the schedule data SCD m CV m - while controlling the transmission time of the distribution image data CV m -k so that with their display time coincident in reproduction scheduled time and the image display device 1 m of k, the distribution image data CV m -k image display device 1 m Send to. Thereafter, CPU 61 monitors the presence or absence of reception of the message MSG1 or MSG2 from the terminal device 20 n.

端末装置２０ｎのＣＰＵ６１は、表示制御プログラムが起動されると、撮影指示ボタンとしての役割を果たすアイコンＩＣＮをタッチパネルディスプレイ３１に表示させる（Ｓ１００）。端末装置２０ｎの利用者は、自身の前方の画像表示装置１ｍがカメラ３４の撮影範囲内に収まるようにカメラ３４の向きとズームを調整し、アイコンＩＣＮをタッチする。 When the display control program is activated, the CPU 61 of the terminal device 20 n displays an icon ICN serving as a shooting instruction button on the touch panel display 31 (S100). The user of the terminal device 20 n adjusts the direction and zoom of the camera 34 so that the image display device 1 m in front of the terminal device 20 n is within the shooting range of the camera 34, and touches the icon ICN.

端末装置２０ｎのＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉのうちアイコンＩＣＮがタッチされた直後の撮影画像データＰＶ−ｉを取得する（Ｓ１１０）。そして、ＣＰＵ４１は、当該撮影画像データＰＶ−ｉからのＱＲコードの抽出を試みる（Ｓ１２０）。このステップＳ１２０では、ＣＰＵ４１は、撮影画像データＰＶ−ｉに対してＱＲコード認識処理を施す。ＱＲコード認識処理の詳細については、特許文献２を参照されたい。ここで、ＱＲコード認識処理におけるＱＲコードの認識の確度は、画像表示装置１ｍに対するカメラ３４の向きや画像表示装置１ｍからカメラ３４までの距離に依存する。このため、カメラ３４が画像表示装置１ｍと正対しておりカメラ３４から画像表示装置１ｍまでの距離が近い場合には認識の確度は高くなるが、そうでない場合には認識の確度は低くなる。 The CPU 41 of the terminal device 20 n acquires the captured image data PV-i immediately after the icon ICN is touched from the captured image data PV-i output from the camera 34 (S110). Then, the CPU 41 tries to extract a QR code from the captured image data PV-i (S120). In step S120, the CPU 41 performs a QR code recognition process on the captured image data PV-i. For details of the QR code recognition process, refer to Patent Document 2. Here, the accuracy of recognition of the QR code in the QR code recognition process is dependent on the distance from the orientation and the image display device 1 m of the camera 34 to the image display device 1 m to the camera 34. Therefore, although the camera 34 is the accuracy of recognition is high when the distance from the image display device 1 m and directly opposite and camera 34 to the image display device 1 m is closer, the accuracy of recognition otherwise low Become.

端末装置２０ｎのＣＰＵ４１は、撮影画像データＰＶ−ｉからＱＲコードを抽出できた場合（Ｓ１３０：Ｙｅｓ）、そのＱＲコードが示す識別情報ＩＤｍを含むメッセージＭＳＧ１を組み立て、このメッセージＭＳＧ１を無線通信部３８を介して送信する（Ｓ１４０ａ）。メッセージＭＳＧ１は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。 The CPU41 of the terminal device 20 n, if able to extract the QR code from the captured image data PV-i (S130: Yes) , assembled message MSG1 including identification information ID m indicated by the QR code, the message MSG1 wireless communication It transmits via the part 38 (S140a). The message MSG1 is transferred to the server device 50 via the mobile communication network 91 and the Internet 92.

サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ１を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ａ）。このステップＳ２１０ａにおける端末装置向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ１から識別情報ＩＤｍを取り出し、この識別情報ＩＤｍにより識別される画像表示装置１ｍを特定し、この画像表示装置１ｍを送信先とするものと同じ配信画像データＣＶｍ−ｋを端末装置２０ｎに送信する。これ以降、ＣＰＵ６１は、端末装置向け画像提供処理と上述した画像表示装置向け画像提供処理の２つの処理を行う。これにより、同じ種類の動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋが画像表示装置１ｍと端末装置２０ｎの両装置に送られる。 When receiving the message MSG1, the CPU 61 of the server device 50 starts an image providing process for the terminal device (S210a). In the terminal device for an image providing process in step S210a, the CPU 61 from the message MSG1 removed identification information ID m, specifies an image display device 1 m identified by the identification information ID m, the image display device 1 m The same distribution image data CV m -k as the transmission destination is transmitted to the terminal device 20 n . Thereafter, the CPU 61 performs two processes, the image providing process for the terminal device and the image providing process for the image display apparatus described above. As a result, the distribution image data CV m -k of the same type of moving image content CNT m is sent to both the image display device 1 m and the terminal device 20 n .

端末装置２０ｎのＣＰＵ４１は、メッセージＭＳＧ１をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ４２に記憶する処理を開始する（Ｓ１５０ａ）。また、ＣＰＵ４１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ａ）。ステップＳ１６０ａにおける表示制御処理では、ＣＰＵ４１は、カメラ３４から出力された撮影画像データＰＶ−ｉを取得する度に、その撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ１とする）の最新の配信画像データＣＶ１−ｋとを処理対象として、次に示す第１乃至第５の処理を行う。 The CPU41 of the terminal device 20 n, obtains the message MSG1 was transmitted to the server apparatus 50, the distribution image data CV m -k of the moving image content CNT m transmitted from the apparatus 50 from the wireless communication unit 38 RAM 42 (S150a). Further, the CPU 41 starts display control processing together with this processing (S160a). In the display control process in step S160a, every time the CPU 41 acquires the captured image data PV-i output from the camera 34, the captured image data PV-i and the moving image content CNT m sent from the server device 50 are obtained. The following first to fifth processes are performed using the latest distribution image data CV 1 -k (for example, moving image content CNT 1 ) as a processing target.

第１の処理では、図６に示すように、撮影画像データＰＶ−ｉにＱＲコード認識処理を施し、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧを求める。第２の処理では、図７に示すように、撮影画像データＰＶ−ｉ内におけるＱＲコードの表示領域ＡＲＧの右上隅から当該ＱＲコードの一辺ＨのＲ（例えば、Ｒ＝２とする）倍の距離Ｈ・Ｒだけ右上の方向に離れた点Ａ１、点Ａ１から距離Ｈ・Ｓ（例えば、Ｓ＝１３とする）だけ左に離れた点Ａ２、点Ａ２から距離Ｈ・Ｑ（例えば、Ｑ＝１０とする）だけ下に離れた点Ａ３、及び点Ａ３から距離Ｈ・Ｓだけ右に離れた点Ａ４の４点に囲まれた領域を解析対象領域ＡＲＨとする。そして、この領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉを切り出す。 In the first process, as shown in FIG. 6, the captured image data PV-i is subjected to a QR code recognition process to obtain a QR code display area ARG in the captured image data PV-i. In the second process, as shown in FIG. 7, R (for example, R = 2) times one side H of the QR code from the upper right corner of the QR code display area ARG in the captured image data PV-i. A point A1 that is separated by a distance H · R in the upper right direction, a point A2 that is separated from the point A1 by a distance H · S (eg, S = 13) to the left, and a distance H · Q (eg, Q = An area surrounded by four points, that is, a point A3 that is separated downward by 10) and a point A4 that is separated from the point A3 by a distance H · S to the right is defined as an analysis target area ARH. Then, the image data PV ARH -i in this area ARH is cut out.

第３の処理では、図８に示すように、画像データＰＶＡＲＨ−ｉと配信画像データＣＶ１−ｋをＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズムに従って解析することにより、画像データＰＶＡＲＨ−ｉが表す画像の特徴点Ｐと配信画像データＣＶ１−ｋが表す画像の特徴点Ｐを個別に抽出する。ＳＩＦＴアルゴリズムの詳細については、非特許文献１を参照されたい。 In the third process, as shown in FIG. 8, by analyzing the image data PV ARH -i and distribution image data CV 1 -k according SIFT (Scale-Invariant Feature Transform) algorithm, the image data PV ARH -i is The feature point P of the image to be represented and the feature point P of the image represented by the distribution image data CV 1 -k are individually extracted. Refer to Non-Patent Document 1 for details of the SIFT algorithm.

第４の処理では、図９に示すように、画像データＰＶＡＲＨ−ｉから抽出した特徴点Ｐの撮影画像データＰＶ−ｉ内における位置と配信画像データＣＶ１−ｋから抽出した特徴点Ｐの配信画像データＣＶ１−ｋ内における位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを特定する。 In the fourth process, as shown in FIG. 9, the position of the feature point P extracted from the image data PV ARH -i in the captured image data PV-i and the feature point P extracted from the distribution image data CV 1 -k. The area ARJ of the display image of the image display device 1 m in the captured image data PV-i is specified by comparing the position in the distribution image data CV 1 -k.

第５の処理では、図１０に示すように、配信画像データＣＶ１−ｋを当該配信画像データＣＶ１−ｋが表す画像の外郭ＯＵＴＣＶと領域ＡＲＪの外郭ＯＵＴＡＲＪとが一致するようにアフィン変換したものを配信画像データＣＶ１’−ｋとする。そして、撮影画像データＰＶ−ｉにおける領域ＡＲＪ内の画像（すなわち、画像表示装置１ｍの表示画像）を配信画像データＣＶ１’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、この合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。 In the fifth process, as shown in FIG. 10, affine distribution image data CV 1 -k as the outer OUT ARJ of the outer OUT CV and region ARJ of the distribution image data CV 1 -k represents image matches The converted image is defined as distribution image data CV 1 '-k. Then, the composite image data WV-k is generated by replacing the image in the area ARJ in the captured image data PV-i (that is, the display image of the image display device 1 m ) with the image represented by the distribution image data CV 1 ′ -k. Then, the image represented by the composite image data WV-k is displayed on the touch panel display 31.

ＣＰＵ４１は、ステップＳ１３０においてＱＲコードを抽出できなかった場合（Ｓ１３０：Ｎｏ）、端末装置２０ｎ内のセンサ３５，３６，及び３７から出力された位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を含むメッセージＭＳＧ２を組み立て、このメッセージＭＳＧ２を無線通信部３８を介して送信する（Ｓ１４０ｂ）。このメッセージＭＳＧ２は、移動体通信網９１及びインターネット９２を経由してサーバ装置５０へ転送される。 CPU41, when unable to extract the QR code in step S130 (S130: No), the terminal device 20 a sensor 35, 36 in the n, and output from the 37 position data DP, the azimuth angle data d? 1, and elevation depression angle data The message MSG2 including Dθ2 is assembled, and this message MSG2 is transmitted via the wireless communication unit 38 (S140b). This message MSG2 is transferred to the server device 50 via the mobile communication network 91 and the Internet 92.

サーバ装置５０のＣＰＵ６１は、メッセージＭＳＧ２を受信した場合、端末装置向け画像提供処理を開始する（Ｓ２１０ｂ）。ステップＳ２１０ｂにおける端末向け画像提供処理では、ＣＰＵ６１は、メッセージＭＳＧ２から位置データＤＰ、方位角データＤθ１、及び仰俯角データＤθ２を取り出し、これらの３種類のデータＤＰ，Ｄθ１，Ｄθ２からカメラ３４の位置及び撮影方向を計算する。ＣＰＵ６１は、この位置及び撮影方向から決まるカメラ３４の撮影範囲と動画像データベースＤＢにおける各レコードの「位置」のフィールドが示す位置との重複の有無を個別に判定し、カメラ３４の撮影範囲内にある画像表示装置１ｍを探索する。そして、ＣＰＵ６１は、カメラ３４の撮影範囲内にあるとみなした画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。ここで、ＣＰＵ６１は、カメラ４３の撮影範囲内に複数個の画像表示装置１ｍがあるとみなした場合、それら複数の画像表示装置１ｍの各々について、当該画像表示装置１ｍを送信先とする動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを画像表示装置１ｍと端末装置２０ｎに送信する処理を行う。 When receiving the message MSG2, the CPU 61 of the server device 50 starts an image providing process for the terminal device (S210b). In the image providing process for the terminal in step S210b, the CPU 61 extracts the position data DP, the azimuth angle data Dθ1, and the elevation angle data Dθ2 from the message MSG2. Calculate the shooting direction. The CPU 61 individually determines whether or not there is an overlap between the shooting range of the camera 34 determined from this position and shooting direction and the position indicated by the “position” field of each record in the moving image database DB, and is within the shooting range of the camera 34. A certain image display device 1m is searched. Then, the CPU 61 uses the image display device 1 m and the terminal device 20 n to distribute the distribution image data CV m -k of the moving image content CNT m having the image display device 1 m regarded as being within the shooting range of the camera 34 as a transmission destination. Process to send to. Here, CPU 61, when deemed there is a plurality of image display device 1 m in the photographing range of the camera 43, for each of the plurality of the image display device 1 m, a destination the image display device 1 m The distribution image data CV m -k of the moving image content CNT m to be transmitted is transmitted to the image display device 1 m and the terminal device 20 n .

端末装置２０ｎのＣＰＵ６１は、メッセージＭＳＧ２をサーバ装置５０に送信した後、同装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋを無線通信部３８から取得してＲＡＭ６２に記憶する処理を開始する（Ｓ１５０ｂ）。また、ＣＰＵ６１は、この処理と併せて表示制御処理を開始する（Ｓ１６０ｂ）。ステップＳ１６０ｂにおける表示制御処理では、ＣＰＵ６１は、カメラ４３から出力される撮影画像データＰＶ−ｉが表す画像の全領域を解析対象領域ＡＲＧとした上で、上述した第３乃至第５の処理と同様の処理を行う。より詳細に説明すると、ＣＰＵ６１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの種類が１種類である場合と複数種類である場合の各々において、次のような処理を行う。 CPU61 of the terminal device 20 n obtains the message MSG2 was transmitted to the server apparatus 50, the distribution image data CV m -k of the moving image content CNT m transmitted from the apparatus 50 from the wireless communication unit 38 RAM 62 (S150b). Further, the CPU 61 starts display control processing together with this processing (S160b). In the display control process in step S160b, the CPU 61 sets the entire area of the image represented by the captured image data PV-i output from the camera 43 as the analysis target area ARG, and is similar to the above-described third to fifth processes. Perform the process. More specifically, the CPU 61 performs the following processing in each of cases where the moving image content CNT m sent from the server device 50 is one type and plural types.

ａ３．動画像コンテンツＣＮＴｍの種類が１種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体（すなわち、撮影画像データＰＶ−ｉが表す画像の全領域）をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、ＣＰＵ６１は、サーバ装置５０から送られてくる１種類の動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ３とする）の配信画像データＣＶ３−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋが表す画像の特徴点Ｐを抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置とを比較することにより、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定する。ＣＰＵ６１は、画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。 a3. In the case where there is only one type of moving image content CNT m In this case, the CPU 61 analyzes the captured image data PV-i itself (that is, the entire area of the image represented by the captured image data PV-i) according to the SIFT algorithm, A feature point P of the image represented by the image data PV-i is extracted. Further, the CPU 61 analyzes the distribution image data CV 3 -k of one type of moving image content CNT m (for example, moving image content CNT 3 ) sent from the server device 50 according to the same algorithm, and distributes the distribution image data CV 3 -k. A feature point P of the image represented by the data CV 3 -k is extracted. The CPU 61 compares the position of the feature point P in the photographed image data PV-i with the position of the feature point P in the distribution image data CV 3 -k, whereby the image display device 1 in the photographed image data PV-i. The area ARJ of the display image of m is determined. The CPU 61 sets the image data CV 3 -k affine-transformed as image data CV 3 ′ -k, and the image data CV 3 ′ -k represents the display image of the image display device 1 m in the captured image data PV-i. Composite image data WV-k replaced with an image is generated, and an image represented by the composite image data WV-k is displayed on the touch panel display 31.

ｂ３．動画像コンテンツＣＮＴｍの種類が複数種類である場合
この場合、ＣＰＵ６１は、撮影画像データＰＶ−ｉ自体をＳＩＦＴアルゴリズムに従って解析し、撮影画像データＰＶ−ｉが表す画像の特徴点Ｐを抽出する。また、サーバ装置５０から送られてくる複数種類の動画像コンテンツＣＮＴｍ（例えば、２種類の動画像コンテンツＣＮＴ３およびＣＮＴ４とする）の配信画像データＣＶ３−ｋ及びＣＶ４−ｋを同様のアルゴリズムに従って解析し、配信画像データＣＶ３−ｋ及びＣＶ４−ｋが表す画像の特徴点Ｐを各々抽出する。ＣＰＵ６１は、撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ３−ｋ内における特徴点Ｐの位置、及び撮影画像データＰＶ−ｉ内における特徴点Ｐの位置と配信画像データＣＶ４−ｋ内における特徴点Ｐの位置を各々比較する。ＣＰＵ６１は、これらの比較の結果を利用して、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像の領域ＡＲＪを決定するとともに、配信画像データＣＶ３−ｋ及びＣＶ４−ｋの中から領域ＡＲＪ内の画像に最も近い表示内容を持ったもの（例えば、画像データＣＶ３−ｋとする）を選択する。そして、ＣＰＵ６１は、この選択した画像データＣＶ３−ｋをアフィン変換したものを画像データＣＶ３’−ｋとし、撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画像を画像データＣＶ３’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成し、当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させる。 b3. When there are a plurality of types of moving image content CNT m In this case, the CPU 61 analyzes the captured image data PV-i itself according to the SIFT algorithm, and extracts the feature point P of the image represented by the captured image data PV-i. Similarly, the distribution image data CV 3 -k and CV 4 -k of plural types of moving image contents CNT m (for example, two types of moving image contents CNT 3 and CNT 4 ) sent from the server device 50 are the same. The image feature points P represented by the distribution image data CV 3 -k and CV 4 -k are extracted. The CPU 61 positions the feature point P in the captured image data PV-i and the position of the feature point P in the distribution image data CV 3 -k, and the position of the feature point P in the captured image data PV-i and the distribution image data. The positions of the feature points P in CV 4 -k are compared. The CPU 61 uses these comparison results to determine the display image area ARJ of the image display device 1 m in the captured image data PV-i, and to determine the distribution image data CV 3 -k and CV 4 -k. The one having the display content closest to the image in the area ARJ (for example, image data CV 3 -k) is selected from the inside. Then, CPU 61 is a the selected image data CV 3 -k those affine transformation to the image data CV 3 '-k, photographed image data PV-i image display apparatus in a 1 m image data CV 3 a display image The composite image data WV-k replaced with the image represented by '-k is generated, and the image represented by the composite image data WV-k is displayed on the touch panel display 31.

以上説明したように、本実施形態では、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍの表示画像が、サーバ装置５０からその画像表示装置１ｍに送信されているものと同じ画像データＣＶｍ−ｋが表す画像に差替えられ、差替え後の画像が撮影結果の画像としてタッチパネルディスプレイ３１に表示される。よって、撮影画像データＰＶ−ｉが表す画像内に画像表示装置１ｍの画像が含まれている場合であっても、モアレのない表示画像をタッチパネルディスプレイ３１に表示させることができる。 As described above, in the present embodiment, the display image of the image display device 1 m reflected in the image represented by the captured image data PV-i is transmitted from the server device 50 to the image display device 1 m . Is replaced with an image represented by the same image data CV m -k, and the image after the replacement is displayed on the touch panel display 31 as an image of the photographing result. Therefore, even if it contains an image of the image display device 1 m in the image represented by the captured image data PV-i, can be displayed without displaying images moire on the touch panel display 31.

また、本実施形態では、撮影画像データＰＶ−ｉからのＱＲコードの抽出を試み、ＱＲコードが抽出できた場合には、撮影画像データＰＶ−ｉが示す画像内においてＱＲコードに対して所定の位置関係を持った領域を解析対象領域ＡＲＨとし、領域ＡＲＨ内の画像データＰＶＡＲＨ−ｉと画像データＣＶｍ−ｋとを比較し、この比較の結果に基づいて撮影画像データＰＶ−ｉ内における画像表示装置１ｍの表示画面の領域ＡＲＪを特定する。よって、撮影画像データＰＶ−ｉが表す画像の全表示領域を解析対象領域ＡＲＨとするよりも、領域ＡＲＪの特定に要する演算量が少なくなる。従って、撮影画像データＰＶ−ｉが表す画像内における画像表示装置１ｍの表示画面の探索の速度を向上させることができる。 In the present embodiment, extraction of a QR code from the photographed image data PV-i is attempted, and when the QR code can be extracted, a predetermined code is applied to the QR code in the image indicated by the photographed image data PV-i. The region having the positional relationship is set as the analysis target region ARH, and the image data PV ARH -i and the image data CV m -k in the region ARH are compared, and the image data PV-i in the captured image data PV-i is compared based on the comparison result. identify areas ARJ of the display screen of the image display device 1 m. Therefore, the amount of calculation required for specifying the area ARJ is smaller than when the entire display area of the image represented by the captured image data PV-i is the analysis target area ARH. Therefore, it is possible to increase the speed of the search display screen of the image display device 1 m in the image represented by the captured image data PV-i.

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。上記実施形態におけるステップＳ１６０ａの表示制御処理は最新の撮影画像データＰＶ−ｉ及び最新の配信画像データＣＶｍ−ｋを処理対象として行われた。このため、端末装置２０ｎにおける表示制御処理の１フレームあたりの処理時間と、画像表示装置１ｍにおける画像表示処理の１フレームあたりの処理時間（１フレーム分の配信画像データＣＶｍ−ｋの受信から表示までの処理時間）との関係によっては、撮影画像データＰＶ−ｉにおける画像表示装置１ｍの表示画面をその装置１ｍが現に表示しているものより前や後のフレームの配信画像データＣＶｍ−ｋが表す画像に差替えてしまうことも起こり得る。この場合、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容との間にずれが発生してしまう。そこで、本実施形態では、撮影画像データＰＶ−ｉとこれに埋め込む配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整することにより、タッチパネルディスプレイ３１の表示画面内における画像表示装置１ｍの表示画面の表示内容とその画像表示装置１ｍが現に表示している表示画面の表示内容とを一致させる。 Second Embodiment
Next, a second embodiment of the present invention will be described. The display control process in step S160a in the above embodiment is performed on the latest captured image data PV-i and the latest distribution image data CV m -k. Therefore, the processing time per frame of the display control process in the terminal device 20 n and the processing time per frame of the image display process in the image display device 1 m (reception of distribution image data CV m -k for one frame) Depending on the relationship with the processing time from display to display), the distribution image data of frames before and after the device 1 m currently displays the display screen of the image display device 1 m in the captured image data PV-i. It may happen that the image is represented by CV m -k. In this case, a deviation occurs between the display content of the display screen of the image display device 1 m in the display screen of the touch panel display 31 and the display content of the display screen currently displayed by the image display device 1 m. . Therefore, in this embodiment, the image display in the display screen of the touch panel display 31 is adjusted by adjusting the positional relationship on the time axis between the captured image data PV-i and the distribution image data CV m -k embedded therein. display contents of the display screen of the device 1 m and the image display device 1 m causes actually match the display contents of the display screen displayed.

図１１は、本実施形態の動作を示すフローチャートである。本実施形態では、端末装置２０ｎのＣＰＵ４１は、ステップＳ１５０ａの処理の開始後に時間差算出処理を行い（Ｓ１５１ａ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ａ）を行う。時間差算出処理では、ＣＰＵ４１は、カメラ３４から出力される撮影画像データＰＶ−ｉとサーバ装置５０から送られてくる動画像コンテンツＣＮＴｍ（例えば、動画像コンテンツＣＮＴ６とする）の配信画像データＣＶ６−ｋとを処理対象として、次のような処理を行う。図１２に示すように、ＣＰＵ４１は、当該時間差算出処理の開始時点から時間長Ｔ（例えば、Ｔ＝１０秒とする）以上が経過した時刻を基準時刻ｔBASISとし、この時刻ｔBASISにおいて取得された撮影画像データＰＶ−ｉを時間差検出用撮影画像データＰＶＶ−ｉとする。ＣＰＵ４１は、画像データＰＶＶ−ｉ内における解析対象領域ＡＲＨを決定し、領域ＡＲＨ内の画像データＰＶＶＡＲＨ−ｉを切り出す。ＣＰＵ４１は、時刻ｔBASIS−Ｔから時刻ｔBASIS＋Ｔまでの時間長２Ｔの間に取得された複数個（図１２の例では、簡便のため、３個とする）の配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）と配信画像データＰＶＶＡＲＨ−ｉとを比較し、配信画像データＣＶ６−（ｋ＋１），ＣＶ６−（ｋ＋２），及びＣＶ６−（ｋ＋３）の中から画像データＰＶＶ−ｉ内における画像表示装置１ｍの表示画面に最も近い表示内容を持ったもの（例えば、画像データＣＶ６−（ｋ＋１）とする）を選択する。そして、ＣＰＵ４１は、この選択した配信画像データＣＶ６−（ｋ＋１）が取得された時刻ｔSELと時刻ｔBASISとの間の時間差Δｔ（Δｔ＝ｔBASIS−ｔSEL）を求める。 FIG. 11 is a flowchart showing the operation of this embodiment. In the present embodiment, the CPU 41 of the terminal device 20 n performs a time difference calculation process after the start of the process of step S150a (S151a), and performs a display control process (S161a) after the execution of this time difference calculation process. In the time difference calculation process, the CPU 41 distributes the captured image data PV-i output from the camera 34 and the distribution image data CV of the moving image content CNT m (for example, the moving image content CNT 6 ) sent from the server device 50. The following processing is performed with 6- k as a processing target. As shown in FIG. 12, the CPU 41 obtains a time at which a time length T (for example, T = 10 seconds) or more has elapsed from the start time of the time difference calculation process as a reference time t BASIS and is acquired at this time t BASIS . The captured image data PV-i is taken as time difference detection captured image data PVV-i. The CPU 41 determines the analysis target area ARH in the image data PVV-i, and cuts out the image data PVV ARH -i in the area ARH. The CPU 41 obtains a plurality of pieces of distribution image data CV 6- (three for convenience in the example of FIG. 12) acquired during the time length 2T from the time t BASIS −T to the time t BASIS + T. k + 1), CV 6 − (k + 2), and CV 6 − (k + 3) are compared with the distribution image data PVV ARH −i, and the distribution image data CV 6 − (k + 1), CV 6 − (k + 2), and CV 6 are compared. - (k + 3) of those having a nearest display contents on the display screen of the image display device 1 m in the image data PVV-i in from (e.g., image data CV 6 - (k + 1) to) selecting. Then, the CPU 41 obtains a time difference Δt (Δt = t BASIS −t SEL ) between the time t SEL when the selected distribution image data CV 6 − (k + 1) is acquired and the time t BASIS .

端末装置２０ｎのＣＰＵ４１は、時間差算出処理において時間差Δｔを算出した後、表示制御処理を開始する（Ｓ１６１ａ）。ステップＳ１６１ａの表示制御処理では、ＣＰＵ４１は、上記時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データＰＶ−ｉと配信画像データＣＶ６−ｋとを用いて上述した合成画像データＷＶ−ｋの生成を行う。より具体的には、時間差Δｔの符号が負である場合（時刻ｔSELが時刻ｔBASISよりも早かった場合）と時間差Δｔの符号が正である場合（時刻ｔSELが時刻ｔBASISよりも遅かった場合）の各々において、次のような処理を行う。
ａ４．時間差Δｔの符号が負である場合
この場合、図１３（Ａ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉと、最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ後に取得された配信画像データＣＶ６−ｋとを組とする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。
ｂ４．時間差Δｔの符号が正である場合
この場合、図１３（Ｂ）に示すように、カメラ３４が撮影画像データＰＶ−ｉを出力する度に、その最新の撮影画像データＰＶ−ｉよりも時間差Δｔだけ先に取得された撮影画像データＰＶ−ｉと、最新の配信画像データＣＶ６−ｋとを組にする。そして、各組の各々について、上述した第１乃至第５の処理と同様の処理を行う。 After calculating the time difference Δt in the time difference calculation process, the CPU 41 of the terminal device 20 n starts the display control process (S161a). In the display control process in step S161a, the CPU 41 adjusts the positional relationship on the time axis between the captured image data PV-i and the distribution image data CV 6 -k so that the time difference Δt is shortened, and the time axis The above-described composite image data WV-k is generated using the photographed image data PV-i and the distribution image data CV 6 -k adjusted for the above positional relationship. More specifically, when the sign of the time difference Δt is negative (when the time t SEL is earlier than the time t BASIS ) and when the sign of the time difference Δt is positive (the time t SEL is later than the time t BASIS). In each case, the following processing is performed.
a4. When the sign of the time difference Δt is negative In this case, as shown in FIG. 13A, every time the camera 34 outputs the captured image data PV-i, the latest captured image data PV-i and the latest The distribution image data CV 6 -k acquired after the time difference Δt from the photographed image data PV-i is taken as a set. Then, the same processing as the first to fifth processing described above is performed for each set.
b4. When the sign of the time difference Δt is positive In this case, as shown in FIG. 13B, every time the camera 34 outputs the captured image data PV-i, the time difference Δt is greater than the latest captured image data PV-i. Only the captured image data PV-i acquired earlier and the latest distribution image data CV 6 -k are paired. Then, the same processing as the first to fifth processing described above is performed for each set.

図１１において、ＣＰＵ４１は、ステップＳ１５０ｂの処理の開始後に時間差算出処理を行い（Ｓ１５１ｂ）、この時間差算出処理の実行後に表示制御処理（Ｓ１６１ｂ）を行う。ステップＳ１５１ｂ及びステップＳ１６１ｂの処理内容はステップＳ１５１ａ及びステップＳ１６１ａの処理内容と同様である。   In FIG. 11, the CPU 41 performs a time difference calculation process after the start of the process of step S150b (S151b), and performs a display control process (S161b) after the execution of this time difference calculation process. The processing content of step S151b and step S161b is the same as the processing content of step S151a and step S161a.

本実施形態によると、ＣＰＵ４１は、時間差Δｔが短縮されるように撮影画像データＰＶ−ｉと配信画像データＣＶｍ−ｋとの間の時間軸上の位置関係を調整する。よって、タッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の表示内容とその装置１ｍが現に表示している表示画像の表示内容との間のずれの発生を防止することができる。 According to the present embodiment, the CPU 41 adjusts the positional relationship on the time axis between the captured image data PV-i and the distribution image data CV m -k so that the time difference Δt is shortened. Therefore, it is possible to prevent the occurrence of a shift between the display content of the display image of the image display device 1 m in the display image of the touch panel display 31 and the display content of the display image currently displayed by the device 1 m. .

以上、この発明の第１及び第２実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１及び第２実施形態では、サーバ装置５０から画像表示装置１ｍに送信される配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）の全てがＱＲコードの画像を一部に含んだものであった。しかし、配信画像データＣＶｍ−ｋ（ｋ＝１，２…Ｎ）のうちの少なくとも１つにＱＲコードが含まれていればよい。例えば、先頭の数フレーム分の画像データＣＶｍ−ｋのみをＱＲコードを含んだものとしてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、その先頭の数フレームに後続するフレームの画像データＣＶｍ−ｋについても同じ位置にＱＲコードがあるとみなして、撮影画像データＰＶ−ｉが示す画像内における画像表示装置１ｍの表示画像の探索を行ってもよい。この技術的手段によると、先頭の数フレームを用いた画像表示装置１ｍの表示画像の探索の完了後にカメラ３４のアングルが多少変わっても、画像表示装置１ｍの表示画像の位置を捕捉することができる。 Although the first and second embodiments of the present invention have been described above, there may be other embodiments in the present invention. For example, it is as follows.
(1) In the first and second embodiments, all of the distribution image data CV m -k (k = 1, 2,... N) transmitted from the server device 50 to the image display device 1 m are images of QR codes. It was included in part. However, it is only necessary that the QR code is included in at least one of the distribution image data CV m -k (k = 1, 2,... N). For example, only the first few frames of image data CV m -k may include a QR code. In this case, the CPU 41 of the terminal device 20 n regards the image data CV m -k of the frames following the first few frames as having the QR code at the same position, and the image indicated by the captured image data PV-i. it may be carried out a search of the displayed image of the image display device 1 m in the inner. According to this technical means, the position of the display image of the image display device 1 m is captured even if the angle of the camera 34 slightly changes after the search of the display image of the image display device 1 m using the first few frames is completed. be able to.

（２）上記第１及び第２実施形態において、サーバ装置５０は、画像表示装置１ｍと端末装置２０ｎに送信する配信画像データＣＶｍ−ｋの解像度を各々のタッチパネルディスプレイ３１の解像度に合わせて変換した上でその送信を行ってもよい。例えば、画像表示装置１ｍの画像表示面の縦横の画素数が１０２４×７６８であり、端末装置２０ｎのタッチパネルディスプレイ３１の縦横の画素数が８００×６００である場合は、元の配信画像データＣＶｍ−ｋの解像度を８００×６００に変換したものを端末装置２０ｎに送信するとよい。また、端末装置２０ｎのＣＰＵ４１は、サーバ装置５０から送られてくる動画像コンテンツＣＮＴｍの配信画像データＣＶｍ−ｋの解像度とタッチパネルディスプレイ３１の解像度が異なる場合には、配信画像データＣＶｍ−ｋの解像度をタッチパネルディスプレイ３１の解像度に合わせる解像度変換を配信画像データＣＶｍ−ｋに施した後に合成画像データＷＶ−ｋを生成してもよい。 (2) In the first and second embodiments, the server device 50 matches the resolution of the distribution image data CV m -k transmitted to the image display device 1 m and the terminal device 20 n with the resolution of each touch panel display 31. Then, the data may be converted and transmitted. For example, when the number of vertical and horizontal pixels of the image display surface of the image display device 1 m is 1024 × 768 and the number of vertical and horizontal pixels of the touch panel display 31 of the terminal device 20 n is 800 × 600, the original distribution image data those obtained by converting the resolution of the CV m -k to 800 × 600 may be transmitted to the terminal device 20 n. Further, the CPU41 of the terminal device 20 n, when the resolution of the resolution and the touch panel display 31 of the distribution image data CV m -k of the moving image content CNT m transmitted from the server device 50 are different, the distribution image data CV m The composite image data WV-k may be generated after performing resolution conversion that matches the resolution of −k with the resolution of the touch panel display 31 on the distribution image data CV m -k.

（３）上記第１及び第２実施形態において、画像表示装置１ｍの筺体２における画像表示面の外の近傍の所定の位置にＱＲコードを記しておいてもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、カメラ３４の撮影画像データＰＶ−ｉから画像表示面の外の位置にあるＱＲコードの抽出を試み、撮影画像データＰＶ−ｉが表す画像においてＱＲコードと所定の位置関係にある領域を解析対象領域ＡＲＨにするとよい。 (3) In the first and second embodiments, a QR code may be written at a predetermined position near the outside of the image display surface in the housing 2 of the image display device 1 m . In this case, the CPU 41 of the terminal device 20 n tries to extract a QR code at a position outside the image display surface from the captured image data PV-i of the camera 34, and the QR code in the image represented by the captured image data PV-i. A region having a predetermined positional relationship with the analysis target region ARH may be used.

（４）上記第１実施形態において、サーバ装置５０が、配信画像データＣＶｍ−ｋと同期再生する情報（例えば、端末装置２０ｎのタッチパネルディスプレイ３１の表示画像内における画像表示装置１ｍの表示画像の近傍の位置に表示させるテキスト情報やスピーカ３２から放音させる音声情報：以下、これらの情報を付加情報という）を端末装置２０ｎに送信してもよい。この場合において、端末装置２０ｎのＣＰＵ４１は、付加情報に含まれるテキスト情報を合成画像データＷＶ−ｋが表す画像の一部としてタッチパネルディスプレイ３１に表示させ、付加情報に含まれる音声情報をスピーカ３２から放音させるとよい。また、第２実施形態では、付加情報に含まれるテキスト情報の表示時刻や音声情報の放音時刻を時間差Δｔに基づいて調整するとよい。 (4) In the first embodiment, information that the server device 50 reproduces in synchronization with the distribution image data CV m -k (for example, display of the image display device 1 m in the display image of the touch panel display 31 of the terminal device 20 n ). Text information to be displayed at a position in the vicinity of the image and voice information to be emitted from the speaker 32 (hereinafter referred to as additional information) may be transmitted to the terminal device 20 n . In this case, the CPU 41 of the terminal device 20 n causes the touch panel display 31 to display the text information included in the additional information as a part of the image represented by the composite image data WV-k, and the audio information included in the additional information to the speaker 32. It is good to let it sound from. In the second embodiment, the display time of the text information included in the additional information and the sound emission time of the sound information may be adjusted based on the time difference Δt.

（５）上記第１及び第２実施形態は、本発明をスマートフォンである端末装置２０ｎに適用したものであった。しかし、本発明の適用の対象となる装置はスマートフォンに限られない。例えば、通信機能を搭載したビデオカメラに本発明を適用してもよい。この場合において、ビデオカメラ内のＣＰＵが生成した一連の合成画像データＷＶ−ｋをビデオカメラ内のハードディスクに記憶させ、ハードディスク内の合成画像データＷＶ−ｋを映像出力端子を介して外部のディスプレイに出力するようにしてもよい。 (5) the first and second embodiments were those of the present invention is applied to the terminal device 20 n is a smartphone. However, the device to which the present invention is applied is not limited to a smartphone. For example, the present invention may be applied to a video camera equipped with a communication function. In this case, a series of composite image data WV-k generated by the CPU in the video camera is stored in a hard disk in the video camera, and the composite image data WV-k in the hard disk is stored in an external display via a video output terminal. You may make it output.

（６）上記第１及び第２実施形態では、画像データＰＶＡＲＨ−ｉが示す画像の特徴点Ｐ及び画像データＣＶｍ−ｋが示す画像の特徴点Ｐを得るための解析アルゴリズムとしてＳＩＦＴを採用した。しかし、ＳＩＦＴ以外の解析アルゴリズム（例えば、ＳＵＲＦ（（Speeded Up Robust Features））を採用してもよい。 (6) In the first and second embodiments, SIFT is employed as an analysis algorithm for obtaining the feature point P of the image indicated by the image data PV ARH -i and the feature point P of the image indicated by the image data CV m -k. did. However, analysis algorithms other than SIFT (for example, SURF ((Speeded Up Robust Features)) may be adopted.

（７）上記第１及び第２実施形態において、端末装置２０ｎの利用者が、自身の前方の複数個の画像表示装置１ｍ（例えば、画像表示装置１８及び１９とする）がカメラ３４の撮影範囲内に収まるようして撮影を行っている場合には、撮影画像データＰＶ−ｉにおける画像表示装置１８の表示画像と画像表示装置１９の表示画像を各々に送信されているものと同じ画像データＣＶｍ’−ｋが表す画像に差替えた合成画像データＷＶ−ｋを生成してもよい。この場合において、合成画像データＷＶ−ｋにおける画像表示装置１８または１９の表示画面があまりに小さい場合は、差替えによる画質の向上が期待できないため、小さい方の表示画面の差替えを行わないようにしてもよい。 (7) In the first and second embodiments, the user of the terminal device 20 n uses a plurality of image display devices 1 m (for example, image display devices 18 and 19 ) in front of the camera. When shooting is performed so as to be within the 34 shooting range, the display image of the image display device 18 and the display image of the image display device 19 in the shot image data PV-i are transmitted to each. The composite image data WV-k replaced with the image represented by the same image data CV m ′ -k may be generated. In this case, if the display screen of the image display device 18 or 19 in the composite image data WV-k is too small, an improvement in image quality cannot be expected by replacement, so that the replacement of the smaller display screen is not performed. May be.

（８）上記第１及び第２実施形態では、端末装置２０は、ＱＲコードと、当該端末装置２０のカメラ３４の位置及び撮影方向と、のうちの一方から撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定した。しかし、ＧＰＳセンサ３５，方位角センサ３６，仰俯角センサ３７やその他の各種センサにより検出される物理量のみを用いて、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。 (8) In the first and second embodiments, the terminal device 20 is an image represented by the photographed image data PV-i from one of the QR code and the position and photographing direction of the camera 34 of the terminal device 20. It was identified image display device 1 m that is reflected in the. However, GPS sensor 35, the azimuth angle sensor 36, using only physical quantity detected by the depression angle sensor 37 and other various sensors elevation, identifying the image display apparatus 1 m contained in the image represented by the captured image data PV-i May be.

（９）上記第１及び第２実施形態において、撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定するためのマークとして、画像表示装置１ｍの近傍に配置された看板を利用し、撮影画像データＰＶ−ｉが示す画像から抽出した看板の画像から当該撮影画像データＰＶ−ｉが表す画像に写っている画像表示装置１ｍを特定してもよい。 (9) In the first and second embodiments, as a mark for specifying the image display device 1 m shown in the image represented by the captured image data PV-i, the mark is arranged in the vicinity of the image display device 1 m . utilizing signboard may specify the image display device 1 m from billboard images extracted from the image represented by the captured image data PV-i is reflected in the image represented by the captured image data PV-i.

（１０）上記第１及び第２実施形態では、撮影画像データＰＶ−ｉ及び配信画像データＣＶｍ−ｋの取得から合成画像データＷＶ−ｋの生成に至るまでの処理を端末装置２０のＣＰＵ３９が行った。しかし、この処理を端末装置２０と移動体通信網９１及びインターネット９２を介して接続された他の装置が行ってもよい。例えば、端末装置２０がそのカメラ３４の撮影結果である撮影画像データＰＶ−ｉをサーバ装置５０に送信し、サーバ装置５０がこの撮影画像データＰＶ−ｉから合成画像データＷＶ−ｋを生成して端末装置２０へ返信し、端末装置２０が当該合成画像データＷＶ−ｋが表す画像をタッチパネルディスプレイ３１に表示させてもよい。 (10) In the first and second embodiments, the CPU 39 of the terminal device 20 performs processing from acquisition of the captured image data PV-i and distribution image data CV m -k to generation of the composite image data WV-k. went. However, this process may be performed by another device connected to the terminal device 20 via the mobile communication network 91 and the Internet 92. For example, the terminal device 20 transmits captured image data PV-i, which is a result of capturing by the camera 34, to the server device 50, and the server device 50 generates composite image data WV-k from the captured image data PV-i. Reply to the terminal device 20, and the terminal device 20 may cause the touch panel display 31 to display the image represented by the composite image data WV-k.

１…画像表示装置、２…筐体、２０…端末装置、２１，２２，２３，２４…開口、３１…タッチパネルディスプレイ、３２…スピーカ、３３…マイクロホン、３４…カメラ、３５…ＧＰＳセンサ、３６…方位角センサ、３７…仰俯角センサ、３８…無線通信部、５０…サーバ装置、３９，５９…制御部、４１，６１…ＣＰＵ、４２，６２…ＲＡＭ、４３，６３…ＲＯＭ、６４…ハードディスク、６５…ＮＩＣ、９１…移動体通信網、９２…インターネット。
DESCRIPTION OF SYMBOLS 1 ... Image display apparatus, 2 ... Housing | casing, 20 ... Terminal device, 21, 22, 23, 24 ... Opening, 31 ... Touch panel display, 32 ... Speaker, 33 ... Microphone, 34 ... Camera, 35 ... GPS sensor, 36 ... Azimuth angle sensor 37 ... Elevation angle sensor 38 ... Wireless communication unit 50 ... Server device 39, 59 ... Control unit 41, 61 ... CPU, 42, 62 ... RAM, 43, 63 ... ROM, 64 ... Hard disk, 65 ... NIC, 91 ... mobile communication network, 92 ... Internet.

Claims (8)

サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
を具備することを特徴とする表示制御装置。 Shooting to acquire a series of captured image data obtained by capturing a shooting range including at least one of a plurality of image display devices that display moving images according to a series of distribution image data transmitted from the server device. Image acquisition means;
An image display device shown in an image represented by a series of photographed image data acquired by the photographed image acquisition means, wherein at least a marker extracted from an image represented by the photographed image data, a position of the camera, and a photographing direction A series of distribution image data sent from the server apparatus when a message requesting a series of distribution image data distributed to the image display apparatus specified by one side is sent to the server apparatus. Distribution image acquisition means for acquiring
Each of the series of captured image data acquired by the captured image acquisition unit is compared with each of the series of captured image data acquired by the distribution image acquisition unit, and based on the result of this comparison, Among the series of distribution image data obtained by specifying the display image of the image display apparatus shown in the image to be displayed for each image display apparatus and acquiring the display image of the image display apparatus in the series of photographed image data by the distribution image acquisition means A display control device comprising: display control means for generating composite image data by replacing the image represented by the corresponding image, and displaying the image represented by the composite image data on the display device. 前記撮影画像取得手段が取得した一連の撮影画像データの中のある撮影画像データを時間差検出用撮影画像データとし、この時間差検出用撮影画像データの取得時刻を含む所定時間長の間に前記配信画像取得手段が取得した複数個の配信画像データの中から、前記時間差検出用画像データの表す画像に写っている画像表示装置の表示画像に最も近い表示内容を持った配信画像データを選択し、この選択した配信画像データの取得時刻と前記時間差検出用撮影画像データの取得時刻との間の時間差を算出する時間差算出手段を具備し、
前記表示制御手段は、前記時間差が短縮されるように前記撮影画像取得手段により取得される撮影画像データと前記配信画像取得手段により取得される配信画像データとの間の時間軸上の位置関係を調整し、時間軸上の位置関係を調整した撮影画像データと配信画像データとを用いて前記合成画像データの生成を行うことを特徴とする請求項１に記載の表示制御装置。 The photographic image data in the series of photographic image data acquired by the photographic image acquisition means is taken as time difference detection photographic image data, and the distribution image is received during a predetermined time length including the acquisition time of the time difference detection photographic image data. From among a plurality of distribution image data acquired by the acquisition means, select distribution image data having a display content closest to the display image of the image display device shown in the image represented by the time difference detection image data, Comprising a time difference calculating means for calculating a time difference between the acquisition time of the selected distribution image data and the acquisition time of the time difference detection photographic image data;
The display control unit determines a positional relationship on the time axis between the captured image data acquired by the captured image acquisition unit and the distribution image data acquired by the distribution image acquisition unit so that the time difference is shortened. The display control apparatus according to claim 1, wherein the composite image data is generated using the captured image data adjusted and the positional relationship on the time axis adjusted, and the distribution image data. 前記サーバ装置から前記複数の画像表示装置の各々に送信される一連の配信画像データには、その送信先の画像表示装置を一意に識別する２次元バーコードの画像を一部に含むものが少なくとも１つ含まれており、前記配信画像取得手段は前記２次元バーコードを前記マーカとして抽出し、抽出したマーカを含む前記メッセージを前記サーバ装置に送信することを特徴とする請求項１または２に記載の表示制御装置。   The series of distribution image data transmitted from the server device to each of the plurality of image display devices includes at least a two-dimensional barcode image that uniquely identifies the destination image display device. The distribution image acquisition unit includes one of the two-dimensional barcodes as the marker, and transmits the message including the extracted marker to the server device. The display control apparatus described. 前記表示制御手段は、前記表示装置の解像度と、前記配信画像取得手段により取得した一連の配信画像データの解像度とが異なっている場合には、当該一連の配信画像データの解像度を前記表示装置の解像度に合わせる解像度変換を当該一連の配信画像データに施した後に前記合成画像データを生成することを特徴とする請求項１乃至３のいずれか１の請求項に記載の表示制御装置。   When the resolution of the display device is different from the resolution of the series of distribution image data acquired by the distribution image acquisition unit, the display control unit determines the resolution of the series of distribution image data. 4. The display control apparatus according to claim 1, wherein the composite image data is generated after the series of distribution image data is subjected to resolution conversion in accordance with the resolution. 5. カメラと、
表示手段と、
前記カメラにより取得した一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記カメラにより取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示手段に表示させる表示制御手段と
を具備することを特徴とする端末装置。 A camera,
Display means;
An image display device that is shown in an image represented by a series of captured image data acquired by the camera, and is identified by at least one of a marker extracted from the image represented by the captured image data, the position of the camera, and the imaging direction A message requesting a series of delivery image data to be delivered to the image display device to be sent is sent to the server device, and a series of delivery image data sent from the server device is acquired when this message is received Delivery image acquisition means;
Each of the series of captured image data acquired by the camera is compared with each of the series of distribution image data acquired by the distribution image acquisition means, and based on the result of this comparison, an image represented by the series of captured image data is obtained. A display image of the image display device that is shown is identified for each image display device, and the display image of the image display device in the series of photographed image data corresponds to the series of distribution image data acquired by the distribution image acquisition means. A terminal device comprising: display control means for generating composite image data in place of an image represented by a thing, and causing the display means to display an image represented by the composite image data. （Ａ）カメラと表示手段とを有する端末装置と、
（Ｂ）複数の画像表示装置と、
（Ｃ）前記複数の画像表示装置の各々に表示させる動画を表す一連の画像データを画像表示装置毎に記憶したサーバ装置と、
（Ｄ）前記カメラにより撮影して得られる一連の撮影画像データの表す画像を前記表示手段に表示させる際の表示制御を行う表示制御装置であって、
前記複数の画像表示装置の少なくとも１つを含む撮影範囲を前記端末装置のカメラにより撮影して得られる一連の撮影画像データが表す画像に写っている画像表示装置であって、前記撮影画像データが表す画像から抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方によって特定される画像表示装置へ配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データの各々と当該一連の撮影画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記サーバ装置から取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データの表す画像を前記端末装置の表示手段に表示させる表示制御装置と
を具備することを特徴とする通信システム。 (A) a terminal device having a camera and display means;
(B) a plurality of image display devices;
(C) a server device that stores a series of image data representing a moving image to be displayed on each of the plurality of image display devices for each image display device;
(D) a display control device that performs display control when displaying on the display means an image represented by a series of captured image data obtained by photographing with the camera;
An image display device showing an image represented by a series of photographed image data obtained by photographing a photographing range including at least one of the plurality of image display devices with a camera of the terminal device, wherein the photographed image data is A message requesting a series of distribution image data to be distributed to the image display device specified by at least one of the marker extracted from the image to be displayed and the position and shooting direction of the camera is sent to the server device, and this message is received. In response to this, each of the series of delivery image data sent from the server device is compared with each of the series of photographed image data, and the image represented by the series of photographed image data based on the result of the comparison The image displayed on the image display device is identified, and the image displayed on the image display device in the series of photographed image data is determined as the support image. A display control device that generates composite image data by replacing the image represented by the corresponding one of the series of distribution image data acquired from the device, and displays the image represented by the composite image data on the display unit of the terminal device; A communication system comprising: 前記表示制御装置は、前記端末装置と前記サーバ装置の何れか一方に含まれていることを特徴とする請求項６に記載の通信システム。   The communication system according to claim 6, wherein the display control device is included in one of the terminal device and the server device. コンピュータを、
サーバ装置から送信される一連の配信画像データに従って動画像を表示する複数の画像表示装置のうちの少なくとも１つを含む撮影範囲内をカメラにより撮影して得られる一連の撮影画像データを取得する撮影画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データから抽出されるマーカと前記カメラの位置および撮影方向との少なくとも一方から当該一連の撮影画像データの表す画像に写っている画像表示装置を特定し、当該画像表示装置に向けて配信される一連の配信画像データを要求するメッセージを前記サーバ装置に送り、このメッセージを受けたことを契機として前記サーバ装置から送られてくる一連の配信画像データを取得する配信画像取得手段と、
前記撮影画像取得手段により取得した一連の撮影画像データの各々と前記配信画像取得手段により取得した一連の配信画像データの各々とを比較し、この比較の結果に基づいて当該一連の撮影画像データの表す画像に写っている画像表示装置の表示画像を画像表示装置毎に特定し、当該一連の撮影画像データにおける画像表示装置の表示画像を前記配信画像取得手段により取得した一連の配信画像データのうちの該当するものの表す画像に差替えて合成画像データを生成し、当該合成画像データが表す画像を表示装置に表示させる表示制御手段と
として機能させることを特徴とするプログラム。

Computer
Shooting to acquire a series of captured image data obtained by capturing a shooting range including at least one of a plurality of image display devices that display moving images according to a series of distribution image data transmitted from the server device. Image acquisition means;
An image display device that is reflected in an image represented by the series of photographed image data is identified from at least one of a marker extracted from the series of photographed image data acquired by the photographed image acquisition unit and the position and direction of the camera. A message requesting a series of distribution image data to be distributed to the image display device is sent to the server device, and a series of distribution image data sent from the server device when the message is received Distribution image acquisition means for acquiring;
Each of the series of captured image data acquired by the captured image acquisition unit is compared with each of the series of distribution image data acquired by the distribution image acquisition unit, and based on the comparison result, Among the series of distribution image data obtained by specifying the display image of the image display apparatus shown in the image to be displayed for each image display apparatus and acquiring the display image of the image display apparatus in the series of photographed image data by the distribution image acquisition means A program that generates composite image data by replacing an image represented by the corresponding image, and functions as display control means for displaying the image represented by the composite image data on a display device.

JP2011071595A 2011-03-29 2011-03-29 Display control apparatus, terminal device, communication system, and program Withdrawn JP2012208558A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011071595A JP2012208558A (en) 2011-03-29 2011-03-29 Display control apparatus, terminal device, communication system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011071595A JP2012208558A (en) 2011-03-29 2011-03-29 Display control apparatus, terminal device, communication system, and program

Publications (1)

Publication Number Publication Date
JP2012208558A true JP2012208558A (en) 2012-10-25

Family

ID=47188269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011071595A Withdrawn JP2012208558A (en) 2011-03-29 2011-03-29 Display control apparatus, terminal device, communication system, and program

Country Status (1)

Country Link
JP (1) JP2012208558A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096780A (en) * 2012-10-11 2014-05-22 Casio Comput Co Ltd Information output device and program
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
CN104714720A (en) * 2014-12-30 2015-06-17 上海孩子国科教设备有限公司 Method for achieving self scanning and client terminal
CN112639681A (en) * 2018-08-23 2021-04-09 苹果公司 Method and apparatus for process data sharing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096780A (en) * 2012-10-11 2014-05-22 Casio Comput Co Ltd Information output device and program
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
CN104714720A (en) * 2014-12-30 2015-06-17 上海孩子国科教设备有限公司 Method for achieving self scanning and client terminal
CN104714720B (en) * 2014-12-30 2017-12-12 上海孩子国科教设备有限公司 To realize the method and client of itself scanning
CN112639681A (en) * 2018-08-23 2021-04-09 苹果公司 Method and apparatus for process data sharing

Similar Documents

Publication Publication Date Title
US20230037595A1 (en) Image management system, image management method, and computer program product
US9661214B2 (en) Depth determination using camera focus
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
CN108154058B (en) Graphic code display and position area determination method and device
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
CN112243583B (en) Multi-endpoint mixed reality conference
US9591149B2 (en) Generation of a combined image of a presentation surface
WO2019015405A1 (en) Virtual prop allocation method, server, client and storage medium
US10347298B2 (en) Method and apparatus for smart video rendering
JP6046874B1 (en) Information processing apparatus, information processing method, and program
CN110089117B (en) Processing and formatting video for interactive presentation
JPWO2012049941A1 (en) Moving image distribution system and moving image distribution method
JP2012208558A (en) Display control apparatus, terminal device, communication system, and program
US10600060B1 (en) Predictive analytics from visual data
JP2017163195A (en) Image processing system, program, and image processing method
JP6617547B2 (en) Image management system, image management method, and program
JP2016194783A (en) Image management system, communication terminal, communication system, image management method, and program
JP2016194784A (en) Image management system, communication terminal, communication system, image management method, and program
JP2007526680A (en) Method and apparatus for formatting and displaying content
JP2013214158A (en) Display image retrieval device, display control system, display control method, and program
JP6265524B2 (en) POSITION INFORMATION USAGE SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM
US9058674B1 (en) Enhancing resolution of single images
JP2017182548A (en) Image management system, image management method, image communication system, and program
WO2019198261A1 (en) System for controlling display device on basis of identified capture range
KR101572349B1 (en) Voting system and object presence system using computing device and operatiog method thereof

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140603