JP2011095964A - Portable terminal, method, and program - Google Patents
Portable terminal, method, and program Download PDFInfo
- Publication number
- JP2011095964A JP2011095964A JP2009248681A JP2009248681A JP2011095964A JP 2011095964 A JP2011095964 A JP 2011095964A JP 2009248681 A JP2009248681 A JP 2009248681A JP 2009248681 A JP2009248681 A JP 2009248681A JP 2011095964 A JP2011095964 A JP 2011095964A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- web server
- content
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、三次元コンテンツの提供に関する。 The present invention relates to provision of three-dimensional content.
一般に、拡張現実感と呼ばれ、カメラで撮影された画像から特殊なマーカを認識し、そのマーカに合わせて、三次元コンテンツを、カメラで撮影された画像とリアルタイム合成する技術が知られている。 Generally known as augmented reality, a technology is known that recognizes a special marker from an image taken with a camera and combines three-dimensional content with the image taken with the camera in real time in accordance with the marker. .
また一般に、商品の販売に係る管理を目的として、個々の商品のパッケージに個々の商品にユニークなQRコード(登録商標)等の二次元コードを印刷することが行われている(例えば特許文献1参照)。 In general, for the purpose of management related to sales of products, a two-dimensional code such as a QR code (registered trademark) unique to each product is printed on the package of each product (for example, Patent Document 1). reference).
ところで、近年の携帯電話やPDAの技術進歩は凄まじく、またカメラなどの多機能を装備することにより、様々なコンテンツが提供されるようになっている。QRコード(登録商標)を利用したウェブキャンペーンは、携帯電話の持つ機能と印刷物が持つ情報とを融合させてコンテンツを提供する典型例となっている。 By the way, in recent years, the technical progress of mobile phones and PDAs has been tremendous, and various contents have been provided by being equipped with multiple functions such as a camera. A web campaign using a QR code (registered trademark) is a typical example of providing content by fusing the functions of a mobile phone with the information of a printed material.
しかしながら、QRコード(登録商標)はウェブサーバへの誘導措置にしか過ぎず、印刷された情報をウェブブラウザに伝える仲介的な役割しか担わない。また、ウェブサーバは情報を一方的に伝えるのみであり、そのコンテンツはブラウザ上でのみ終始する。 However, the QR code (registered trademark) is merely a guide to the web server, and has only an intermediary role of transmitting printed information to the web browser. Also, the web server only conveys information unilaterally, and its content is only on the browser.
携帯ゲームなどは三次元コンテンツなども充実して来てはいるが、これらはスタンドアローンなアプリケーションであり、コンテンツ自体を携帯端末に貯めておく必要がある。そして、これは携帯端末に負荷をかけると共に、コンテンツ自体は携帯端末のみで終始する。 Although 3D content has been enriched in mobile games, etc., these are stand-alone applications, and it is necessary to store the content itself in a mobile terminal. This puts a load on the mobile terminal and the content itself is only from the mobile terminal.
これらのコンテンツ提供を考慮すると、未だに、印刷物、ウェブサーバ、携帯端末の全てで連動し相互作用するものが提供されてない。 In consideration of the provision of these contents, there has not yet been provided anything that is linked and interacts with all of the printed materials, web servers, and portable terminals.
本発明は斯かる背景技術に鑑みてなされたもので、印刷物、ウェブサーバ、携帯端末の全てで連動し相互作用してコンテンツを提供できることを課題とする。 The present invention has been made in view of such background art, and an object of the present invention is to be able to provide contents by interlocking and interacting with all of a printed matter, a web server, and a mobile terminal.
本発明において上記課題を解決するために、まず請求項1の発明では、
三次元コンテンツを保存し管理するデータベースを有するウェブサーバが接続されているネットワークに接続される携帯端末であって、
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う手段と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する手段と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する手段と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する手段とを有することを特徴とする携帯端末としたものである。
In order to solve the above problems in the present invention, first, in the invention of claim 1,
A mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. A means of streaming and receiving,
Means for receiving 3D content streamed from a web server;
Means for recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
In accordance with a two-dimensional code recognized as a three-dimensional image, the portable terminal is characterized by having means for combining and displaying received three-dimensional content with an image photographed by a camera in real time. .
また請求項2の発明では、
三次元コンテンツを保存し管理するデータベースを有するウェブサーバが接続されているネットワークに接続される携帯端末が実行する方法であって、
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う工程と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する工程と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する工程と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する工程とを含むことを特徴とする方法としたものである。
In the invention of
A method executed by a mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. Streaming and receiving the process,
Receiving 3D content streamed from a web server;
Recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
In accordance with the two-dimensional code recognized as a three-dimensional image, the received three-dimensional content is combined with an image photographed by a camera in real time and displayed.
また請求項3の発明では、
三次元コンテンツを保存し管理するデータベースを有するウェブサーバが接続されているネットワークに接続される携帯端末に、
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う工程と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する工程と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する工程と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する工程とを実行させることを特徴とするプログラムとしたものである。
In the invention of
To a mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. Streaming and receiving the process,
Receiving 3D content streamed from a web server;
Recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
According to the two-dimensional code recognized as a three-dimensional image, the program is characterized in that the received three-dimensional content is combined with an image captured by the camera and displayed in real time. .
本発明は、印刷された二次元コードをカメラで撮影することにより、この二次元コードで指定される三次元コンテンツをウェブサーバからストリーミング配信させ、この二次元コードに合わせて、この三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示するので、印刷物、ウェブサーバ、携帯端末の全てで連動し相互作用してコンテンツを提供できるという効果がある。 According to the present invention, a 3D content specified by the 2D code is streamed from a web server by photographing the printed 2D code with a camera, and the 3D content is matched with the 2D code. Since it is synthesized and displayed in real time with the image taken by the camera, there is an effect that the contents can be provided by interlocking and interacting with all of the printed matter, the web server, and the portable terminal.
また、本発明は、異なる二次元コードを同時にカメラで撮影すれば、それぞれの二次元コードに合わせて、異なる三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示することができるという効果がある。 Further, according to the present invention, if different two-dimensional codes are simultaneously photographed by the camera, different three-dimensional contents can be combined with the images photographed by the camera and displayed in real time according to the respective two-dimensional codes. There is an effect.
また、本発明は、三次元コンテンツがストリーミング配信されるので、リアルタイム性を確保するとともに、時間軸で三次元コンテンツを可変にできるという効果がある。 In addition, since the 3D content is distributed by streaming, the present invention has an effect that the real time property can be secured and the 3D content can be made variable on the time axis.
以下に、本発明の一実施形態を説明する。 Hereinafter, an embodiment of the present invention will be described.
本実施形態は、図1に示すように、インターネット等のネットワークに接続される携帯端末であって、このネットワークにウェブサーバが接続されている。 As shown in FIG. 1, the present embodiment is a portable terminal connected to a network such as the Internet, and a web server is connected to this network.
ウェブサーバは、三次元コンテンツを保存し管理するデータベースであるコンテンツDBを有する。三次元コンテンツは、URLで指定される。 The web server has a content DB that is a database for storing and managing three-dimensional content. The three-dimensional content is specified by a URL.
携帯端末は、カメラと、三次元コンテンツデコーダとを有する。 The portable terminal has a camera and a three-dimensional content decoder.
三次元コンテンツデコーダは、カメラで撮影された画像からQRコード(登録商標)を認識して、このQRコード(登録商標)に記載されているURLを読み取り、このURLにより、ウェブサーバのコンテンツDBにアクセスして、ウェブサーバにコンテンツDBから三次元コンテンツをストリーミングで配信して貰って受信し、またカメラで撮影された画像中のQRコード(登録商標)の3軸判定を常時行って、このQRコード(登録商標)を三次元画像として認識し、図2に示すように、このQRコード(登録商標)1に合わせて、この三次元コンテンツ3を、カメラで撮影された画像2とリアルタイムに合成して合成画像4を表示することを携帯端末に行わせるプログラムである。
The three-dimensional content decoder recognizes the QR code (registered trademark) from the image taken by the camera, reads the URL described in the QR code (registered trademark), and uses this URL to store the content DB of the web server. Access, receive and receive 3D content from the content DB by streaming to the web server, and always perform 3-axis determination of QR code (registered trademark) in images taken by the camera. The code (registered trademark) is recognized as a three-dimensional image, and as shown in FIG. 2, in accordance with the QR code (registered trademark) 1, this three-
ここで、3軸判定に用いるモデル座標系の例を、図3に示す。この例では、QRコード(登録商標)1の中心を原点に取り、QRコード(登録商標)1に水平な面内にXY軸を取り、QRコード(登録商標)1に垂直にZ軸を取っている。 Here, an example of the model coordinate system used for the three-axis determination is shown in FIG. In this example, the center of the QR code (registered trademark) 1 is taken as the origin, the XY axis is taken in a plane parallel to the QR code (registered trademark) 1, and the Z axis is taken perpendicular to the QR code (registered trademark) 1. ing.
携帯端末は、携帯電話、或いは、PDAであっても良い。 The mobile terminal may be a mobile phone or a PDA.
以下に、三次元コンテンツデコーダより携帯端末が実行する処理の流れを、図4のフローチャートに従って説明する。 Hereinafter, the flow of processing executed by the mobile terminal from the three-dimensional content decoder will be described with reference to the flowchart of FIG.
STEP1;
携帯端末は、カメラでQRコード(登録商標)を撮影して、このQRコード(登録商標)が写っている画像をカメラから読み込む。
STEP1;
The portable terminal captures a QR code (registered trademark) with a camera and reads an image in which the QR code (registered trademark) is captured from the camera.
STEP2;
携帯端末は、カメラで撮影された画像からQRコード(登録商標)を認識して、このQRコード(登録商標)に記載されているURLを読み取り、このURLにより、ウェブサーバのコンテンツDBにアクセスして、ウェブサーバにコンテンツDBから三次元コンテンツをストリーミングで配信して貰う。
STEP2;
The mobile terminal recognizes the QR code (registered trademark) from the image taken by the camera, reads the URL described in the QR code (registered trademark), and accesses the content DB of the web server by this URL. Then, 3D content is distributed by streaming from the content DB to the web server.
STEP3;
携帯端末は、ウェブサーバからストリーミング配信される三次元コンテンツを受信する。
STEP3;
The mobile terminal receives the three-dimensional content streamed from the web server.
STEP(2〜3)’;
また携帯端末は、上記のSTEP2〜4の処理と並行して、カメラで撮影された画像中のQRコード(登録商標)の3軸判定を常時行って、このQRコード(登録商標)を三次元画像として認識する。
STEP (2-3) ';
Further, in parallel with the processing of
STEP4;
携帯端末は、三次元画像として認識したQRコード(登録商標)に合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して合成画像を表示する。
STEP4;
The portable terminal combines the received 3D content with the image captured by the camera in real time in accordance with the QR code (registered trademark) recognized as a 3D image, and displays the combined image.
1…QRコード(登録商標)
2…カメラで撮影された画像
3…三次元コンテンツ
4…合成画像
1 QR code (registered trademark)
2 ... Image taken by
Claims (3)
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う手段と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する手段と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する手段と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する手段とを有することを特徴とする携帯端末。 A mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. A means of streaming and receiving,
Means for receiving 3D content streamed from a web server;
Means for recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
A portable terminal comprising: means for displaying received 3D content in combination with an image taken by a camera in real time in accordance with a 2D code recognized as a 3D image.
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う工程と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する工程と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する工程と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する工程とを含むことを特徴とする方法。 A method executed by a mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. Streaming and receiving the process,
Receiving 3D content streamed from a web server;
Recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
A method comprising: synthesizing and displaying received three-dimensional content in real time with an image captured by a camera in accordance with a two-dimensional code recognized as a three-dimensional image.
カメラで撮影された画像から二次元コードを認識して、この二次元コードに記載されているURLを読み取り、このURLにより、ウェブサーバのデータベースにアクセスして、ウェブサーバにデータベースから三次元コンテンツをストリーミングで配信して貰う工程と、
ウェブサーバからストリーミング配信される三次元コンテンツを受信する工程と、
カメラで撮影された画像中の二次元コードを三次元画像として認識する工程と、
三次元画像として認識した二次元コードに合わせて、受信した三次元コンテンツを、カメラで撮影された画像とリアルタイムに合成して表示する工程とを実行させることを特徴とするプログラム。 To a mobile terminal connected to a network to which a web server having a database for storing and managing three-dimensional content is connected,
A two-dimensional code is recognized from an image taken by a camera, a URL described in the two-dimensional code is read, a database of a web server is accessed by this URL, and a three-dimensional content is retrieved from the database to the web server. Streaming and receiving the process,
Receiving 3D content streamed from a web server;
Recognizing a two-dimensional code in an image taken by a camera as a three-dimensional image;
A program for executing a step of combining and displaying received 3D content in real time with an image captured by a camera in accordance with a 2D code recognized as a 3D image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009248681A JP2011095964A (en) | 2009-10-29 | 2009-10-29 | Portable terminal, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009248681A JP2011095964A (en) | 2009-10-29 | 2009-10-29 | Portable terminal, method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011095964A true JP2011095964A (en) | 2011-05-12 |
Family
ID=44112805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009248681A Pending JP2011095964A (en) | 2009-10-29 | 2009-10-29 | Portable terminal, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011095964A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016170641A (en) * | 2015-03-13 | 2016-09-23 | 富士フイルム株式会社 | Virtual object display system, display control method for the same, and display control program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002300043A (en) * | 2001-04-03 | 2002-10-11 | Sony Corp | Information processing unit and method, and storage medium |
JP2003256876A (en) * | 2002-03-04 | 2003-09-12 | Sony Corp | Device and method for displaying composite sense of reality, recording medium and computer program |
JP2007090448A (en) * | 2005-09-27 | 2007-04-12 | Honda Motor Co Ltd | Two-dimensional code detecting device, program for it, and robot control information generating device and robot |
JP2008193640A (en) * | 2007-02-08 | 2008-08-21 | Kddi Corp | Terminal and program for superimposing and displaying additional image on photographed image |
-
2009
- 2009-10-29 JP JP2009248681A patent/JP2011095964A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002300043A (en) * | 2001-04-03 | 2002-10-11 | Sony Corp | Information processing unit and method, and storage medium |
JP2003256876A (en) * | 2002-03-04 | 2003-09-12 | Sony Corp | Device and method for displaying composite sense of reality, recording medium and computer program |
JP2007090448A (en) * | 2005-09-27 | 2007-04-12 | Honda Motor Co Ltd | Two-dimensional code detecting device, program for it, and robot control information generating device and robot |
JP2008193640A (en) * | 2007-02-08 | 2008-08-21 | Kddi Corp | Terminal and program for superimposing and displaying additional image on photographed image |
Non-Patent Citations (1)
Title |
---|
JPN6014005996; 江戸川: 'Mobile:KEYWORD QRコード【きゅーあーるこーど】' ITmedia Mobile , 20020903, アイティメディア株式会社 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016170641A (en) * | 2015-03-13 | 2016-09-23 | 富士フイルム株式会社 | Virtual object display system, display control method for the same, and display control program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11037601B2 (en) | Spherical video editing | |
KR102375307B1 (en) | Method, apparatus, and system for sharing virtual reality viewport | |
US10089794B2 (en) | System and method for defining an augmented reality view in a specific location | |
Rambach et al. | 6DoF object tracking based on 3D scans for augmented reality remote live support | |
US9734634B1 (en) | Augmented reality product preview | |
CN103797472B (en) | Systems and methods for accessing an interaction state between multiple devices | |
CN115004714A (en) | Selecting avatars to be included in an on-demand generated video | |
CN108668168B (en) | Android VR video player based on Unity3D and design method thereof | |
CN108133454B (en) | Space geometric model image switching method, device and system and interaction equipment | |
CN104159120B (en) | A kind of video image stabilization method, apparatus and system | |
Yan et al. | Application of augmented reality and robotic technology in broadcasting: a survey | |
CN104216533B (en) | A kind of wear-type virtual reality display based on DirectX9 | |
CN110336973A (en) | Information processing method and its device, electronic equipment and medium | |
JP2016012168A (en) | Information sharing system | |
CN103049933A (en) | Image processing device and method thereof | |
Piroozfar et al. | Augmented Reality (AR) and Virtual Reality (VR) in construction industry: An experiential development workflow | |
Xu | Intangible cultural heritage development based on augmented reality technology | |
CN204406423U (en) | The augmented reality recognition device that a kind of image and Quick Response Code combine | |
Guindy et al. | Camera animation for immersive light field imaging | |
KR102022912B1 (en) | System for sharing information using mixed reality | |
JP2011095964A (en) | Portable terminal, method, and program | |
KR20130082033A (en) | Method for implementing nft-based augmented reality using web-browsers, and system using the same | |
KR20120006312A (en) | Location based augmented reality contents data sharing system and method using mobile device | |
US10075693B2 (en) | Embedding calibration metadata into stereoscopic video files | |
CN108156436A (en) | The on-line processing method of three-dimensional promotional videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140212 |