JP2016051449A - Portable terminal equipment and display system - Google Patents

Portable terminal equipment and display system Download PDF

Info

Publication number
JP2016051449A
JP2016051449A JP2014178254A JP2014178254A JP2016051449A JP 2016051449 A JP2016051449 A JP 2016051449A JP 2014178254 A JP2014178254 A JP 2014178254A JP 2014178254 A JP2014178254 A JP 2014178254A JP 2016051449 A JP2016051449 A JP 2016051449A
Authority
JP
Japan
Prior art keywords
terminal device
image
server
mobile terminal
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014178254A
Other languages
Japanese (ja)
Inventor
真人 宮崎
Masato Miyazaki
真人 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014178254A priority Critical patent/JP2016051449A/en
Publication of JP2016051449A publication Critical patent/JP2016051449A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide portable terminal equipment capable of improving the convenience of a user in the case of visually recognizing a desired partial image in a pickup image.SOLUTION: Portable terminal equipment is configured to be communicable with a server for storing a pickup image picked up by a camera capable of picking up a predetermined azimuth angle range and a pickup azimuth by the camera in association and electronic equipment for displaying a first partial image in the pickup image. The portable terminal equipment receives first direction information indicating a direction in which the electronic equipment faces from the electronic equipment, and acquires second direction information indicating a direction in which the portable terminal equipment faces, and calculates an angle made by the direction in which the electronic equipment faces and the direction in which the portable terminal equipment faces on the basis of the first and second direction information, and transmits the angle to the server, and receives a second partial image extracted from the pickup image by the server on the basis of the angle and the pickup azimuth associated with the first partial image from the server, and displays the second partial image.SELECTED DRAWING: Figure 2

Description

本開示は、携帯端末装置を用いて撮像画像の部分画像を視認するための技術に関する。   The present disclosure relates to a technique for visually recognizing a partial image of a captured image using a mobile terminal device.

従来、全方位カメラは、周囲３６０°の被写体画像を同時に撮像することができるため、様々な形態で利用されている。たとえば、全方位カメラは、定点カメラとして周囲３６０°の状態を常時撮影し、３６０°のパノラマ画像として合成し、これを表示したり、記録したりする。また、全方位カメラとヘッドマウントディスプレイとを利用して、仮想物体を現実の空間に重畳して表示する技術が提案されている。   Conventionally, an omnidirectional camera is capable of simultaneously capturing a subject image having a surrounding angle of 360 °, and thus is used in various forms. For example, an omnidirectional camera always captures a 360 ° ambient state as a fixed-point camera, synthesizes it as a 360 ° panoramic image, and displays or records this. In addition, a technique has been proposed in which a virtual object is superimposed on a real space and displayed using an omnidirectional camera and a head mounted display.

たとえば、特開２０１２−０４８５９７号公報（特許文献１）は、画像提供サーバと複数のクライアント端末とが通信可能に構成された複合現実感表示システムを開示している。画像提供サーバは、仮想物体を描画し、描画した仮想物体と全方位画像取得カメラにて撮影された全方位画像とを合成し、合成画像情報を複数のクライアント端末に向けて配信する。クライアント端末は、当該クライアント端末を観察するユーザの視線を定義する位置姿勢情報に基づいて、画像提供サーバから受信した合成画像情報が示す合成画像から部分領域画像を抽出し、表示する。   For example, Japanese Patent Laying-Open No. 2012-048597 (Patent Document 1) discloses a mixed reality display system configured such that an image providing server and a plurality of client terminals can communicate with each other. The image providing server draws a virtual object, combines the drawn virtual object and the omnidirectional image captured by the omnidirectional image acquisition camera, and distributes the combined image information to a plurality of client terminals. The client terminal extracts and displays the partial region image from the composite image indicated by the composite image information received from the image providing server based on the position and orientation information that defines the line of sight of the user observing the client terminal.

特開２０１２−０４８５９７号公報JP 2012-048597 A

特許文献１の技術によると、ヘッドマウントディスプレイを装着するユーザは、自己の位置と姿勢に基づいて全方位画像から抽出された部分領域画像を観察する。そのため、ユーザは、自己の位置と姿勢を実際に動かすことにより、所望の部分領域画像を視認することが可能となる。   According to the technique of Patent Document 1, a user wearing a head mounted display observes a partial area image extracted from an omnidirectional image based on his / her position and orientation. Therefore, the user can visually recognize a desired partial region image by actually moving his / her position and posture.

たとえば、建物や設置物などの静的な対象物を全方位カメラで撮像する場合には、ユーザは、所望の部分領域画像を視認するために自己の位置姿勢を頻繁に動かす必要はない。しかしながら、サッカーなどのスポーツを全方位カメラで撮像する場合には、ユーザは、所望の部分領域画像を視認するためには自己の位置姿勢を頻繁に動かす必要がある。なぜなら、ユーザが見たい対象物は、通常、常時動いているボールや選手などの動的な対象物であると考えられるためである。この場合、長時間の視聴はユーザの体力を消耗させ、また、ユーザは落ち着いて視聴することもできない。   For example, when a static object such as a building or an installation is imaged with an omnidirectional camera, the user does not need to frequently move his / her position and orientation in order to visually recognize a desired partial area image. However, when capturing sports such as soccer with an omnidirectional camera, the user needs to frequently move his / her position and orientation in order to visually recognize a desired partial area image. This is because the object that the user wants to see is usually considered to be a dynamic object such as a ball or a player that is constantly moving. In this case, long-time viewing consumes the user's physical strength, and the user can not watch calmly.

本開示は、上記のような問題点を解決するためになされたものであって、ある局面における目的は、撮像画像のうち所望の部分画像を視認する場合のユーザの利便性を向上させることが可能な携帯端末装置、および表示システムを提供することである。   This indication is made in order to solve the above problems, and the purpose in a certain situation is to improve the convenience of the user when visually recognizing a desired partial image among captured images. A portable terminal device and a display system are provided.

ある実施の形態に従う携帯端末装置は、予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像とカメラによる撮像方位とを関連付けて記憶するサーバ、および、サーバから送信された撮像画像の第１の部分画像を表示する電子機器と通信可能に構成されている。携帯端末装置は、電子機器が向いている方向を示す第１の方向情報を電子機器から受信する方向受信手段と、携帯端末装置が向いている方向を示す第２の方向情報を取得する方向取得手段と、第１および第２の方向情報に基づいて、電子機器が向いている方向と携帯端末装置が向いている方向とがなす角度を算出する算出手段と、角度をサーバに送信する送信手段と、角度と第１の部分画像に関連付けられた撮像方位とに基づいてサーバにより撮像画像から抽出された第２の部分画像を、サーバから受信する画像受信手段と、第２の部分画像を表示する表示手段とを備える。   A mobile terminal device according to an embodiment includes a server that stores a captured image captured by a camera capable of capturing a predetermined azimuth angle range and an imaging azimuth captured by the camera, and a captured image transmitted from the server. It is comprised so that communication with the electronic device which displays the 1st partial image of this is possible. The mobile terminal device receives direction information from the electronic device for receiving first direction information indicating the direction in which the electronic device is facing, and direction acquisition for acquiring second direction information in which the mobile terminal device is facing. Means for calculating an angle formed by the direction in which the electronic device faces and the direction in which the mobile terminal device faces based on the first and second direction information, and transmission means for transmitting the angle to the server And image receiving means for receiving, from the server, the second partial image extracted from the captured image by the server based on the angle and the imaging orientation associated with the first partial image, and displaying the second partial image Display means.

本開示によると、撮像画像のうち所望の部分画像を視認する場合のユーザの利便性を向上させることが可能となる。   According to the present disclosure, it is possible to improve user convenience when viewing a desired partial image of a captured image.

本実施の形態に従う表示システムの全体構成を示す図である。It is a figure which shows the whole structure of the display system according to this Embodiment. 本実施の形態に従う表示システムの動作概要を示すシーケンス図である。It is a sequence diagram which shows the operation | movement outline | summary of the display system according to this Embodiment. 本実施の形態に従う全方位カメラにより取得される撮像画像に対する画像処理の内容を説明するための図である。It is a figure for demonstrating the content of the image process with respect to the captured image acquired with the omnidirectional camera according to this Embodiment. 本実施の形態に従う携帯端末装置および電子機器の向きを説明するための図である。It is a figure for demonstrating the direction of the portable terminal device and electronic device according to this Embodiment. 本実施の形態に従う携帯端末装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the portable terminal device according to this Embodiment. 本実施の形態に従う電子機器のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the electronic device according to this Embodiment. 本実施の形態に従うサーバのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the server according to this Embodiment. 本実施の形態に従う携帯端末装置、電子機器およびサーバの機能ブロック図である。It is a functional block diagram of the portable terminal device, electronic device, and server according to this Embodiment. 本実施の形態に従う携帯端末装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the portable terminal device according to this Embodiment.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

＜全体構成＞
図１は、本実施の形態に従う表示システムの全体構成を示す図である。図１を参照して、表示システムは、携帯端末装置１０と、電子機器２０と、サーバ３０と、全方位カメラ４０とを含む。 <Overall configuration>
FIG. 1 is a diagram showing an overall configuration of a display system according to the present embodiment. With reference to FIG. 1, the display system includes a mobile terminal device 10, an electronic device 20, a server 30, and an omnidirectional camera 40.

全方位カメラ４０は、全方位（０°〜３６０°）を撮像可能に構成されている。全方位カメラ４０は、常時撮像を行なっており、撮像された全方位画像をサーバ３０に送信している。全方位カメラ４０は、天頂部も含む全方位の撮像が可能であってもよい。なお、全方位カメラ４０に代えて、予め定められた方位角範囲（たとえば、０°〜１８０°）を撮像可能なカメラにより画像が撮像される構成であってもよい。   The omnidirectional camera 40 is configured to be able to image omnidirectional (0 ° to 360 °). The omnidirectional camera 40 always captures images and transmits the captured omnidirectional images to the server 30. The omnidirectional camera 40 may be capable of imaging in all directions including the zenith. Note that, instead of the omnidirectional camera 40, an image may be captured by a camera that can capture a predetermined azimuth angle range (for example, 0 ° to 180 °).

サーバ３０は、全方位カメラ４０から送信された全方位画像を受信して、当該全方位画像を内部メモリに記憶する。また、サーバ３０は、インターネットまたは移動体端末通信網などを介して、携帯端末装置１０および電子機器２０と互いに通信可能に構成されている。   The server 30 receives the omnidirectional image transmitted from the omnidirectional camera 40 and stores the omnidirectional image in the internal memory. The server 30 is configured to be able to communicate with the mobile terminal device 10 and the electronic device 20 via the Internet or a mobile terminal communication network.

携帯端末装置１０は、たとえば、タッチパネル１１０を備えるスマートフォンである。以下では、スマートフォンを「携帯端末装置」の代表例として説明を行なう。ただし、携帯端末装置は、タブレット端末装置、デジタルカメラ、ノートパソコン、ＰＤＡ（Personal Data Assistance）などのような、他の携帯機器であってもよい。   The mobile terminal device 10 is a smartphone including a touch panel 110, for example. Hereinafter, a smartphone will be described as a representative example of the “portable terminal device”. However, the mobile terminal device may be another mobile device such as a tablet terminal device, a digital camera, a notebook computer, or a PDA (Personal Data Assistance).

電子機器２０は、たとえば、ディスプレイ２０６を備える据置型のテレビジョン装置（テレビ）である。以下では、テレビを「電子機器」の代表例として説明を行なう。ただし、電子機器は、表示機能および通信機能を有するディスプレイ一体型のパソコン、デジタルサイネージ端末装置などのような他の機器であってもよい。なお、電子機器２０が携帯型の機器である場合には、ディスプレイ２０６は、固定して用いられることが望ましい。   The electronic device 20 is, for example, a stationary television device (television) including a display 206. In the following, a television will be described as a representative example of “electronic device”. However, the electronic device may be another device such as a display-integrated personal computer having a display function and a communication function, a digital signage terminal device, and the like. In addition, when the electronic device 20 is a portable device, the display 206 is desirably used in a fixed manner.

携帯端末装置１０および電子機器２０は、それぞれ通信インターフェイスを介して無線または有線で互いに通信可能に構成される。たとえば、携帯端末装置１０および電子機器２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などを利用した無線通信を行なう。   The mobile terminal device 10 and the electronic device 20 are configured to be able to communicate with each other wirelessly or via a communication interface. For example, the mobile terminal device 10 and the electronic device 20 perform wireless communication using Bluetooth (registered trademark), a wireless LAN (Local Area Network), or the like.

＜動作概要＞
次に、図２〜図４を参照して、本実施の形態に従う表示システムの動作概要について説明する。図２は、本実施の形態に従う表示システムの動作概要を示すシーケンス図である。図３は、本実施の形態に従う全方位カメラ４０により取得される撮像画像に対する画像処理の内容を説明するための図である。図４は、本実施の形態に従う携帯端末装置１０および電子機器２０の向きを説明するための図である。 <Overview of operation>
Next, an outline of the operation of the display system according to the present embodiment will be described with reference to FIGS. FIG. 2 is a sequence diagram showing an outline of the operation of the display system according to the present embodiment. FIG. 3 is a diagram for describing the contents of the image processing for the captured image acquired by the omnidirectional camera 40 according to the present embodiment. FIG. 4 is a diagram for describing directions of the mobile terminal device 10 and the electronic device 20 according to the present embodiment.

以下の説明では、携帯端末装置１０のユーザは、電子機器２０のディスプレイ２０６を視認することができる状態であるものとする。典型的には、ユーザは、携帯端末装置１０を把持しながら、家庭内のリビングなどに設置された電子機器２０のディスプレイ２０６を視認している場面が想定される。   In the following description, it is assumed that the user of the mobile terminal device 10 is in a state where the display 206 of the electronic device 20 can be viewed. Typically, it is assumed that the user is viewing the display 206 of the electronic device 20 installed in a living room or the like while holding the mobile terminal device 10.

図２を参照して、全方位カメラ４０は、撮像した全方位画像を取得する（ステップＳ１０）。具体的には、全方位カメラ４０は、図３（ａ）に示すような全方位画像を取得する。そして、全方位カメラ４０は、このような円形状の全方位画像を展開して、所定の画像処理を行なうことで図３（ｂ）に示すような方形状の全方位画像（パノラマ画像）を生成する。   With reference to FIG. 2, the omnidirectional camera 40 acquires the captured omnidirectional image (step S10). Specifically, the omnidirectional camera 40 acquires an omnidirectional image as shown in FIG. Then, the omnidirectional camera 40 develops such a circular omnidirectional image and performs predetermined image processing to obtain a rectangular omnidirectional image (panoramic image) as shown in FIG. Generate.

ここで、全方位カメラ４０により撮像された全方位画像には、全方位カメラ４０の撮像方位が関連付けられている。たとえば、全方位画像を部分画像Ｐ１〜Ｐ１２に１２等分した場合を考えると、部分画像Ｐ１は、全方位画像のうち撮像方位が０°〜３０°までの画像であることを示している。すなわち、部分画像Ｐ１には、撮像方位０°〜３０°が関連付けられている。   Here, the imaging direction of the omnidirectional camera 40 is associated with the omnidirectional image captured by the omnidirectional camera 40. For example, considering the case where the omnidirectional image is divided into 12 equal parts into partial images P1 to P12, the partial image P1 indicates that the imaging azimuth is an image having an imaging orientation of 0 ° to 30 ° among the omnidirectional images. That is, the imaging direction 0 ° to 30 ° is associated with the partial image P1.

全方位カメラ４０は、全方位画像をサーバ３０に送信する（ステップＳ１１）。サーバ３０は、受信した全方位画像を内部メモリに記憶するとともに、サーバ３０の管理者の指示に従って、電子機器２０に送信するための部分画像Ｐａを抽出する（ステップＳ１２）。たとえば、管理者が、撮像方位が６０°〜１２０°の画像を全方位画像から抽出するようにサーバ３０に指示したとする。この場合、サーバ３０は、電子機器２０に送信する部分画像Ｐａとして、全方位画像から部分画像Ｐ３，Ｐ４を抽出する（図３を参照）。なお、管理者は、任意の撮像方位の画像を全方位画像から抽出するようにサーバ３０に指示することが可能である。   The omnidirectional camera 40 transmits an omnidirectional image to the server 30 (step S11). The server 30 stores the received omnidirectional image in the internal memory, and extracts a partial image Pa to be transmitted to the electronic device 20 in accordance with an instruction from the administrator of the server 30 (step S12). For example, it is assumed that the manager instructs the server 30 to extract an image having an imaging orientation of 60 ° to 120 ° from the omnidirectional image. In this case, the server 30 extracts the partial images P3 and P4 from the omnidirectional image as the partial image Pa transmitted to the electronic device 20 (see FIG. 3). Note that the administrator can instruct the server 30 to extract an image with an arbitrary imaging orientation from the omnidirectional image.

次に、サーバ３０は、管理者の指示に従って全方位画像から抽出した部分画像Ｐａを電子機器２０に送信する（ステップＳ１４）。電子機器２０は、受信した部分画像Ｐａをディスプレイ２０６に表示する（ステップＳ１６）。この例では、ディスプレイ２０６には、部分画像Ｐ３，Ｐ４が表示される。   Next, the server 30 transmits the partial image Pa extracted from the omnidirectional image to the electronic device 20 in accordance with an instruction from the administrator (step S14). The electronic device 20 displays the received partial image Pa on the display 206 (step S16). In this example, partial images P3 and P4 are displayed on the display 206.

次に、携帯端末装置１０は、電子機器２０との通信を確立するために、電子機器２０が向いている方向を示す方向情報Ｄａを送信するように電子機器２０に要求する（ステップＳ１８）。電子機器２０は、携帯端末装置１０から当該要求を受信すると、内蔵された方向センサにより方向情報Ｄａを取得して、これを携帯端末装置１０に送信する（ステップＳ２０）。具体的には、電子機器２０が向いている方向とは、ディスプレイ２０６の表示面が向いている方向（Ｙ軸方向）である（図４（ａ）を参照）。   Next, in order to establish communication with the electronic device 20, the mobile terminal device 10 requests the electronic device 20 to transmit the direction information Da indicating the direction in which the electronic device 20 is facing (step S18). When receiving the request from the mobile terminal device 10, the electronic device 20 acquires the direction information Da by the built-in direction sensor and transmits it to the mobile terminal device 10 (step S20). Specifically, the direction in which the electronic device 20 is facing is the direction in which the display surface of the display 206 is facing (Y-axis direction) (see FIG. 4A).

携帯端末装置１０は、方向情報Ｄａを受信すると、内蔵された方向センサにより携帯端末装置１０が向いている方向を示す方向情報Ｄｂを取得する（ステップＳ２２）。具体的には、携帯端末装置１０が向いている方向とは、タッチパネル１１０の表示面が向いている方向（Ｙ軸方向）である（図４（ｂ）を参照）。   When the mobile terminal device 10 receives the direction information Da, the mobile terminal device 10 acquires the direction information Db indicating the direction in which the mobile terminal device 10 is facing by the built-in direction sensor (step S22). Specifically, the direction in which the mobile terminal device 10 is facing is the direction in which the display surface of the touch panel 110 is facing (Y-axis direction) (see FIG. 4B).

携帯端末装置１０は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、電子機器２０が向いている方向と携帯端末装置１０が向いている方向とがなす角度θ（図４（ｃ）を参照）を算出する（ステップＳ２４）。   Based on the direction information Da and the direction information Db, the mobile terminal device 10 determines an angle θ (see FIG. 4C) formed by the direction in which the electronic device 20 faces and the direction in which the mobile terminal device 10 faces. Calculate (step S24).

携帯端末装置１０は、角度θに基づいて、携帯端末装置１０と電子機器２０との通信の認証判定を行う（ステップＳ２６）。具体的には、角度θが予め定められた基準範囲内（たとえば、±３°以内）未満である場合には、携帯端末装置１０は当該通信を許可する。すなわち、ユーザは、携帯端末装置１０と電子機器２０との通信を確立するためには、把持している携帯端末装置１０を動かして、電子機器２０および携帯端末装置１０の向きを合わせる必要がある。ここでは、携帯端末装置１０と電子機器２０との通信が確立されたものとする。   Based on the angle θ, the mobile terminal device 10 determines authentication of communication between the mobile terminal device 10 and the electronic device 20 (step S26). Specifically, when the angle θ is less than a predetermined reference range (for example, within ± 3 °), the mobile terminal device 10 permits the communication. That is, in order to establish communication between the mobile terminal device 10 and the electronic device 20, the user needs to move the gripped mobile terminal device 10 to align the orientation of the electronic device 20 and the mobile terminal device 10. . Here, it is assumed that communication between the mobile terminal device 10 and the electronic device 20 is established.

携帯端末装置１０は、通信が確立されると、現時点における角度θをサーバ３０に送信する（ステップＳ２８）。ここでは、携帯端末装置１０と電子機器２０との通信の確立後に、たとえば、ユーザが携帯端末装置１０をＺ軸まわりに回転させて、現時点での角度θが６０°になったものとする。サーバ３０は、受信した角度θと部分画像Ｐａに関連付けられた撮像方位とに基づいて、全方位画像から部分画像Ｐｂを抽出する（ステップＳ３０）。具体的には、サーバ３０は、部分画像Ｐａに関連付けられた撮像方位（たとえば、６０°〜１２０°）に角度θ（６０°）を加えた撮像方位（１２０°〜１８０°）の画像を全方位画像から抽出する。すなわち、サーバ３０は、携帯端末装置１０に送信するための部分画像Ｐｂとして、全方位画像から部分画像Ｐ５，Ｐ６を抽出する（図３を参照）。   When communication is established, the mobile terminal device 10 transmits the current angle θ to the server 30 (step S28). Here, it is assumed that, after the communication between the mobile terminal device 10 and the electronic device 20 is established, for example, the user rotates the mobile terminal device 10 around the Z axis, and the current angle θ becomes 60 °. The server 30 extracts the partial image Pb from the omnidirectional image based on the received angle θ and the imaging azimuth associated with the partial image Pa (step S30). Specifically, the server 30 adds all the images of the imaging direction (120 ° to 180 °) obtained by adding the angle θ (60 °) to the imaging direction (for example, 60 ° to 120 °) associated with the partial image Pa. Extract from orientation image. That is, the server 30 extracts the partial images P5 and P6 from the omnidirectional image as the partial image Pb to be transmitted to the mobile terminal device 10 (see FIG. 3).

次に、サーバ３０は、部分画像Ｐｂを携帯端末装置１０に送信する（ステップＳ３２）。携帯端末装置１０は、受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ３４）。   Next, the server 30 transmits the partial image Pb to the mobile terminal device 10 (step S32). The mobile terminal device 10 displays the received partial image Pb on the touch panel 110 (step S34).

このように、タッチパネル１１０には、角度θに応じた部分画像Ｐａの周辺画像（部分画像Ｐｂ）が表示される。そのため、ユーザは、サーバ３０の管理者が選んだ部分画像Ｐａをディスプレイ２０６で視認しつつ、その周辺画像（部分画像Ｐｂ）を視認することができる。   In this way, the peripheral image (partial image Pb) of the partial image Pa corresponding to the angle θ is displayed on the touch panel 110. Therefore, the user can visually recognize the peripheral image (partial image Pb) while visually confirming the partial image Pa selected by the administrator of the server 30 on the display 206.

＜ハードウェア構成＞
次に、表示システムに含まれる各装置のハードウェア構成について説明する。 <Hardware configuration>
Next, the hardware configuration of each device included in the display system will be described.

（携帯端末装置）
図５は、本実施の形態に従う携帯端末装置１０のハードウェア構成を示すブロック図である。図５を参照して、携帯端末装置１０は、たとえば、ＣＰＵ１０２と、メモリ１０４と、タッチパネル１１０と、無線通信部１１２と、メモリインターフェイス（Ｉ／Ｆ）１１４と、方向センサ１１６と、通信インターフェイス（Ｉ／Ｆ）１１８とを含む。 (Mobile terminal device)
FIG. 5 is a block diagram showing a hardware configuration of mobile terminal apparatus 10 according to the present embodiment. Referring to FIG. 5, the mobile terminal device 10 includes, for example, a CPU 102, a memory 104, a touch panel 110, a wireless communication unit 112, a memory interface (I / F) 114, a direction sensor 116, and a communication interface ( I / F) 118.

ＣＰＵ１０２は、メモリ１０４に記憶されたプログラムを読み出して実行することで、携帯端末装置１０の各部の動作を制御する。より詳細にはＣＰＵ１０２は、当該プログラムを実行することによって、後述する携帯端末装置１０の処理（ステップ）の各々を実現する。   The CPU 102 reads out and executes the program stored in the memory 104 to control the operation of each unit of the mobile terminal device 10. More specifically, the CPU 102 implements each process (step) of the mobile terminal device 10 to be described later by executing the program.

メモリ１０４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、フラッシュメモリなどによって実現される。メモリ１０４は、ＣＰＵ１０２によって実行されるプログラム、またはＣＰＵ１０２によって用いられるデータなどを記憶する。   The memory 104 is realized by a RAM (Random Access Memory), a ROM (Read-Only Memory), a flash memory, or the like. The memory 104 stores a program executed by the CPU 102 or data used by the CPU 102.

タッチパネル１１０は、タッチセンサ１０６とディスプレイ１０８とを含む。タッチセンサ１０６は、ユーザからのタッチ入力の位置を検出可能に構成されている。具体的には、タッチセンサ１０６は、所定時間毎に外部物体によるタッチパネル１１０（ディスプレイ１０８）へのタッチ入力を検出し、タッチが検出された場所の位置情報（たとえば、タッチ座標）をＣＰＵ１０２に入力する。ディスプレイ１０８は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイなどから構成される。   The touch panel 110 includes a touch sensor 106 and a display 108. The touch sensor 106 is configured to be able to detect the position of the touch input from the user. Specifically, the touch sensor 106 detects touch input to the touch panel 110 (display 108) by an external object every predetermined time, and inputs position information (for example, touch coordinates) of the place where the touch is detected to the CPU 102. To do. The display 108 is composed of, for example, a liquid crystal display or an organic EL display.

無線通信部１１２は、通信アンテナ１１３を介して無線通信網に接続し無線通信のための信号を送受信する。これにより、携帯端末装置１０は、たとえば、第３世代移動通信システム（３Ｇ）、ＬＴＥ（Long Term Evolution）などの移動体通信網を介して他の通信装置（たとえば、サーバ３０）との通信が可能となる。   The wireless communication unit 112 connects to a wireless communication network via the communication antenna 113 and transmits / receives a signal for wireless communication. Thereby, the mobile terminal device 10 can communicate with another communication device (for example, the server 30) via a mobile communication network such as a third generation mobile communication system (3G) or LTE (Long Term Evolution). It becomes possible.

メモリインターフェイス（Ｉ／Ｆ）１１４は、外部の記憶媒体１１５からデータを読み出す。ＣＰＵ１０２は、メモリ１０４からデータを読み出して、メモリインターフェイス１１４を介して当該データを外部の記憶媒体１１５に格納する。なお、記憶媒体１１５としては、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカードなどの不揮発的にデータを格納する媒体が挙げられる。   A memory interface (I / F) 114 reads data from an external storage medium 115. The CPU 102 reads data from the memory 104 and stores the data in an external storage medium 115 via the memory interface 114. The storage medium 115 includes a CD (Compact Disc), a DVD (Digital Versatile Disk), a BD (Blu-ray (registered trademark) Disc), a USB (Universal Serial Bus) memory, an SD (Secure Digital) memory card, and the like. A medium for storing data in a non-volatile manner can be mentioned.

方向センサ１１６は、携帯端末装置１０が向いている方向を検出する。具体的には、方向センサ１１６は、表示のためにディスプレイ１０８の表示面がどの方向に向いているのかを検出する。たとえば、方向センサ１１６は、地磁気センサ、加速度センサおよびジャイロセンサなどのいずれか、またはこれらを組み合わせて構成されるセンサである。なお、方向センサ１１６は、ディスプレイ１０８の表示面が向いている方向を検出可能なセンサであればよい。   The direction sensor 116 detects the direction in which the mobile terminal device 10 is facing. Specifically, the direction sensor 116 detects in which direction the display surface of the display 108 is directed for display. For example, the direction sensor 116 is a sensor configured by any one of a geomagnetic sensor, an acceleration sensor, and a gyro sensor, or a combination thereof. The direction sensor 116 may be any sensor that can detect the direction in which the display surface of the display 108 is facing.

通信インターフェイス（Ｉ／Ｆ）１１８は、たとえば、電子機器２０との間で各種データをやり取りするものである。なお、通信方式としては、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどによる無線通信であってもよいし、ＵＳＢケーブルなどを利用した有線通信であってもよい。   The communication interface (I / F) 118 exchanges various data with the electronic device 20, for example. The communication method may be, for example, wireless communication using Bluetooth (registered trademark), wireless LAN, or wired communication using a USB cable.

（電子機器）
図６は、本実施の形態に従う電子機器２０のハードウェア構成を示すブロック図である。図６を参照して、電子機器２０は、たとえば、各種処理を実行するためのＣＰＵ２０２と、プログラムやデータを格納するためのメモリ２０４と、ディスプレイ２０６と、通信インターフェイス２０８と、チューナ２１０と、方向センサ２１２と、ユーザからの指示を受け付けるボタンなどの入力インターフェイス（Ｉ／Ｆ）２１４とを含む。 (Electronics)
FIG. 6 is a block diagram showing a hardware configuration of electronic device 20 according to the present embodiment. Referring to FIG. 6, electronic device 20 includes, for example, CPU 202 for executing various processes, memory 204 for storing programs and data, display 206, communication interface 208, tuner 210, direction It includes a sensor 212 and an input interface (I / F) 214 such as a button for receiving an instruction from the user.

通信インターフェイス２０８は、たとえば、携帯端末装置１０との間でデータを送受信するためのものである。なお、通信インターフェイス２０８は、サーバ３０との間でデータを送受信するために用いられてもよい。   The communication interface 208 is for transmitting and receiving data to and from the mobile terminal device 10, for example. The communication interface 208 may be used for transmitting / receiving data to / from the server 30.

チューナ２１０は、ＴＶアンテナ（図示しない）を介してサーバ３０からＴＶ番組を受信する。本実施の形態では、サーバ３０は、全方位画像から抽出した部分画像ＰａをＴＶ番組として電子機器２０に送信する。ＣＰＵ２０２は、受信した部分画像Ｐａ（ＴＶ番組）をディスプレイ２０６に表示する。   The tuner 210 receives a TV program from the server 30 via a TV antenna (not shown). In the present embodiment, the server 30 transmits the partial image Pa extracted from the omnidirectional image to the electronic device 20 as a TV program. The CPU 202 displays the received partial image Pa (TV program) on the display 206.

方向センサ２１２は、電子機器２０が向いている方向を検出する。具体的には、方向センサ２１２は、ディスプレイ２０６の表示面がどの方向に向いているのかを検出する。   The direction sensor 212 detects the direction in which the electronic device 20 is facing. Specifically, the direction sensor 212 detects in which direction the display surface of the display 206 is directed.

なお、電子機器２０は、音声を出力するためのスピーカ、ユーザからの指示を受け付けるためのリモコン受信部（およびリモコン）などの公知のものを有していてもよい。   The electronic device 20 may have a known device such as a speaker for outputting sound and a remote control receiving unit (and a remote controller) for receiving an instruction from the user.

（サーバ）
図７は、本実施の形態に従うサーバ３０のハードウェア構成を示すブロック図である。図７を参照して、サーバ３０は、各種処理を実行するためのＣＰＵ３０２と、プログラムやデータなどを格納するためのメモリ３０４と、携帯端末装置１０、電子機器２０および全方位カメラ４０と各種データを送受信するための通信インターフェイス３０６と、管理者からの指示を受け付けるための入力インターフェイス（Ｉ／Ｆ）３０８とを含む。 (server)
FIG. 7 is a block diagram showing a hardware configuration of server 30 according to the present embodiment. Referring to FIG. 7, the server 30 includes a CPU 302 for executing various processes, a memory 304 for storing programs and data, the mobile terminal device 10, the electronic device 20, the omnidirectional camera 40, and various data. A communication interface 306 for transmitting / receiving data and an input interface (I / F) 308 for receiving an instruction from the administrator.

＜機能構成＞
次に、表示システムに含まれる各装置の機能構成について説明する。 <Functional configuration>
Next, the functional configuration of each device included in the display system will be described.

図８は、本実施の形態に従う携帯端末装置１０、電子機器２０およびサーバ３０の機能ブロック図である。   FIG. 8 is a functional block diagram of mobile terminal device 10, electronic device 20, and server 30 according to the present embodiment.

図８を参照して、携帯端末装置１０は、その主たる機能構成として、端末通信部１５０と、方向取得部１５２と、算出部１５４と、認証部１５６と、表示制御部１５８とを含む。これらの機能は、典型的には、携帯端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行することにより実現される。   Referring to FIG. 8, mobile terminal device 10 includes a terminal communication unit 150, a direction acquisition unit 152, a calculation unit 154, an authentication unit 156, and a display control unit 158 as its main functional configuration. These functions are typically realized by the CPU 102 of the mobile terminal device 10 executing a program stored in the memory 104.

電子機器２０は、その主たる機能構成として、機器通信部２５０と、表示制御部２５２と、方向取得部２５４とを含む。これらの機能は、典型的には、電子機器２０のＣＰＵ２０２がメモリ２０４に格納されたプログラムを実行することにより実現される。   The electronic device 20 includes a device communication unit 250, a display control unit 252, and a direction acquisition unit 254 as its main functional configuration. These functions are typically realized by the CPU 202 of the electronic device 20 executing a program stored in the memory 204.

サーバ３０は、その主たる機能構成として、サーバ通信部３５０と、第１の抽出部３５２と、第２の抽出部３５４とを含む。これらの機能は、典型的には、サーバ３０のＣＰＵ３０２がメモリ３０４に格納されたプログラムを実行することにより実現される。   The server 30 includes a server communication unit 350, a first extraction unit 352, and a second extraction unit 354 as its main functional configuration. These functions are typically realized by the CPU 302 of the server 30 executing a program stored in the memory 304.

なお、携帯端末装置１０、電子機器２０およびサーバ３０における上述の機能構成の一部または全部はハードウェアで実現されていてもよい。以下、携帯端末装置１０、電子機器２０およびサーバ３０の各々の機能構成について具体的に説明する。   Note that some or all of the above-described functional configurations of the mobile terminal device 10, the electronic device 20, and the server 30 may be realized by hardware. Hereinafter, the functional configurations of the mobile terminal device 10, the electronic device 20, and the server 30 will be specifically described.

サーバ通信部３５０は、全方位カメラ４０で撮像された全方位画像を受信する。なお、図３で説明したように、全方位画像には、全方位カメラ４０による撮像方位が関連付けられている。サーバ通信部３５０は、全方位画像と撮像方位とを関連付けてメモリ３０４（記憶部として機能）に記憶する。   The server communication unit 350 receives an omnidirectional image captured by the omnidirectional camera 40. As described with reference to FIG. 3, the omnidirectional image is associated with the imaging azimuth of the omnidirectional camera 40. The server communication unit 350 associates the omnidirectional image and the imaging orientation and stores them in the memory 304 (functioning as a storage unit).

第１の抽出部３５２は、入力インターフェイス３０８を介して管理者からの指示を受け付け、当該指示に従って全方位画像から部分画像Ｐａを抽出する。なお、管理者は、たとえば、テレビ番組のディレクターなどであり、全方位画像の中から視聴者にとって望ましいと考えられる部分画像Ｐａを選定する。そして、管理者は、入力インターフェイス３０８を用いて、選択した部分画像Ｐａを全方位画像から抽出するようにサーバ３０に指示する。   The first extraction unit 352 receives an instruction from the administrator via the input interface 308, and extracts the partial image Pa from the omnidirectional image according to the instruction. Note that the manager is, for example, a director of a television program, and selects a partial image Pa that is considered desirable for the viewer from omnidirectional images. Then, the administrator uses the input interface 308 to instruct the server 30 to extract the selected partial image Pa from the omnidirectional image.

サーバ通信部３５０は、通信インターフェイス３０６を介して、第１の抽出部３５２により抽出された部分画像Ｐａを電子機器２０（機器通信部２５０）に送信する。   The server communication unit 350 transmits the partial image Pa extracted by the first extraction unit 352 to the electronic device 20 (device communication unit 250) via the communication interface 306.

機器通信部２５０は、通信インターフェイス２０８を介して、サーバ通信部３５０から送信された部分画像Ｐａを受信する。表示制御部２５２は、部分画像Ｐａをディスプレイ２０６に表示させる。   The device communication unit 250 receives the partial image Pa transmitted from the server communication unit 350 via the communication interface 208. The display control unit 252 displays the partial image Pa on the display 206.

また、携帯端末装置１０の端末通信部１５０は、電子機器２０（機器通信部２５０）に要求情報を送信する。具体的には、端末通信部１５０は、電子機器２０と携帯端末装置１０との通信を確立するために必要な情報を送信するように電子機器２０に要求する。なお、この必要な情報は、電子機器２０が向いている方向（ディスプレイ２０６の表示面が向いている方向）を示す方向情報Ｄａを含む。なお、必要な情報は、パスコードなどの暗証番号を含んでいてもよい。   In addition, the terminal communication unit 150 of the mobile terminal device 10 transmits request information to the electronic device 20 (device communication unit 250). Specifically, the terminal communication unit 150 requests the electronic device 20 to transmit information necessary for establishing communication between the electronic device 20 and the mobile terminal device 10. The necessary information includes direction information Da indicating the direction in which the electronic device 20 is facing (the direction in which the display surface of the display 206 is facing). The necessary information may include a password such as a passcode.

機器通信部２５０は、端末通信部１５０から送信された要求情報を受信する。方向取得部２５４は、方向センサ２１２を用いて方向情報Ｄａを取得する。機器通信部２５０は、方向情報Ｄａを携帯端末装置１０（端末通信部１５０）に送信する。   The device communication unit 250 receives the request information transmitted from the terminal communication unit 150. The direction acquisition unit 254 acquires the direction information Da using the direction sensor 212. The device communication unit 250 transmits the direction information Da to the mobile terminal device 10 (terminal communication unit 150).

端末通信部１５０は、機器通信部２５０から送信された方向情報Ｄａを受信する。方向取得部１５２は、方向センサ１１６を用いて、携帯端末装置１０が向いている方向（タッチパネル１１０の表示面が向いている方向）を示す方向情報Ｄｂを取得する。   The terminal communication unit 150 receives the direction information Da transmitted from the device communication unit 250. The direction acquisition unit 152 uses the direction sensor 116 to acquire direction information Db indicating the direction in which the mobile terminal device 10 is facing (the direction in which the display surface of the touch panel 110 is facing).

算出部１５４は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、電子機器２０が向いている方向と携帯端末装置１０が向いている方向とがなす角度を算出する。   Based on the direction information Da and the direction information Db, the calculation unit 154 calculates an angle formed by the direction in which the electronic device 20 faces and the direction in which the mobile terminal device 10 faces.

認証部１５６は、算出部１５４により算出された角度θが基準範囲内（たとえば、±３°以内）である場合に、携帯端末装置１０と電子機器２０との通信を許可する。これにより、携帯端末装置１０と電子機器２０との通信が確立される。一方、角度θが基準範囲外である場合には、認証部１５６は、携帯端末装置１０と電子機器２０との通信を許可しない（禁止する）。   The authentication unit 156 permits communication between the mobile terminal device 10 and the electronic device 20 when the angle θ calculated by the calculation unit 154 is within a reference range (for example, within ± 3 °). Thereby, communication between the mobile terminal device 10 and the electronic device 20 is established. On the other hand, when the angle θ is outside the reference range, the authentication unit 156 does not permit (inhibit) communication between the mobile terminal device 10 and the electronic device 20.

認証部１５６により当該通信が許可された場合には、端末通信部１５０は、無線通信部１１２を介して、算出部１５４により算出された角度θをサーバ３０（サーバ通信部３５０）に送信する。   When the authentication unit 156 permits the communication, the terminal communication unit 150 transmits the angle θ calculated by the calculation unit 154 to the server 30 (server communication unit 350) via the wireless communication unit 112.

サーバ通信部３５０は、通信インターフェイス３０６を介して、端末通信部１５０から送信された角度θを受信する。第２の抽出部３５４は、サーバ通信部３５０により受信された角度θと部分画像Ｐａに関連付けられた撮像方位とに基づいて、全方位画像から部分画像Ｐｂを抽出する。具体的には、第２の抽出部３５４は、現時点で第１の抽出部３５２により抽出されている部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更（加算または減算）した撮像方位の画像を全方位画像から抽出する。たとえば、メモリ３０４には、第１の抽出部３５２が、いつ、どの撮像方位の画像を全方位画像から抽出したかを示す履歴情報が記憶されている。そのため、第２の抽出部３５４は、メモリ３０４を参照すれば、現時点での部分画像Ｐａに関連付けられている撮像方位を把握することができる。   The server communication unit 350 receives the angle θ transmitted from the terminal communication unit 150 via the communication interface 306. The second extraction unit 354 extracts the partial image Pb from the omnidirectional image based on the angle θ received by the server communication unit 350 and the imaging azimuth associated with the partial image Pa. Specifically, the second extraction unit 354 changes the image orientation of the imaging orientation associated with the partial image Pa currently extracted by the first extraction unit 352 by an angle θ (addition or subtraction). Are extracted from the omnidirectional image. For example, the memory 304 stores history information indicating when and what imaging orientation the first extraction unit 352 has extracted from the omnidirectional image. Therefore, the second extraction unit 354 can grasp the imaging orientation associated with the partial image Pa at the present time by referring to the memory 304.

サーバ通信部３５０は、通信インターフェイス３０６を介して、第２の抽出部３５４により抽出された部分画像Ｐｂを携帯端末装置１０（端末通信部１５０）に送信する。   The server communication unit 350 transmits the partial image Pb extracted by the second extraction unit 354 to the mobile terminal device 10 (terminal communication unit 150) via the communication interface 306.

端末通信部１５０は、無線通信部１１２を介して、サーバ通信部３５０から送信された部分画像Ｐｂを受信する。表示制御部１５８は、部分画像Ｐｂをタッチパネル１１０（ディスプレイ１０８）に表示させる。   The terminal communication unit 150 receives the partial image Pb transmitted from the server communication unit 350 via the wireless communication unit 112. The display control unit 158 displays the partial image Pb on the touch panel 110 (display 108).

上記において、携帯端末装置１０と電子機器２０との通信が認証部１５６により許可された場合に、端末通信部１５０は、当該通信が許可された時刻情報をサーバ３０にさらに送信してもよい。この場合、第２の抽出部３５４は、当該通信が許可されたときに電子機器２０で表示されていた部分画像Ｐａに関連付けられた撮像方位と角度θとに基づいて、全方位画像から部分画像Ｐｂを抽出する。そして、表示制御部１５８は、端末通信部１５０により受信された当該部分画像Ｐｂをタッチパネル１１０に表示させる。   In the above description, when communication between the mobile terminal device 10 and the electronic device 20 is permitted by the authentication unit 156, the terminal communication unit 150 may further transmit the time information when the communication is permitted to the server 30. In this case, the second extraction unit 354 generates a partial image from the omnidirectional image based on the imaging azimuth and the angle θ associated with the partial image Pa displayed on the electronic device 20 when the communication is permitted. Extract Pb. Then, the display control unit 158 displays the partial image Pb received by the terminal communication unit 150 on the touch panel 110.

また、算出部１５４は、携帯端末装置１０が向いている方向を確定させる入力を受け付けたときに方向取得部１５２により取得されていた方向情報Ｄｂを、携帯端末装置１０が向いている方向として確定してもよい。この場合、算出部１５４は、方向情報Ｄａと当該確定された方向情報Ｄｂとに基づいて角度θを算出する。   In addition, the calculation unit 154 determines the direction information Db acquired by the direction acquisition unit 152 when receiving an input for determining the direction in which the mobile terminal device 10 is facing, as the direction in which the mobile terminal device 10 is facing. May be. In this case, the calculation unit 154 calculates the angle θ based on the direction information Da and the determined direction information Db.

＜処理手順＞
図９は、本実施の形態に従う携帯端末装置１０の処理手順を示すフローチャートである。以下の各ステップは、携帯端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行することによって実現される。ここでは、携帯端末装置１０のユーザが、サーバ３０から電子機器２０に送信されるＴＶ番組（すなわち、部分画像Ｐａ）をディスプレイ２０６で視聴しながら、携帯端末装置１０の筐体を把持している場面を想定する。また、電子機器２０は据置型であり、ディスプレイ２０６の表示面の向き（方向情報Ｄａ）は変化しないものとする。 <Processing procedure>
FIG. 9 is a flowchart showing a processing procedure of mobile terminal device 10 according to the present embodiment. The following steps are realized by the CPU 102 of the mobile terminal device 10 executing a program stored in the memory 104. Here, the user of the mobile terminal device 10 holds the casing of the mobile terminal device 10 while viewing the TV program (that is, the partial image Pa) transmitted from the server 30 to the electronic device 20 on the display 206. Assume a scene. Further, it is assumed that the electronic device 20 is a stationary type, and the direction of the display surface of the display 206 (direction information Da) does not change.

図９を参照して、ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０と電子機器２０との通信を認証するための操作を受け付けたか否かを判断する（ステップＳ５０）。具体的には、ＣＰＵ１０２は、当該通信を認証するための処理を開始する開始ボタンをタッチパネル１１０に表示する。ＣＰＵ１０２は、開始ボタンをユーザが選択した場合には、当該操作を受け付けたと判断する。たとえば、ユーザは、現在視認しているディスプレイ２０６に表示されている画像（部分画像Ｐａ）の周辺画像を視認したい場合には開始ボタンをタッチする。   Referring to FIG. 9, CPU 102 determines whether an operation for authenticating communication between portable terminal device 10 and electronic device 20 has been accepted via touch panel 110 (step S50). Specifically, CPU 102 displays on touch panel 110 a start button for starting a process for authenticating the communication. When the user selects the start button, the CPU 102 determines that the operation has been accepted. For example, when the user wants to visually recognize the peripheral image of the image (partial image Pa) displayed on the display 206 that is currently visually recognized, the user touches the start button.

ＣＰＵ１０２は、当該操作を受け付けていない場合には（ステップＳ５０においてＮＯ）、ステップＳ５０の処理を繰り返す。一方、ＣＰＵ１０２は、当該操作を受け付けた場合には（ステップＳ５０においてＹＥＳ）、電子機器２０の向きを示す方向情報Ｄａを送信するように要求する（ステップＳ５２）。ＣＰＵ１０２は、電子機器２０から方向情報Ｄａを受信したか否かを判断する（ステップＳ５４）。   CPU102 repeats the process of step S50, when the said operation is not received (in step S50 NO). On the other hand, when the operation is accepted (YES in step S50), the CPU 102 requests to transmit the direction information Da indicating the direction of the electronic device 20 (step S52). The CPU 102 determines whether or not the direction information Da is received from the electronic device 20 (step S54).

ＣＰＵ１０２は、方向情報Ｄａを受信していない場合には（ステップＳ５４においてＮＯ）、ステップＳ５４の処理を繰り返す。一方、ＣＰＵ１０２は、方向情報Ｄａを受信した場合には（ステップＳ５４においてＹＥＳ）、方向センサ１１６を用いて、携帯端末装置１０の向きを示す方向情報Ｄｂを取得する（ステップＳ５６）。ＣＰＵ１０２は、方向情報Ｄａおよび方向情報Ｄｂに基づいて、携帯端末装置１０が向いている方向と電子機器２０が向いている方向とがなす角度θを算出する（ステップＳ５８）。以後、ＣＰＵ１０２は、ユーザが把持している携帯端末装置１０の向きに合わせて角度θを算出していく。   CPU102 repeats the process of step S54, when direction information Da is not received (in step S54 NO). On the other hand, when receiving the direction information Da (YES in step S54), the CPU 102 uses the direction sensor 116 to acquire the direction information Db indicating the direction of the mobile terminal device 10 (step S56). Based on the direction information Da and the direction information Db, the CPU 102 calculates an angle θ formed by the direction in which the mobile terminal device 10 faces and the direction in which the electronic device 20 faces (step S58). Thereafter, the CPU 102 calculates the angle θ according to the direction of the mobile terminal device 10 held by the user.

ＣＰＵ１０２は、角度θに基づいて、携帯端末装置１０と電子機器２０との通信を許可するか否かを判断する（ステップＳ６０）。具体的には、ＣＰＵ１０２は、角度θが基準範囲内である場合には当該通信を許可すると判断し、角度θが基準範囲外である場合には当該通信を禁止すると判断する。なお、ＣＰＵ１０２は、所定時間以内に角度θが基準範囲内にならない場合に当該通信を禁止すると判断してもよい。ユーザは、携帯端末装置１０と電子機器２０との通信を確立するために、タッチパネル１１０およびディスプレイ２０６の表示面の向きを一致させるように携帯端末装置１０を動かす必要がある。   The CPU 102 determines whether to permit communication between the mobile terminal device 10 and the electronic device 20 based on the angle θ (step S60). Specifically, the CPU 102 determines that the communication is permitted when the angle θ is within the reference range, and determines that the communication is prohibited when the angle θ is outside the reference range. Note that the CPU 102 may determine that the communication is prohibited when the angle θ does not fall within the reference range within a predetermined time. In order to establish communication between the mobile terminal device 10 and the electronic device 20, the user needs to move the mobile terminal device 10 so that the orientations of the display surfaces of the touch panel 110 and the display 206 coincide.

当該通信が禁止された場合には（ステップＳ６０においてＮＯ）、ＣＰＵ１０２は、携帯端末装置１０と電子機器２０との通信の認証が失敗したことを示す画像をタッチパネル１１０に表示して（ステップＳ６２）、処理を終了する。一方、当該通信が許可された場合には（ステップＳ６０においてＹＥＳ）、ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０の向きを確定させるための確定入力を受け付けたか否かを判断する（ステップＳ６４）。   When the communication is prohibited (NO in step S60), the CPU 102 displays an image indicating that the authentication of communication between the mobile terminal device 10 and the electronic device 20 has failed on the touch panel 110 (step S62). The process is terminated. On the other hand, when the communication is permitted (YES in step S60), CPU 102 determines whether or not a confirmation input for confirming the orientation of portable terminal device 10 has been accepted via touch panel 110 (step S60). S64).

確定入力を受け付けた場合には（ステップＳ６４においてＹＥＳ）、ＣＰＵ１０２は後述するステップＳ７４以降の処理を実行する。一方、確定入力を受け付けていない場合には（ステップＳ６４においてＮＯ）、ＣＰＵ１０２は現時点での角度θをサーバ３０に送信する（ステップＳ６６）。   When the confirmation input is accepted (YES in step S64), CPU 102 executes processing subsequent to step S74 described later. On the other hand, if the confirmation input has not been received (NO in step S64), CPU 102 transmits the current angle θ to server 30 (step S66).

ＣＰＵ１０２は、サーバ３０により全方位画像から抽出された部分画像Ｐｂをサーバ３０から受信する（ステップＳ６８）。サーバ３０は、部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更した撮像方位の画像を部分画像Ｐｂとして全方位画像から抽出する。   The CPU 102 receives the partial image Pb extracted from the omnidirectional image by the server 30 from the server 30 (step S68). The server 30 extracts, from the omnidirectional image, the partial image Pb as the partial image Pb, which is obtained by changing the imaging direction associated with the partial image Pa by the angle θ.

ＣＰＵ１０２は、サーバ３０から受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ７０）。ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０と電子機器２０との通信を終了させるための終了指示をユーザから受け付けたか否かを判断する（ステップＳ７２）。たとえば、ユーザは、ディスプレイ２０６の周辺画像の視認を終了したい場合には当該通信を終了させる指示を与える。   The CPU 102 displays the partial image Pb received from the server 30 on the touch panel 110 (step S70). The CPU 102 determines whether or not an end instruction for terminating communication between the mobile terminal device 10 and the electronic device 20 has been received from the user via the touch panel 110 (step S72). For example, when the user wants to end the viewing of the peripheral image on the display 206, the user gives an instruction to end the communication.

ＣＰＵ１０２は、終了指示を受け付けていない場合には（ステップＳ７２においてＮＯ）、ステップＳ６４からの処理を実行する。一方、ＣＰＵ１０２は、終了指示を受け付けた場合には（ステップＳ７２においてＹＥＳ）、処理を終了する。   When CPU 102 has not received an end instruction (NO in step S72), CPU 102 executes the processing from step S64. On the other hand, when CPU 102 receives an end instruction (YES in step S72), CPU 102 ends the process.

次に、ステップＳ７４からの処理について説明する。ステップＳ７４において、ＣＰＵ１０２は、方向情報Ｄａと、携帯端末装置１０の向きを確定させる確定入力を受け付けたときに方向センサ１１６により取得されていた方向情報Ｄｂとに基づいて角度θを算出し、この角度θをサーバ３０に送信する。そして、ＣＰＵ１０２は、部分画像Ｐｂをサーバ３０から受信して（ステップＳ７６）、受信した部分画像Ｐｂをタッチパネル１１０に表示する（ステップＳ７８）。   Next, the process from step S74 will be described. In step S <b> 74, the CPU 102 calculates the angle θ based on the direction information Da and the direction information Db acquired by the direction sensor 116 when receiving a confirmation input for determining the direction of the mobile terminal device 10. The angle θ is transmitted to the server 30. The CPU 102 receives the partial image Pb from the server 30 (step S76), and displays the received partial image Pb on the touch panel 110 (step S78).

具体的には、ユーザが確定入力を行なった場合には、確定入力後に携帯端末装置１０を動かしたとしても、ＣＰＵ１０２は、確定入力を受け付けたときの方向情報Ｄｂと方向情報Ｄａとに基づいて角度θを算出する。また、ユーザが確定入力を行なった場合には、方向情報Ｄａが変化しないため、角度θは固定されることになる。たとえば、当該確定入力により角度θが６０°で固定されており、部分画像Ｐａに関連付けられた撮像方位が６０°〜１２０°で固定されているとする。この場合、ユーザが携帯端末装置１０を動かしたとしても、撮像方位が１２０°〜１８０°の部分画像Ｐｂがタッチパネル１１０に表示され続けることになる。そのため、ユーザは、タッチパネル１１０に表示されている画像の視点で固定したい場合には、上記の確定入力を行なえばよい。これにより、ユーザは、携帯端末装置１０を動かしても所望の視点からの画像を視認し続けることができる。   Specifically, when the user performs a confirmation input, even if the mobile terminal device 10 is moved after the confirmation input, the CPU 102 is based on the direction information Db and the direction information Da when the confirmation input is received. The angle θ is calculated. In addition, when the user makes a definite input, the direction information Da does not change, so the angle θ is fixed. For example, it is assumed that the angle θ is fixed at 60 ° by the fixed input, and the imaging direction associated with the partial image Pa is fixed at 60 ° to 120 °. In this case, even if the user moves the mobile terminal device 10, the partial image Pb having an imaging orientation of 120 ° to 180 ° continues to be displayed on the touch panel 110. For this reason, when the user wants to fix the viewpoint of the image displayed on the touch panel 110, the user may perform the above-described definite input. Thereby, even if the user moves the mobile terminal device 10, the user can continue to visually recognize an image from a desired viewpoint.

ＣＰＵ１０２は、タッチパネル１１０を介して、携帯端末装置１０の向きの確定を解除する指示を受け付けたか否かを判断する（ステップＳ８０）。ユーザは、タッチパネル１１０で表示されている画像の視点を変更したい場合には、当該指示を与える。ＣＰＵ１０２は、当該指示を受け付けていない場合には（ステップＳ８０においてＮＯ）、ステップＳ７４からの処理を実行する。一方、ＣＰＵ１０２は、当該指示を受け付けた場合には（ステップＳ８０においてＹＥＳ）、携帯端末装置１０の向きの確定を解除して（ステップＳ８２）、ステップＳ７２からの処理を実行する。   The CPU 102 determines whether or not an instruction for canceling the confirmation of the orientation of the mobile terminal device 10 has been received via the touch panel 110 (step S80). When the user wants to change the viewpoint of the image displayed on the touch panel 110, the user gives the instruction. If CPU 102 has not received the instruction (NO in step S80), CPU 102 executes the processing from step S74. On the other hand, when CPU 102 receives the instruction (YES in step S80), CPU 102 cancels confirmation of the orientation of portable terminal device 10 (step S82), and executes the processing from step S72.

上記処理によると、タッチパネル１１０には、部分画像Ｐａに関連付けられた撮像方位から角度θだけ変更した撮像方位の画像（部分画像Ｐｂ）が表示される。ここで、部分画像Ｐａに関連付けられた撮像方位が一定である場合（たとえば、管理者が一定の撮像方位の画像を全方位画像から抽出するようにサーバ３０に指示している場合）には、ユーザは、携帯端末装置１０を動かすことにより、所望の周辺画像を視認することができる。   According to the above process, the touch panel 110 displays an image (partial image Pb) having an imaging direction that is changed by an angle θ from the imaging direction associated with the partial image Pa. Here, when the imaging orientation associated with the partial image Pa is constant (for example, when the administrator instructs the server 30 to extract an image with a constant imaging orientation from the omnidirectional image), The user can visually recognize a desired peripheral image by moving the mobile terminal device 10.

ただし、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化する場合には、仮にユーザが携帯端末装置１０を固定（すなわち、角度θを固定）していたとしても、タッチパネル１１０に表示される画像の視点も頻繁に変化する。たとえば、時刻Ｔ１では部分画像Ｐａに関連付けられた撮像方位が６０°〜１２０°、時刻Ｔ２では当該撮像方位が３０°〜９０°であり、かつ、時刻Ｔ１〜時刻Ｔ２の間、ユーザは携帯端末装置１０を角度θ＝６０°になるように固定していたとする。この場合、時刻Ｔ１では、タッチパネル１１０には撮像方位が１２０°〜１８０°の部分画像Ｐｂが表示されるが、時刻Ｔ２では撮像方位が９０°〜１５０°の部分画像Ｐｂが表示されてしまう。そのため、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化する場合には、ユーザが望む撮像方位の画像をタッチパネル１１０に表示しにくくなる可能性がある。   However, if the imaging orientation associated with the partial image Pa changes frequently, the image displayed on the touch panel 110 even if the user fixes the mobile terminal device 10 (that is, the angle θ is fixed). The point of view also changes frequently. For example, at time T1, the imaging azimuth associated with the partial image Pa is 60 ° to 120 °, at time T2, the imaging azimuth is 30 ° to 90 °, and the user is a portable terminal between time T1 and time T2. It is assumed that the apparatus 10 is fixed so that the angle θ = 60 °. In this case, at time T1, a partial image Pb with an imaging orientation of 120 ° to 180 ° is displayed on the touch panel 110, but at time T2, a partial image Pb with an imaging orientation of 90 ° to 150 ° is displayed. Therefore, when the imaging orientation associated with the partial image Pa frequently changes, it may be difficult to display an image of the imaging orientation desired by the user on the touch panel 110.

そこで、ＣＰＵ１０２は、携帯端末装置１０と電子機器２０との通信が許可されたときの時刻情報を角度θとともに送信してもよい。この場合、サーバ３０は、当該通信が許可されたときに電子機器２０で表示されていた部分画像Ｐａに関連付けられた撮像方位（たとえば、６０°〜１２０°）と角度θとに基づいて、全方位画像から部分画像Ｐｂを抽出する。これにより、当該通信が許可されたときの時刻以降に、部分画像Ｐａに関連付けられた撮像方位が頻繁に変化したとしても、ユーザが携帯端末装置１０を固定（角度θを固定：たとえば６０°）している限り、タッチパネル１１０には一定の撮像方位（１２０°〜１８０°）の部分画像Ｐｂが表示される。そのため、ユーザは、携帯端末装置１０を動かすことにより、所望の周辺画像を視認し易くなる。   Thus, the CPU 102 may transmit time information together with the angle θ when communication between the mobile terminal device 10 and the electronic device 20 is permitted. In this case, the server 30 determines all the images based on the imaging direction (for example, 60 ° to 120 °) and the angle θ associated with the partial image Pa displayed on the electronic device 20 when the communication is permitted. A partial image Pb is extracted from the orientation image. Thereby, even if the imaging azimuth associated with the partial image Pa frequently changes after the time when the communication is permitted, the user fixes the mobile terminal device 10 (fixes the angle θ: 60 °, for example). As long as the partial image Pb is displayed on the touch panel 110 in a certain imaging direction (120 ° to 180 °). Therefore, the user can easily view a desired peripheral image by moving the mobile terminal device 10.

＜その他の実施の形態＞
部分画像Ｐａ，Ｐｂには撮像方位以外の情報が関連付けられていてもよい。たとえば、サーバ３０の管理者は、部分画像Ｐａ，Ｐｂをどの倍率で、それぞれ電子機器２０および携帯端末装置１０に表示させるのかを設定できるように構成されていてもよい。 <Other embodiments>
Information other than the imaging direction may be associated with the partial images Pa and Pb. For example, the administrator of the server 30 may be configured to be able to set the magnification at which the partial images Pa and Pb are displayed on the electronic device 20 and the mobile terminal device 10, respectively.

なお、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。   It is also possible to provide a program that causes a computer to function and execute control as described in the above flowchart. Such a program is recorded on a non-temporary computer-readable recording medium such as a flexible disk attached to the computer, a CD-ROM (Compact Disk Read Only Memory), a ROM, a RAM, and a memory card as a program product. It can also be provided. Alternatively, the program can be provided by being recorded on a recording medium such as a hard disk built in the computer. A program can also be provided by downloading via a network.

プログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。   The program may be a program module that is provided as a part of an operating system (OS) of a computer and that calls necessary modules in a predetermined arrangement at a predetermined timing to execute processing. In that case, the program itself does not include the module, and the process is executed in cooperation with the OS. A program that does not include such a module can also be included in the program according to the present embodiment.

上述の実施の形態として例示した構成は、本発明の構成の一例であり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、一部を省略する等、変更して構成することも可能である。   The configuration illustrated as the above-described embodiment is an example of the configuration of the present invention, and can be combined with another known technique, and a part of the configuration is omitted without departing from the gist of the present invention. It is also possible to change the configuration.

＜実施の形態の効果＞
本実施の形態によると、電子機器のディスプレイに表示されているスポーツなどの動的なコンテンツを視認しつつ、その周辺画像を視認することができる。また、携帯端末装置を動かすだけで所望の撮像方位の周辺画像を視認することができる。そのため、撮像方位を指定するためのユーザの労力が少ない。 <Effect of Embodiment>
According to the present embodiment, it is possible to visually recognize the surrounding image while visually recognizing dynamic content such as sports displayed on the display of the electronic device. Further, it is possible to visually recognize a peripheral image in a desired imaging direction simply by moving the mobile terminal device. Therefore, the user's labor for designating the imaging direction is small.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１０ 携帯端末装置、２０ 電子機器、３０ サーバ、４０ 全方位カメラ、１０２，２０２，３０２ ＣＰＵ、１０４，２０４，３０４ メモリ、１０６ タッチセンサ、１０８，２０６ ディスプレイ、１１０ タッチパネル、１１２ 無線通信部、１１３ 通信アンテナ、１１４ メモリインターフェイス、１１５ 記憶媒体、１１６，２１２ 方向センサ、１５０ 端末通信部、１５２，２５４ 方向取得部、１５４ 算出部、１５６ 認証部、１５８，２５２ 表示制御部、２０８，３０６ 通信インターフェイス、２１０ チューナ、２５０ 機器通信部、３０８ 入力インターフェイス、３５０ サーバ通信部、３５２ 第１の抽出部、３５４ 第２の抽出部。   10 mobile terminal device, 20 electronic device, 30 server, 40 omnidirectional camera, 102, 202, 302 CPU, 104, 204, 304 memory, 106 touch sensor, 108, 206 display, 110 touch panel, 112 wireless communication unit, 113 communication Antenna, 114 Memory interface, 115 Storage medium, 116,212 Direction sensor, 150 Terminal communication unit, 152,254 Direction acquisition unit, 154 Calculation unit, 156 Authentication unit, 158,252 Display control unit, 208,306 Communication interface, 210 Tuner, 250 device communication unit, 308 input interface, 350 server communication unit, 352 first extraction unit, 354 second extraction unit.

Claims (5)

携帯端末装置であって、
前記携帯端末装置は、予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像と前記カメラによる撮像方位とを関連付けて記憶するサーバ、および、前記サーバから送信された前記撮像画像の第１の部分画像を表示する電子機器と通信可能に構成されており、
前記電子機器が向いている方向を示す第１の方向情報を前記電子機器から受信する方向受信手段と、
前記携帯端末装置が向いている方向を示す第２の方向情報を取得する方向取得手段と、
前記第１および第２の方向情報に基づいて、前記電子機器が向いている方向と前記携帯端末装置が向いている方向とがなす角度を算出する算出手段と、
前記角度を前記サーバに送信する送信手段と、
前記角度と前記第１の部分画像に関連付けられた撮像方位とに基づいて前記サーバにより前記撮像画像から抽出された第２の部分画像を、前記サーバから受信する画像受信手段と、
前記第２の部分画像を表示する表示手段とを備える、携帯端末装置。 A portable terminal device,
The portable terminal device stores a captured image captured by a camera capable of capturing a predetermined azimuth angle range and an imaging orientation by the camera in association with each other, and the captured image transmitted from the server. It is configured to be able to communicate with an electronic device that displays the first partial image,
Direction receiving means for receiving, from the electronic device, first direction information indicating a direction in which the electronic device is facing;
Direction acquisition means for acquiring second direction information indicating a direction in which the mobile terminal device is facing;
Calculation means for calculating an angle formed by the direction in which the electronic device is facing and the direction in which the mobile terminal device is facing based on the first and second direction information;
Transmitting means for transmitting the angle to the server;
Image receiving means for receiving, from the server, a second partial image extracted from the captured image by the server based on the angle and an imaging orientation associated with the first partial image;
A portable terminal device comprising: display means for displaying the second partial image. 前記算出手段により算出された前記角度が予め定められた範囲内である場合に、前記携帯端末装置と前記電子機器との通信を許可する認証手段をさらに含み、
前記認証手段により前記通信が許可された場合に、前記送信手段は、前記角度を前記サーバに送信する、請求項１に記載の携帯端末装置。 If the angle calculated by the calculation means is within a predetermined range, further comprising an authentication means for permitting communication between the mobile terminal device and the electronic device,
The portable terminal device according to claim 1, wherein when the communication is permitted by the authentication unit, the transmission unit transmits the angle to the server. 前記認証手段により前記通信が許可された場合に、前記送信手段は、前記認証手段により通信が許可された時刻情報を前記サーバにさらに送信し、
前記画像受信手段は、前記通信が許可されたときに前記電子機器により表示されていた前記第１の部分画像に関連付けられた撮像方位と前記角度とに基づいて前記サーバにより抽出された前記第２の部分画像を、前記サーバから受信する、請求項２に記載の携帯端末装置。 When the communication is permitted by the authentication means, the transmission means further transmits to the server the time information that the communication is permitted by the authentication means,
The image receiving means is the second extracted by the server based on the imaging azimuth and the angle associated with the first partial image displayed by the electronic device when the communication is permitted. The mobile terminal device according to claim 2, wherein the partial image is received from the server. 前記算出手段は、前記携帯端末装置が向いている方向を確定させる入力を受け付けたときに前記方向取得手段により取得されていた前記第２の方向情報を、前記携帯端末装置が向いている方向として確定させて、前記第１の方向情報と前記確定された前記第２の方向情報とに基づいて前記角度を算出する、請求項１〜３のいずれか１項に記載の携帯端末装置。   The calculation means uses the second direction information acquired by the direction acquisition means when receiving an input for determining a direction in which the mobile terminal apparatus is facing as a direction in which the mobile terminal apparatus is facing. The portable terminal device according to claim 1, wherein the angle is determined and the angle is calculated based on the first direction information and the determined second direction information. 電子機器および携帯端末装置を備える表示システムであって、
前記電子機器は、
予め定められた方位角範囲を撮像可能なカメラで撮像された撮像画像と前記カメラによる撮像方位とを関連付けて記憶するサーバから送信された、前記撮像画像の第１の部分画像を受信する第１の画像受信手段と、
前記第１の部分画像を表示する第１の表示手段と、
前記電子機器が向いている方向を示す第１の方向情報を取得する第１の方向取得手段と、
前記第１の方向情報を前記携帯端末装置に送信する機器送信手段とを含み、
前記携帯端末装置は、
前記機器送信手段から送信された前記第１の方向情報を受信する方向受信手段と、
前記携帯端末装置が向いている方向を示す第２の方向情報を取得する第２の方向取得手段と、
前記第１および第２の方向情報に基づいて、前記電子機器が向いている方向と前記携帯端末装置が向いている方向とがなす角度を算出する算出手段と、
前記角度を前記サーバに送信する端末送信手段と、
前記角度と前記第１の部分画像に関連付けられた撮像方位とに基づいて前記サーバにより前記撮像画像から抽出された第２の部分画像を、前記サーバから受信する第２の画像受信手段と、
前記第２の部分画像を表示する第２の表示手段とを含む、表示システム。 A display system comprising an electronic device and a mobile terminal device,
The electronic device is
A first part that receives a first partial image of the captured image transmitted from a server that stores a captured image captured by a camera capable of capturing a predetermined azimuth range and an imaging azimuth of the camera in association with each other. Image receiving means,
First display means for displaying the first partial image;
First direction acquisition means for acquiring first direction information indicating a direction in which the electronic device is facing;
Device transmitting means for transmitting the first direction information to the portable terminal device,
The portable terminal device
Direction receiving means for receiving the first direction information transmitted from the device transmitting means;
Second direction acquisition means for acquiring second direction information indicating a direction in which the mobile terminal device is facing;
Calculation means for calculating an angle formed by the direction in which the electronic device is facing and the direction in which the mobile terminal device is facing based on the first and second direction information;
Terminal transmission means for transmitting the angle to the server;
Second image receiving means for receiving, from the server, a second partial image extracted from the captured image by the server based on the angle and the imaging orientation associated with the first partial image;
And a second display means for displaying the second partial image.
JP2014178254A 2014-09-02 2014-09-02 Portable terminal equipment and display system Pending JP2016051449A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014178254A JP2016051449A (en) 2014-09-02 2014-09-02 Portable terminal equipment and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014178254A JP2016051449A (en) 2014-09-02 2014-09-02 Portable terminal equipment and display system

Publications (1)

Publication Number Publication Date
JP2016051449A true JP2016051449A (en) 2016-04-11

Family

ID=55658870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014178254A Pending JP2016051449A (en) 2014-09-02 2014-09-02 Portable terminal equipment and display system

Country Status (1)

Country Link
JP (1) JP2016051449A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033311A1 (en) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 Image processing apparatus and virtual reality device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033311A1 (en) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 Image processing apparatus and virtual reality device
CN114077410A (en) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 Image processing device and virtual reality equipment

Similar Documents

Publication Publication Date Title
JP6075066B2 (en) Image management system, image management method, and program
WO2017056942A1 (en) Image processing device, imaging device, image processing method, and program
CN108702445B (en) Image display method, electronic equipment and computer readable storage medium
US10666898B2 (en) Communication management system, communication system, and communication method
KR20120092496A (en) Information processing device, information processing method, program, and information processing system
JP6524706B2 (en) Display control method, display control program, and information processing apparatus
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
KR102501713B1 (en) Method for displaying an image and an electronic device thereof
US20210176409A1 (en) Electronic device and method of controlling electronic device
JP6428152B2 (en) Portrait right protection program, information communication device, and portrait right protection method
CN113377647A (en) Page processing method, device, server, terminal and readable storage medium
JP6688485B2 (en) Service providing system, service transfer system, service providing method, and program
US11128623B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US11076010B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
JP2016051449A (en) Portable terminal equipment and display system
CN111147745B (en) Shooting method, shooting device, electronic equipment and storage medium
CN110121027B (en) Image processing method and terminal
CN108885653B (en) Service providing system, service delivery system, service providing method, and program
JP2023140702A (en) Display terminal, communication system, display method, communication method, and program
JP2023137080A (en) Display terminal, display method, imaging device, photographing method, information processing system, information processing method, communication system, communication method, and program