JP2017156830A

JP2017156830A - Display device

Info

Publication number: JP2017156830A
Application number: JP2016037319A
Authority: JP
Inventors: 真生大畑; Maki Ohata; 真滝本; Makoto Takimoto; 真治木村; Shinji Kimura
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2016-02-29
Filing date: 2016-02-29
Publication date: 2017-09-07
Anticipated expiration: 2036-02-29
Also published as: JP6639954B2

Abstract

PROBLEM TO BE SOLVED: To provide a display device in which a display region can be easily changed.SOLUTION: A display control unit 104 displays content in an area determined based on a reference position and a reference direction (for example, an area AR1), a bending detection unit 102 detects the bent state of a display unit 101, and the display control unit 104 displays the content of the area changed based on the bent state. In this manner, the area is changed based on the bent state of the display unit 101 in accordance with the bending operation of a user; therefore, the area can be changed by a simple operation. Since the area is changed in accordance with the bending operation, the display region can be changed by an intuitive operation.SELECTED DRAWING: Figure 2

Description

本発明は、表示領域を変更可能な表示装置に関する。 The present invention relates to a display device capable of changing a display area.

近年、ユーザの現在位置等の基準となる位置周囲の映像を表示する技術がある。例えば、拡張現実感（ＡＲ：Augmented Reality）と呼ばれる技術が考えられている。この拡張現実感という技術によれば、実際の映像に、その映像に映し出されている物体を説明するためのオブジェクトを重畳表示することにより、ユーザに対して様々なコンテンツを提供することができる。特許文献１には、ＡＲ技術についての記載があり、この文献においては、実世界に映し出されているオブジェクトと実世界の映像の視点との間の距離に基づいて、重畳表示の方法を変えることの記載がある。 2. Description of the Related Art In recent years, there is a technique for displaying an image around a position serving as a reference such as a user's current position. For example, a technique called augmented reality (AR) is considered. According to this technology called augmented reality, various contents can be provided to a user by superimposing and displaying an object for explaining an object shown in the video on an actual video. Patent Document 1 describes the AR technology. In this document, the method of superimposed display is changed based on the distance between an object displayed in the real world and the viewpoint of the real-world video. Is described.

国際公開２０１０／０７３６１６号パンフレットInternational Publication 2010/073616 Pamphlet

ところで、基準となる位置周囲の映像を表示している場合、ユーザが視認できる領域を広げるために、ある一定の方向（例えば、ユーザから見て正面）だけでなく、他の方向の映像も含めるように表示対象（例えば、映像）の領域を簡単に変更することが望まれる。 By the way, when displaying images around the reference position, not only a certain direction (for example, the front as viewed from the user) but also images in other directions are included in order to widen the area visible to the user. As described above, it is desirable to easily change the area of the display target (for example, video).

そこで、簡単に表示対象の領域を変更することができる表示装置を提供することを目的とする。 Accordingly, an object of the present invention is to provide a display device capable of easily changing the display target area.

上述の課題を解決するために、本発明の表示装置は、表示画面を曲げることが可能に構成され、予め定めた領域に対応する空間コンテンツを表示する表示手段と、表示手段の曲げ状態を検出する検出手段と、検出手段により検出された曲げ状態に基づいて領域を変更した空間コンテンツを表示画面に表示させる表示制御手段と、を備える。 In order to solve the above-described problems, a display device according to the present invention is configured to be able to bend a display screen, and displays display means for displaying spatial content corresponding to a predetermined area, and detects the bending state of the display means. And a display control means for displaying on the display screen the spatial content whose area has been changed based on the bending state detected by the detection means.

この発明によれば、表示手段の曲げ状態に基づいて領域を変更した空間コンテンツを表示するので、簡単に表示対象の領域を変更した空間コンテンツを表示させることができる。 According to the present invention, since the spatial content whose area has been changed based on the bending state of the display means is displayed, the spatial content whose area to be displayed has been easily changed can be displayed.

また、この表示装置において、表示制御手段は、検出手段により表示手段が谷方向に曲げられたことが検出された場合、領域を広げた空間コンテンツを表示画面に表示させてもよい。 Further, in this display device, the display control means may display the spatial content with an expanded area on the display screen when the detection means detects that the display means is bent in the valley direction.

この発明によれば、谷方向に曲げられた場合に、領域を広げた空間コンテンツを表示させるので、簡単に領域を変更した空間コンテンツを変更させることができる。 According to the present invention, when the content is bent in the valley direction, the spatial content with the expanded area is displayed, so that the spatial content with the changed area can be easily changed.

また、この表示装置において、表示制御手段は、検出手段により検出された曲げ状態に基づいて表示角度を変更した空間コンテンツを表示画面に表示させてもよい。 In this display device, the display control means may display the spatial content whose display angle is changed based on the bending state detected by the detection means on the display screen.

この発明によれば、曲げ状態により表示角度を変更した空間コンテンツを表示させるので、簡単に曲げられた方向の空間コンテンツを表示することができる。 According to the present invention, since the spatial content whose display angle is changed according to the bending state is displayed, the spatial content in the direction bent easily can be displayed.

また、この表示装置において、検出手段により検出された曲げ状態に基づいて、表示手段と、ユーザとの位置関係を特定する位置関係特定手段をさらに備え、表示制御手段は、位置関係特定手段により特定された位置関係に基づいた空間コンテンツを表示させてもよい。 The display device further includes a positional relationship specifying means for specifying the positional relationship between the display means and the user based on the bending state detected by the detecting means, and the display control means is specified by the positional relationship specifying means. Spatial content based on the positional relationship may be displayed.

この発明によれば、ユーザとの位置関係を考慮して空間コンテンツの領域を変更するので、簡単にユーザの視野を考慮した空間コンテンツを表示させることができる。 According to the present invention, since the area of the spatial content is changed in consideration of the positional relationship with the user, it is possible to easily display the spatial content in consideration of the user's visual field.

本発明によれば、簡単に表示領域を変更することができる。 According to the present invention, the display area can be easily changed.

表示装置１００の外観を示す外観図である。2 is an external view illustrating an external appearance of a display device 100. 本実施形態の表示装置１００の機能を示すブロック図である。It is a block diagram which shows the function of the display apparatus 100 of this embodiment. 表示装置１００のハードウェア構成図である。2 is a hardware configuration diagram of the display device 100. FIG. ユーザとの距離を算出する方法を説明する図である。It is a figure explaining the method of calculating the distance with a user. 表示領域を変更する例（１）を示す図である。It is a figure which shows the example (1) which changes a display area. 表示領域を変更する例（２）を示す図である。It is a figure which shows the example (2) which changes a display area. 表示装置１００の処理内容を示すフローチャートである。3 is a flowchart showing processing contents of the display device 100.

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。 Embodiments of the present invention will be described with reference to the accompanying drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.

図１は、本実施形態の表示装置１００（表示装置）の外観を示す外観図である。表示装置１００は、折り曲げ線Ｌ１及び折り曲げ線Ｌ２に沿って、手前側（谷方向）へ折り曲げることができる表示手段である表示部１０１（表示部１０１ａ〜表示部１０１ｃ）を備える、いわゆるフレキシブルディスプレイである。なお、表示装置１００の裏面に、表示部１０１を折り畳むための機構（例えば、ヒンジ等）を備えており、折り曲げ線Ｌ１及び折り曲げ線Ｌ２に沿って折り曲げることができる。また、表示部１０１ａ〜表示部１０１ｃのそれぞれの上端中央部(位置Ｐ１〜Ｐ３)にインカメラを備えている。また、表示装置１００は、ユーザの操作要求に応じて、所定位置に応じた画面（例えば、地図画面）を表示する。また、表示装置１００は、当該画面中の任意の位置（基準位置）及び方向（基準方向）をユーザ入力等により設定すると、当該地図画面中の任意の位置における当該方向の画像（空間コンテンツ）を表示部１０１（表示画面）に表示する。ここで空間コンテンツとは、基準位置及び基準方向に基づく空間的な内容を示す画像であり、例えば、実世界の画像や三次元の地図等である。なお、当該方向は、ユーザ入力により設定する代わりに、予め定めておいてもよい（例えば、表示中の地図画面の下から上方向等）。これらの画面及び画像は、ネットワークを介してサーバ装置から取得した情報である。サーバ装置は、位置と、方向と、表示範囲を示す角度と、画像とを対応付けて記憶している。表示装置１００から位置、方向及び角度を受信すると共に、画像送信要求を受信すると、当該位置、方向及び角度に対応する画像を表示装置１００へ送信する。また、サーバ装置は、表示装置１００から位置及び方向を受信すると共に画像送信要求を受信した場合、当該位置と、角度と、予めデフォルト値としてサーバ装置で記憶している角度とに対応する画像を表示装置１００へ送信する。 FIG. 1 is an external view showing an external appearance of a display device 100 (display device) of the present embodiment. The display device 100 is a so-called flexible display including a display unit 101 (display unit 101a to display unit 101c) that is a display unit that can be bent toward the near side (valley direction) along the fold line L1 and the fold line L2. is there. Note that a mechanism (for example, a hinge or the like) for folding the display unit 101 is provided on the back surface of the display device 100 and can be folded along the folding line L1 and the folding line L2. In addition, an in-camera is provided at each of the upper-end central portions (positions P1 to P3) of the display units 101a to 101c. Further, the display device 100 displays a screen (for example, a map screen) according to a predetermined position in response to a user operation request. Further, when an arbitrary position (reference position) and direction (reference direction) in the screen are set by a user input or the like, the display device 100 displays an image (spatial content) in the direction at an arbitrary position in the map screen. It is displayed on the display unit 101 (display screen). Here, the spatial content is an image indicating spatial contents based on the reference position and the reference direction, and is, for example, a real-world image, a three-dimensional map, or the like. Note that the direction may be determined in advance instead of being set by a user input (for example, upward from the bottom of the map screen being displayed). These screens and images are information acquired from the server device via the network. The server device stores a position, a direction, an angle indicating a display range, and an image in association with each other. When the position, direction, and angle are received from the display device 100 and an image transmission request is received, an image corresponding to the position, direction, and angle is transmitted to the display device 100. When the server apparatus receives the position and direction from the display apparatus 100 and receives an image transmission request, the server apparatus displays an image corresponding to the position, the angle, and the angle stored in the server apparatus in advance as a default value. It transmits to the display device 100.

図２は、本実施形態の表示装置１００の機能を示すブロック図である。図２に示されている通り、この表示装置１００は、表示部１０１、曲げ検出部１０２（検出手段）、位置関係特定部１０３（位置関係特定手段）、及び表示制御部１０４（表示制御手段）を含んで構成されている。 FIG. 2 is a block diagram illustrating functions of the display device 100 according to the present embodiment. As shown in FIG. 2, the display device 100 includes a display unit 101, a bending detection unit 102 (detection unit), a positional relationship identification unit 103 (positional relationship identification unit), and a display control unit 104 (display control unit). It is comprised including.

図３は、表示装置１００のハードウェア構成図である。図２に示される表示装置１００は、物理的には、図３に示すように、一又は複数のＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、タッチパネル等の入力デバイスである入力装置１４、上記のインカメラ等であるカメラ１５、ディスプレイ等の出力装置１６、ネットワークカード等のデータ送受信デバイスである通信モジュール１７、半導体メモリ等の補助記憶装置１８、ディスプレイの曲げ状態を検出する曲げセンサ１９などを含むコンピュータシステムとして構成されている。図２において説明した各機能は、図４に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、カメラ１５、出力装置１６、通信モジュール１７、及び曲げセンサ１９を動作させるとともに、ＲＡＭ１２や補助記憶装置１８におけるデータの読み出し及び書き込みを行うことで実現される。以下、図２に示す機能ブロックに基づいて、各機能ブロックを説明する。 FIG. 3 is a hardware configuration diagram of the display device 100. As shown in FIG. 3, the display device 100 shown in FIG. 2 physically includes one or more CPUs 11, a RAM 12 and a ROM 13 that are main storage devices, an input device 14 that is an input device such as a touch panel, It includes a camera 15 that is an in-camera, an output device 16 such as a display, a communication module 17 that is a data transmission / reception device such as a network card, an auxiliary storage device 18 such as a semiconductor memory, and a bending sensor 19 that detects the bending state of the display. It is configured as a computer system. Each function described in FIG. 2 has the input device 14, the camera 15, the output device 16, and the like under the control of the CPU 11 by reading predetermined computer software on the hardware such as the CPU 11 and the RAM 12 shown in FIG. 4. It is realized by operating the communication module 17 and the bending sensor 19 and reading and writing data in the RAM 12 and the auxiliary storage device 18. Hereinafter, each functional block will be described based on the functional blocks shown in FIG.

表示部１０１は、表示制御部１０４によって取得された画像及び地図画面を表示する部分である。また、表示部１０１は、折り曲げ線Ｌ１及び折り曲げ線Ｌ２に沿って表示画面を曲げることが可能である。また、表示部１０１は、表示部１０１のタッチ面において、ユーザからのタッチ操作を受け付けることができるタッチパネルディスプレイでもよい。 The display unit 101 is a part that displays an image and a map screen acquired by the display control unit 104. The display unit 101 can bend the display screen along the fold line L1 and the fold line L2. The display unit 101 may be a touch panel display that can accept a touch operation from the user on the touch surface of the display unit 101.

曲げ検出部１０２は、表示部１０１の曲げ状態を検出する部分である。曲げ検出部１０２は、折り曲げ線Ｌ１及び折り曲げ線Ｌ２に配置されている曲げセンサ１９の抵抗値をそれぞれ取得し、曲げ状態を検出する。曲げセンサ１９は、曲率に比例して電気抵抗値が変化するものであり、例えば、曲げセンサ１９は、一方向への曲げに対してのみ電気抵抗値が変化するものである。この曲げセンサ１９は、画像の視認の妨げにならないように、表示部１０１の上端又は下端に配置されている（折り曲げ線Ｌ１及び折り曲げ線Ｌ２の端点部分）。曲げ検出部１０２は、上記電気抵抗値と、表示部１０１がどの程度曲げられたかを示す角度情報とを対応付けた情報を記憶しており、当該対応付けた情報を参照して、曲げセンサ１９から取得した電気抵抗値に対応する角度（曲げ状態の情報）を特定する。曲げ検出部１０２は、当該角度を位置関係特定部１０３及び表示制御部１０４へ送出する。 The bending detection unit 102 is a part that detects the bending state of the display unit 101. The bend detection unit 102 acquires the resistance values of the bend sensors 19 arranged at the fold line L1 and the fold line L2, respectively, and detects the bend state. The bending sensor 19 has an electric resistance value that changes in proportion to the curvature. For example, the bending sensor 19 has an electric resistance value that changes only in bending in one direction. The bending sensor 19 is disposed at the upper end or the lower end of the display unit 101 (end points of the folding line L1 and the folding line L2) so as not to hinder the visual recognition of the image. The bend detection unit 102 stores information in which the electrical resistance value is associated with angle information indicating how much the display unit 101 is bent, and the bending sensor 19 is referred to with reference to the associated information. The angle (bending state information) corresponding to the electrical resistance value acquired from the above is specified. The bend detection unit 102 sends the angle to the positional relationship specifying unit 103 and the display control unit 104.

位置関係特定部１０３は、曲げ検出部１０２によって特定された角度に基づいて、表示部１０１と、ユーザとの位置関係を特定する部分である。まず、位置関係特定部１０３は、曲げ検出部１０２から角度を取得する。位置関係特定部１０３は、角度と、各表示部１０１に配置されているインカメラの位置とに基づいて、各表示部１０１間のインカメラの距離を算出する。なお、位置関係特定部１０３は、予め各表示部１０１のインカメラの位置を記憶している。例えば、図４に示すように、位置関係特定部１０３は、各表示部１０１のインカメラの位置Ｐ１〜Ｐ３に基づいて各インカメラ間の距離を算出する。 The positional relationship specifying unit 103 is a part that specifies the positional relationship between the display unit 101 and the user based on the angle specified by the bending detection unit 102. First, the positional relationship specifying unit 103 acquires an angle from the bending detection unit 102. The positional relationship specifying unit 103 calculates the distance between the in-cameras between the display units 101 based on the angle and the position of the in-camera disposed in each display unit 101. Note that the positional relationship specifying unit 103 stores the position of the in-camera of each display unit 101 in advance. For example, as illustrated in FIG. 4, the positional relationship specifying unit 103 calculates the distance between the in-cameras based on the in-camera positions P <b> 1 to P <b> 3 of each display unit 101.

続いて、位置関係特定部１０３は、各表示部１０１に配置されているインカメラを動作させて各表示部１０１のインカメラで撮像されたユーザの画像を取得する。位置関係特定部１０３は、各表示部１０１のインカメラで撮像された画像から共通部分（例えば、ユーザの鼻部分（位置Ｐ４））を特定する。続いて、位置関係特定部１０３は、公知技術である三角測量により、各インカメラとユーザとの距離を算出する。位置関係特定部１０３は、各カメラ間の距離と、カメラとユーザ間の距離とに基づいて、図４に示す角度α及び角度βを特定する。 Subsequently, the positional relationship specifying unit 103 operates the in-camera disposed in each display unit 101 to acquire a user image captured by the in-camera of each display unit 101. The positional relationship specifying unit 103 specifies a common portion (for example, the user's nose portion (position P4)) from the images captured by the in-cameras of the display units 101. Subsequently, the positional relationship specifying unit 103 calculates the distance between each in-camera and the user by triangulation which is a known technique. The positional relationship specifying unit 103 specifies the angle α and the angle β illustrated in FIG. 4 based on the distance between the cameras and the distance between the camera and the user.

このように、位置関係特定部１０３は、表示部１０１とユーザとの位置関係として、図４に示すような角度α及び角度βを特定する。位置関係特定部１０３は、特定した角度αと角度βとを合算した角度γを表示制御部１０４へ送出する。この角度γは、ユーザが表示部１０１から離れていると、角度が小さくなり、ユーザが表示部１０１に近づいていると角度が大きくなる。すなわち、角度γは、ユーザと表示部１０１との位置関係を示す情報となる。 As described above, the positional relationship specifying unit 103 specifies the angle α and the angle β as illustrated in FIG. 4 as the positional relationship between the display unit 101 and the user. The positional relationship specifying unit 103 sends an angle γ obtained by adding the specified angle α and angle β to the display control unit 104. The angle γ decreases when the user is away from the display unit 101, and increases when the user approaches the display unit 101. That is, the angle γ is information indicating the positional relationship between the user and the display unit 101.

表示制御部１０４は、表示部１０１に表示させる画像及び画面を表示制御する部分である。表示制御部１０４は、ユーザ操作により、地図上の画像の表示要求を検出した場合、外部のサーバ（例えば、Ｗｅｂサーバ）に対して基準位置及び基準方向を示す情報を送信し、当該基準位置及び基準方向に対応する画像をサーバから取得し、当該画像を表示部１０１へ出力する。例えば、図５（ａ）に示すように、表示制御部１０４は、表示部１０１の基準位置の前方のエリアであるエリアＡＲ１を表示領域とする画像を取得し、当該画像を表示部１０１へ表示させる。この場合、例えば、図５（ｂ）に示すような画像を表示させる。このように、表示制御部１０４は、基準位置及び基準方向に基づいて、予め定められた領域（エリアＡＲ１）に対応する画像を表示部１０１へ表示させる。すなわち、表示部１０１は、予め定められた領域に対応する画像を表示する。 The display control unit 104 is a part that controls display of images and screens to be displayed on the display unit 101. When the display control unit 104 detects a display request for an image on a map by a user operation, the display control unit 104 transmits information indicating a reference position and a reference direction to an external server (for example, a Web server). An image corresponding to the reference direction is acquired from the server, and the image is output to the display unit 101. For example, as illustrated in FIG. 5A, the display control unit 104 acquires an image whose display area is an area AR <b> 1 that is an area in front of the reference position of the display unit 101, and displays the image on the display unit 101. Let In this case, for example, an image as shown in FIG. 5B is displayed. As described above, the display control unit 104 causes the display unit 101 to display an image corresponding to the predetermined region (area AR1) based on the reference position and the reference direction. That is, the display unit 101 displays an image corresponding to a predetermined area.

また、表示制御部１０４は、上記の図５（ｂ）に示すような画像を表示している状態において、曲げ検出部１０２から取得した角度と、位置関係特定部１０３により特定された角度とに基づいて画像の表示領域を変更する。具体的に、表示制御部１０４は、曲げ検出部１０２から取得した角度と、位置関係特定部１０３により特定された角度とを取得する。続いて、表示制御部１０４は、曲げ検出部１０２から取得した角度及び基準方向（表示部１０１ｂの方向）に基づいて表示部１０１ａ及び表示部１０１ｃが向いている方向を特定する。 In addition, the display control unit 104 sets the angle acquired from the bend detection unit 102 and the angle specified by the positional relationship specifying unit 103 in the state where the image as shown in FIG. Based on this, the display area of the image is changed. Specifically, the display control unit 104 acquires the angle acquired from the bending detection unit 102 and the angle specified by the positional relationship specifying unit 103. Subsequently, the display control unit 104 specifies the direction in which the display unit 101a and the display unit 101c are directed based on the angle acquired from the bending detection unit 102 and the reference direction (the direction of the display unit 101b).

表示制御部１０４は、曲げ検出部１０２から取得した角度が折り曲げ線Ｌ１及び折り曲げ線Ｌ２に沿って表示部１０１が折り曲げられていることを示している場合、表示部１０１a、表示部１０１ｂ、表示部１０１ｃのそれぞれの向きを示す情報と、基準位置と、位置関係特定部１０３により特定された角度とをサーバへ送出する。表示制御部１０４は、これらの情報に基づいた画像をサーバから取得し、取得した情報を表示部１０１へ表示させる。このように、表示制御部１０４は、曲げ検出部１０２から取得した角度に基づいて、複数の表示箇所（表示部１０１a〜表示部１０１ｃの表示面）を特定し、それぞれの表示箇所の表示領域に取得した画像を表示させる。 When the angle acquired from the bending detection unit 102 indicates that the display unit 101 is bent along the folding line L1 and the folding line L2, the display control unit 104 displays the display unit 101a, the display unit 101b, and the display unit. Information indicating the respective directions of 101c, the reference position, and the angle specified by the positional relationship specifying unit 103 are sent to the server. The display control unit 104 acquires an image based on these pieces of information from the server, and causes the display unit 101 to display the acquired information. As described above, the display control unit 104 identifies a plurality of display locations (display surfaces of the display units 101a to 101c) based on the angle acquired from the bending detection unit 102, and displays the display areas of the respective display locations. Display the acquired image.

図５（ｃ）に示すように、表示制御部１０４は、分割されたそれぞれの表示部１０１ａ、表示部１０１ｂ、及び表示部１０１ｃに対応するエリアＡＲ２、エリアＡＲ３、及びエリアＡＲ４のそれぞれを表示領域とする画像を取得し、当該画像をそれぞれの表示部１０１に表示させる。このように、表示制御部１０４は、表示部１０１ｃのそれぞれの向きを示す情報と、基準位置と、位置関係特定部１０３により特定された角度に基づいて、エリアＡＲ２及びエリアＡＲ４のような、表示角度が異なる領域（基準方向とは異なる方向の領域）の画像を取得し、当該画像を表示させる。例えば、図５（ｄ）に示すような画像を表示する。図５（ｄ）に示すように、表示制御部１０４は、一の方向だけでなく、他の方向の画像も表示させる。ここで、エリアＡＲ２、エリアＡＲ３、及びエリアＡＲ４は、位置関係特定部１０３により特定された角度に基づいたエリアとする。すなわち、当該角度が小さい場合には、表示領域が狭くなり、当該角度が大きい場合には、表示領域が広くなることになる。 As shown in FIG. 5C, the display control unit 104 displays each of the area AR2, area AR3, and area AR4 corresponding to each of the divided display unit 101a, display unit 101b, and display unit 101c. And the image is displayed on each display unit 101. As described above, the display control unit 104 displays information such as the area AR2 and the area AR4 based on the information indicating the respective directions of the display unit 101c, the reference position, and the angle specified by the positional relationship specifying unit 103. An image of a region having a different angle (a region in a direction different from the reference direction) is acquired, and the image is displayed. For example, an image as shown in FIG. As shown in FIG. 5D, the display control unit 104 displays not only one direction but also an image in another direction. Here, the area AR2, the area AR3, and the area AR4 are areas based on the angles specified by the positional relationship specifying unit 103. That is, when the angle is small, the display area is narrowed, and when the angle is large, the display area is widened.

このように、表示制御部１０４は、位置関係特定部１０３によって算出された角度に基づいた画像を表示させるので、ユーザと表示部１０１との位置関係によって表示する画像を変化させることになる。すなわち、表示制御部１０４は、ユーザと表示部１０１との位置関係に基づいて表示領域を変更させることになる。 In this way, the display control unit 104 displays an image based on the angle calculated by the positional relationship specifying unit 103, so that the image to be displayed is changed depending on the positional relationship between the user and the display unit 101. That is, the display control unit 104 changes the display area based on the positional relationship between the user and the display unit 101.

表示制御部１０４は、上記のように複数の方向の画像を表示させる以外に、位置関係特定部１０３により特定された角度に基づいて、表示部１０１全体に画像を取得し、当該画像を表示するようにしてもよい。 In addition to displaying an image in a plurality of directions as described above, the display control unit 104 acquires an image on the entire display unit 101 based on the angle specified by the positional relationship specifying unit 103 and displays the image. You may do it.

例えば、上記の図５（ｂ）に示すような画像を表示している状態において、表示制御部１０４は、表示部１０１ｂの向きを示す情報と、基準位置と、位置関係特定部１０３により特定された角度とをサーバへ送出する。そして、表示制御部１０４は、図６（ａ）に示すように、位置関係特定部１０３により特定された角度γに基づいた表示領域であるエリアＡＲ５の画像をサーバから取得して、当該画像を表示部１０１へ表示させる。表示制御部１０４は、図６（ｂ）に示すような、パノラマ状の画像を表示部１０１に表示させる。この場合、図１に示した折り曲げ線Ｌ１及び折り曲げ線Ｌ２において、歪みが生じるが、公知の歪み補正により補正された画像を表示させる。例えば、表示制御部１０４が取得した画像に対して補正する。 For example, in the state where the image as shown in FIG. 5B is displayed, the display control unit 104 is specified by the information indicating the orientation of the display unit 101b, the reference position, and the positional relationship specifying unit 103. The angle is sent to the server. Then, as shown in FIG. 6A, the display control unit 104 acquires an image of the area AR5, which is a display area based on the angle γ specified by the positional relationship specifying unit 103, from the server. Display on the display unit 101. The display control unit 104 causes the display unit 101 to display a panoramic image as illustrated in FIG. In this case, distortion occurs in the fold line L1 and the fold line L2 shown in FIG. 1, but an image corrected by known distortion correction is displayed. For example, the display control unit 104 corrects the acquired image.

このように、表示制御部１０４は、位置関係特定部１０３によって算出された角度に基づいた画像を表示させるので、ユーザと表示部１０１との位置関係によって表示する画像を変化させることになる。すなわち、表示制御部１０４は、ユーザと表示部１０１との位置関係に基づいて表示領域を変更させることになる。また、図６（ａ）に示したように、表示部１０１が谷方向に折り曲げられた場合に、折り曲げられる前の表示領域であるエリアＡＲ１より広くしているので、他の方向の画像も含めている。 In this way, the display control unit 104 displays an image based on the angle calculated by the positional relationship specifying unit 103, so that the image to be displayed is changed depending on the positional relationship between the user and the display unit 101. That is, the display control unit 104 changes the display area based on the positional relationship between the user and the display unit 101. Also, as shown in FIG. 6A, when the display unit 101 is folded in the valley direction, the display area 101 is wider than the area AR1 that is the display area before being folded, so that images in other directions are also included. ing.

つぎに、このように構成された表示装置１００の動作について図７を用いて説明する。図７は、本実施形態の表示装置１００の動作を示すフローチャートである。 Next, the operation of the display device 100 configured as described above will be described with reference to FIG. FIG. 7 is a flowchart showing the operation of the display device 100 of the present embodiment.

表示制御部１０４は、サーバ装置に対して基準位置と、向きとを示す情報を送信し、当該サーバ装置から当該基準位置及び向きに対応する画像を取得し、当該画像を表示部１０１へ表示させる（ステップＳ１）。 The display control unit 104 transmits information indicating the reference position and orientation to the server device, acquires an image corresponding to the reference position and orientation from the server device, and causes the display unit 101 to display the image. (Step S1).

続いて、曲げ検出部１０２は、表示部１０１の曲げ状態を検出し、当該検出結果を位置関係特定部１０３と表示制御部１０４へ送出する（ステップＳ２）。 Subsequently, the bending detection unit 102 detects the bending state of the display unit 101, and sends the detection result to the positional relationship specifying unit 103 and the display control unit 104 (step S2).

続いて、位置関係特定部１０３は、曲げ検出部１０２から取得した検出結果と、複数のカメラによる撮像結果とに基づいて、表示装置１００とユーザとの位置関係を示す角度を算出し、当該角度を表示制御部１０４へ送出する（ステップＳ３）。 Subsequently, the positional relationship specifying unit 103 calculates an angle indicating the positional relationship between the display device 100 and the user based on the detection result acquired from the bending detection unit 102 and the imaging results of the plurality of cameras. Is sent to the display control unit 104 (step S3).

表示制御部１０４は、基準位置、基準方向、及び角度をサーバ装置へ送信する。そして、サーバ装置から当該基準位置、方向情報及び角度に基づいた画像を取得し（ステップＳ４）、当該画像を表示部１０１へ表示させる（ステップＳ５）。 The display control unit 104 transmits the reference position, the reference direction, and the angle to the server device. And the image based on the said reference position, direction information, and angle is acquired from a server apparatus (step S4), and the said image is displayed on the display part 101 (step S5).

つぎに、本実施形態の表示装置１００の作用効果について説明する。本実施形態の表示装置１００において、基準位置及び基準方向により定められたエリア（例えば、エリアＡＲ１）のコンテンツを表示させ、曲げ検出部１０２によって、表示部１０１の曲げ状態が検出され、表示制御部１０４によって、当該曲げ状態に基づいてエリアを変更したコンテンツを表示させる。このように、ユーザによる曲げ操作による、表示部１０１の曲げ状態に基づいてエリアを変えるので、簡単な操作によりエリアを変更することができる。また、折り曲げ操作に応じてエリアを変更しているので、直感的な操作により表示領域を変更することができる。 Next, operational effects of the display device 100 of the present embodiment will be described. In the display device 100 according to the present embodiment, the content of an area (for example, the area AR1) defined by the reference position and the reference direction is displayed, the bending state of the display unit 101 is detected by the bending detection unit 102, and the display control unit By 104, the content which changed the area based on the said bending state is displayed. Thus, since the area is changed based on the bending state of the display unit 101 by the bending operation by the user, the area can be changed by a simple operation. Further, since the area is changed according to the bending operation, the display area can be changed by an intuitive operation.

また、この表示装置１００において、曲げ検出部１０２により表示部１０１が谷方向に曲げられたことが検出された場合、エリアを広げるように変更する。このように、表示部１０１の曲げ状態に基づいてエリアを広げるように変更するので、簡単な操作でエリアを変更することができる。 Further, in the display device 100, when the bend detection unit 102 detects that the display unit 101 is bent in the valley direction, the display device 100 is changed to widen the area. Thus, since it changes so that an area may be expanded based on the bending state of the display part 101, an area can be changed by simple operation.

また、この表示装置１００において、表示制御部１０４は、曲げ検出部１０２により検出された曲げ状態に基づいて表示部１０１に表示させる表示箇所を複数特定し、特定した表示箇所のそれぞれの向きにさらに基づいたエリアのコンテンツをそれぞれの表示箇所に表示させる。このように、表示部１０１の曲げ状態に基づいて表示部１０１における複数の表示箇所（表示部１０１ａ〜表示部１０１ｃ）を特定し、それぞれの表示箇所のそれぞれの向きにさらに基づいた領域に対応するコンテンツをそれぞれの表示箇所に表示させるので、直感的な操作で多地点のコンテンツを表示することができる。 Further, in the display device 100, the display control unit 104 specifies a plurality of display locations to be displayed on the display unit 101 based on the bending state detected by the bend detection unit 102, and further displays each display location in the specified direction. Based on the content of the area based on each display location. In this way, a plurality of display locations (display unit 101a to display unit 101c) in the display unit 101 are specified based on the bending state of the display unit 101, and the regions further correspond to the respective directions of the respective display locations. Since content is displayed at each display location, multi-point content can be displayed by an intuitive operation.

また、この表示装置１００において、位置関係特定部１０３により特定された位置関係にさらに基づいた領域に対応するコンテンツを表示させる。このように、ユーザとの位置関係を考慮して領域を変更するので、ユーザが視認できる領域（視野角）に基づいたコンテンツを表示させることができる。 Further, in the display device 100, content corresponding to a region further based on the positional relationship specified by the positional relationship specifying unit 103 is displayed. As described above, since the region is changed in consideration of the positional relationship with the user, content based on the region (viewing angle) that can be visually recognized by the user can be displayed.

また、上述の実施形態では、ユーザと表示部１０１との位置関係に基づいて表示領域を変える場合について述べたが、ユーザと表示部１０１との位置関係を特定せずに、表示部１０１の曲げ状態に基づいて表示領域を変えるようにしてもよい。例えば、表示部１０１の曲げ状態に基づいて、表示部１０１ａ及び表示部１０１ｃの向きを特定し、表示部１０１ａ及び表示部１０１ｃにそれぞれの向きの画像を表示するようにしてもよい。この場合に表示領域を予め設定済みの範囲としてもよいし、曲げ状態に応じて範囲を可変にするようにしてもよい。例えば、谷方向に曲げられた度合が大きい場合に、より大きい範囲とするようにしてもよい。 In the above-described embodiment, the case where the display area is changed based on the positional relationship between the user and the display unit 101 has been described. However, the bending of the display unit 101 can be performed without specifying the positional relationship between the user and the display unit 101. The display area may be changed based on the state. For example, the directions of the display unit 101a and the display unit 101c may be specified based on the bending state of the display unit 101, and images of the respective directions may be displayed on the display unit 101a and the display unit 101c. In this case, the display area may be a preset range, or the range may be variable according to the bending state. For example, when the degree of bending in the valley direction is large, a larger range may be used.

また、上述の実施形態では、インカメラにより撮像された画像を用いてユーザと表示部１０１との距離を算出する場合について述べたが、他の方法でユーザと表示部１０１との距離を算出するようにしてもよい。例えば、近接センサ（赤外線によるセンサ）を用いてユーザと表示部１０１との距離を算出するようにしてもよい。また、インカメラ１台のみでユーザと表示部１０１との距離を算出するようにしてもよい。例えば、ユーザの部分（例えば、鼻）の基準の大きさを保持しておき、撮像結果による大きさと当該基準の大きさを比較して距離を推定するようにしてもよい。 In the above-described embodiment, the case where the distance between the user and the display unit 101 is calculated using the image captured by the in-camera has been described. However, the distance between the user and the display unit 101 is calculated using another method. You may do it. For example, the distance between the user and the display unit 101 may be calculated using a proximity sensor (an infrared sensor). Further, the distance between the user and the display unit 101 may be calculated using only one in-camera. For example, the reference size of the user portion (for example, the nose) may be held, and the distance may be estimated by comparing the size based on the imaging result with the reference size.

また、上述の実施形態では、外部のサーバから画像を取得する場合について述べたが、予め表示装置１００が画像を記憶していてもよい。 In the above-described embodiment, the case where an image is acquired from an external server has been described. However, the display device 100 may store an image in advance.

また、上述の実施形態では、地図上の位置に対応する画像（静止画）を表示させる場合について述べたが、各位置の動画でもよい。また、地図に限らず、シミュレーションゲーム（例えば、車両走行のゲーム）において基準位置に基づいた画像等を表示している際に、表示部１０１の曲げ状態に応じて表示領域を変更するようにしてもよい。 Moreover, although the above-mentioned embodiment described the case where the image (still image) corresponding to the position on a map was displayed, the moving image of each position may be sufficient. In addition to the map, when displaying an image or the like based on the reference position in a simulation game (for example, a vehicle running game), the display area is changed according to the bending state of the display unit 101. Also good.

また、上述の実施形態では、表示部１０１を谷折りにする場合ンいついて述べたが、山折り可能なフレキシブルディスプレイにおいて、山折りによる曲げ状態に応じて表示領域を変更するようにしてもよい。 In the above-described embodiment, the case where the display unit 101 is valley-folded is described. However, in a flexible display that can be folded in a mountain, the display area may be changed according to the bent state by the mountain-folding. .

また、上述の実施形態では、折り畳み可能なフレキシブルディスプレイについて述べたが、湾曲に曲げる（撓ませる）ことが可能なフレキシブルディスプレイに本発明を適用するようにしてもよい。例えば、曲げ検出部１０２は、フレキシブルディスプレイが湾曲に曲げられたことを検出し、表示制御部１０４は、当該検出結果に基づいて、表示領域を広げた画像を表示させるようにしてもよい。 In the above-described embodiments, the foldable flexible display has been described. However, the present invention may be applied to a flexible display that can be bent (bent). For example, the bend detection unit 102 may detect that the flexible display is bent into a curve, and the display control unit 104 may display an image with an expanded display area based on the detection result.

１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…入力装置、１５…カメラ、１６…出力装置、１７…通信モジュール、１８…補助記憶装置、１９…曲げセンサ、１００…表示装置、１０１…表示部、１０２…曲げ検出部、１０３…位置関係特定部、１０４…表示制御部。 DESCRIPTION OF SYMBOLS 11 ... CPU, 12 ... RAM, 13 ... ROM, 14 ... Input device, 15 ... Camera, 16 ... Output device, 17 ... Communication module, 18 ... Auxiliary storage device, 19 ... Bending sensor, 100 ... Display device, 101 ... Display Part 102, a bending detection part 103, a positional relationship specifying part 104, a display control part.

Claims

A display means configured to bend the display screen and display spatial content corresponding to a predetermined area;
Detecting means for detecting a bending state of the display means;
Display control means for displaying on the display screen the spatial content in which the area is changed based on the bending state detected by the detection means;
A display device comprising:

2. The display device according to claim 1, wherein, when the detection unit detects that the display unit is bent in a valley direction, the display control unit causes the display screen to display spatial content in which the area is expanded. .

The display device according to claim 1, wherein the display control unit causes the display screen to display the spatial content whose display angle is changed based on the bending state detected by the detection unit.

Based on the bending state detected by the detection means, further comprising a positional relationship specifying means for specifying the positional relationship between the display means and the user,
The display device according to claim 1, wherein the display control unit displays spatial content corresponding to a region based on the positional relationship specified by the positional relationship specifying unit.