JP2016206405A - Image display control program, image display control method and image display device - Google Patents

Image display control program, image display control method and image display device Download PDF

Info

Publication number
JP2016206405A
JP2016206405A JP2015087668A JP2015087668A JP2016206405A JP 2016206405 A JP2016206405 A JP 2016206405A JP 2015087668 A JP2015087668 A JP 2015087668A JP 2015087668 A JP2015087668 A JP 2015087668A JP 2016206405 A JP2016206405 A JP 2016206405A
Authority
JP
Japan
Prior art keywords
rotation angle
image
image display
effective rotation
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015087668A
Other languages
Japanese (ja)
Inventor
英 脇田
Suguru Wakita
英 脇田
泰史 谷口
Yasushi Taniguchi
泰史 谷口
カン・モハマド・マハフュジュス・サラム
Mahfuzus Salam Khan Md
一輝 岸田
Kazuteru Kishida
一輝 岸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Codenext
Codenext Kk
Drecom Co Ltd
Original Assignee
Codenext
Codenext Kk
Drecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Codenext, Codenext Kk, Drecom Co Ltd filed Critical Codenext
Priority to JP2015087668A priority Critical patent/JP2016206405A/en
Publication of JP2016206405A publication Critical patent/JP2016206405A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image display control program and an image display control method capable of optimizing display control according to individual variation in posture of a user or the way the user moves a terminal, in image display control for changing display content depending on an attitude of the terminal, and to provide an image display device using the image display control program and the image display control method.SOLUTION: Attitude information of a device detected by an attitude detection unit is sequentially accumulated, and display control is performed using an image display feature associated with an index corresponding to a relative attitude of a portable terminal, among multiple image display feature information. When the portable terminal is rotated beyond an effective rotational angle, both or one of the effective rotational angle and the range of the effective rotational angle are updated. A reference attitude is redefined so that a position at the time before the excessive rotation is determined to have been finished becomes a new threshold value of the effective rotational angle. This processing enables optimized continuous images to be displayed quickly, regardless of the individual variation in the way the user operates the portable terminal.SELECTED DRAWING: Figure 7

Description

本発明は、ディスプレイを有する端末、特に携帯可能なモバイル端末における画像表示制御プログラム、画像制御方法及びこれらを備えた画像表示装置に関するものである。 The present invention relates to an image display control program, an image control method, and an image display device including these in a terminal having a display, particularly a portable mobile terminal.

従来から、スマートフォン、タブレット端末等、ディスプレイを備えた携帯端末装置では、外部からの入力操作に応じて画像、動画、テキストないしこれらの組合せからなるコンテンツの表示制御が行われている。外部からの入力操作の手段としては、ボタンによる操作、タッチスクリーンに対する操作、音声入力など種々の方法が採用されている。また画像表示の制御として、入力に即応した制御ではなく、例えば時系列に応じた表示変化を与える表示制御も採用されている。 2. Description of the Related Art Conventionally, in a mobile terminal device equipped with a display such as a smartphone or a tablet terminal, display control of content including images, moving images, text, or a combination thereof is performed according to an input operation from the outside. As an external input operation means, various methods such as an operation using buttons, an operation on a touch screen, and voice input are employed. In addition, as control for image display, display control that gives a display change according to time series, for example, is employed instead of control that responds immediately to input.

また通常、こうした携帯端末装置には加速度センサやジャイロセンサが備えられており、これらのセンサにより端末の姿勢に関する情報を取得することができる。ディスプレイの表示制御にあたってこうした情報を利用する技術もいくつか提案されている。例えば特許文献1には、表示部と、この表示部の姿勢データを取得するセンサと、上記表示部に表示されるコンテンツを上記姿勢データに基づいて選択的に切り替える表示制御部とを具備することを特徴とする携帯端末装置が提案されている。 Usually, such a mobile terminal device is provided with an acceleration sensor and a gyro sensor, and information on the attitude of the terminal can be acquired by these sensors. Several technologies that use this information for display control have been proposed. For example, Patent Literature 1 includes a display unit, a sensor that acquires attitude data of the display unit, and a display control unit that selectively switches content displayed on the display unit based on the attitude data. There has been proposed a portable terminal device characterized by the above.

或いは特許文献2では、画像表示装置の回転角度または回転角度を算出するための情報を検出するセンサと、センサからの入力情報に基づいて算出される画像表示装置の現在角度に基づいて表示データの更新処理を実行する制御部と、制御部の更新処理に従った表示データを表示する表示部を有し、前記制御部は、画像処理装置が所定の動作範囲内にある場合に、動作範囲内での回転角度に応じて前記表示部の表示データの更新処理を実行する構成であり、画像表示装置が設定済みの動作範囲を超えて回転した場合、該回転に伴って動作範囲を変更し、画像表示装置の現在角度を更新動作範囲内に設定する動作範囲更新処理を行う画像表示装置が提案されている。 Alternatively, in Patent Document 2, the rotation angle of the image display device or a sensor that detects information for calculating the rotation angle, and the display data based on the current angle of the image display device calculated based on input information from the sensor. A control unit that executes an update process; and a display unit that displays display data according to the update process of the control unit. The control unit is within an operation range when the image processing apparatus is within a predetermined operation range. The display data is updated according to the rotation angle at the display unit, and when the image display device rotates beyond the set operation range, the operation range is changed along with the rotation, There has been proposed an image display device that performs an operation range update process for setting a current angle of the image display device within an update operation range.

特開2014−238717号公報JP 2014-238717 A 特開2011−191515号公報JP 2011-191515 A

しかし、この特許文献1に開示されている構成においては、基準となる角度、例えば水平状態からの傾きに応じて表示されるコンテンツが用意されているため、ユーザが使用する体勢について考慮されていない。すなわち、同じコンテンツ群を閲覧するにあたってのユーザの体勢はさまざまであり、立って閲覧するユーザもいれば寝転がり仰向けになって閲覧するユーザもいる。こうした種々のユーザに対して適切な表示を行うことができない。 However, in the configuration disclosed in Patent Document 1, content to be displayed is prepared in accordance with a reference angle, for example, an inclination from a horizontal state, and thus the posture used by the user is not taken into consideration. . That is, the posture of the user when browsing the same content group varies, and there are users who browse while standing, and there are users who browse while lying on their backs. Appropriate display for such various users cannot be performed.

また特許文献2に開示されている構成は、上述の特許文献1記載の構成における問題点を緩和するものではあるが、スマートフォンやタブレット等片手で持つことが多い端末を念頭に置いた構成ではないことから、個々のユーザによる端末の取扱い方の違いが十分に考慮されておらず、こうした端末における表示制御としては最適化が図れていない。すなわち、ユーザにより端末を回転させる角度や速さは個人差があるところ、特許文献2に開示の画像表示装置においては、大きな角度で動かすユーザには、ユーザがディスプレイを視認可能な状態において適切に画像表示制御がなされない。そして往々にしてこうしたユーザは適切に表示制御がなされない場合、いっそう大きく端末を動かしがちなため、なかなか所望の画像表示を体験することができず、結果として画像表示装置に対する信頼を損なうことにもつながってしまう。 Further, the configuration disclosed in Patent Document 2 alleviates the problems in the configuration described in Patent Document 1 described above, but is not configured with a terminal that is often held in one hand, such as a smartphone or a tablet. For this reason, differences in how terminals are handled by individual users are not sufficiently considered, and display control in such terminals is not optimized. That is, the angle and speed at which the terminal is rotated by the user varies from person to person. However, in the image display device disclosed in Patent Document 2, the user who moves the terminal at a large angle is appropriate in a state where the user can visually recognize the display. Image display control is not performed. And often these users tend to move the terminal much larger if the display control is not done properly, so it is difficult to experience the desired image display, resulting in a loss of trust in the image display device. It will be connected.

本発明は、例えば上記問題点に鑑みてなされたものであり、端末の姿勢に応じて表示内容を変更する画像表示制御において、ユーザの体勢やユーザによる端末の動かし方の個人差に対応して表示制御の最適化を行う画像表示制御プログラム、画像表示制御方法及びこれらを備えた画像表示装置を提供することを目的とする。
The present invention has been made in view of the above problems, for example, in image display control that changes display contents according to the attitude of the terminal, in response to individual differences in the user's posture and how the user moves the terminal. An object of the present invention is to provide an image display control program for optimizing display control, an image display control method, and an image display apparatus including these.

上記課題を解決すべく、本発明に係る画像表示制御プログラムは、携帯端末を、(1)外部からの入力に基づき、一又は複数のインデックス、及び当該インデックスに対応する画像表示対応情報が含まれている画像データを読み込む画像データ読込手段、(2)所定時点での端末姿勢を取得し記憶する基準姿勢記憶手段、(3)前記画像データに含まれるインデックス数に応じて有効回転角を決定する有効回転角決定手段、(4)前記基準姿勢からの所定時間毎の端末の傾き変化量を蓄積して記憶する変化量蓄積手段、(5)前記蓄積された傾き変化量が有効回転角を超えたか否かを判定する回転超過判定手段、(6)前記回転超過判定手段で前記蓄積された傾き変化量が有効回転角を超えたと判定された場合、基準姿勢/有効回転角/有効回転角の幅の一又は複数を更新する端末姿勢判定制御手段、(7)前記蓄積された傾き変化量に応じて前記読み込まれた画像データの表示を制御する表示画像制御手段、(8)前記表示画像制御手段で制御された態様で画像表示する表示手段として機能させることを特徴とする(請求項1)。 In order to solve the above problems, an image display control program according to the present invention includes (1) one or a plurality of indexes and image display correspondence information corresponding to the indexes based on an external input. Image data reading means for reading image data, (2) reference attitude storage means for acquiring and storing the terminal attitude at a predetermined time point, and (3) determining an effective rotation angle according to the number of indexes included in the image data. Effective rotation angle determination means, (4) change amount accumulation means for accumulating and storing the inclination change amount of the terminal every predetermined time from the reference posture, and (5) the accumulated inclination change amount exceeds the effective rotation angle. (6) When it is determined by the over-rotation determination unit that the accumulated inclination change amount exceeds the effective rotation angle, a reference posture / effective rotation angle / effective Terminal posture determination control means for updating one or a plurality of rotation angle widths; (7) display image control means for controlling display of the read image data in accordance with the accumulated inclination change amount; It is made to function as a display means for displaying an image in a mode controlled by the display image control means (claim 1).

なお、基準姿勢の更新にあたっては、回転超過判定手段で有効回転角を超えたと判定された時点の端末姿勢より内側に新たな有効回転角の限界値が設けられるよう基準姿勢を更新するよう構成することができる。また有効回転角の更新にあたっては、回転超過判定手段で有効回転角を超えたと判定された時点の端末姿勢より内側に新たな有効回転角の限界値が設けられるよう有効回転角を更新するよう構成することができる。かかる構成とすることにより、ユーザが大きく端末を傾け過ぎた場合に、画像表示の調整が過度に生じることなく、ユーザにとって動きのある画像表示が最適に視認可能な角度で展開されやすくなる。 When updating the reference posture, the reference posture is updated so that a new effective rotation angle limit value is provided inside the terminal posture at the time when the over rotation determination means determines that the effective rotation angle has been exceeded. be able to. Further, when updating the effective rotation angle, the effective rotation angle is updated so that a new limit value of the effective rotation angle is provided inside the terminal posture at the time when it is determined by the over-rotation determination means that the effective rotation angle has been exceeded. can do. With such a configuration, when the user greatly tilts the terminal, the image display is not adjusted excessively, and the moving image display for the user is easily developed at an angle at which the user can optimally view the image.

また有効回転角の幅の更新にあたっては、回転超過判定手段で有効回転角を超えたと判定された時点の有効回転角の幅より広い有効回転角の幅に更新するよう構成することができる。かかる構成とすることにより、ぐるぐると端末を激しく動かすユーザにも最適化された、ユーザにとって動きのある画像表示が最適に視認可能な角度で展開されやすくなる。 In updating the effective rotation angle width, the effective rotation angle can be updated to a width wider than the effective rotation angle at the time when the over rotation determination means determines that the effective rotation angle has been exceeded. By adopting such a configuration, an image display that is optimized for the user who moves the terminal violently and that is moving for the user can be easily developed at an angle at which the user can visually recognize it optimally.

また基準姿勢を初期に取得する所定時点を、前記画像データ読込手段が画像データを読み込んだ時点又は当該時点から所定期間経過後と構成することができる。あるいは、画像データを読み込ませる入力時点又は当該時点から所定期間経過後と構成することができる。これにより、通常所望の視覚コンテンツを閲覧しようとする場合にはタッチスクリーン上のボタンクリックなどによりユーザ自身が入力し、これを受けて端末内部のストレージ又は端末外部との通信により対象の画像データを読み込むところ、通常ユーザによる入力はディスプレイを見て行われることから、その時点ないしそこから若干のタイムラグを経て基準姿勢が取得されることにより、ユーザの視線がディスプレイにほぼ正対している状態を基準姿勢として設定することができるから、ユーザにとって動きのある画像表示が最適に視認可能な角度で展開されやすくなる。 Further, the predetermined time point at which the reference posture is initially acquired can be configured as the time point when the image data reading unit reads the image data, or after the elapse of a predetermined period from the time point. Alternatively, it can be configured as an input time point at which image data is read or after a predetermined period has elapsed from that time point. Thus, when the user wants to browse desired visual content, the user inputs the image by clicking a button on the touch screen, etc., and receives the target image data through storage inside the terminal or communication with the outside of the terminal. When reading, since the input by the user is usually made by looking at the display, the reference posture is acquired at that time or after a slight time lag, so that the user's line of sight is almost directly facing the display. Since it can be set as a posture, it is easy for a user to develop a moving image display at an angle at which it can be viewed optimally.

更に、画像表示態様情報は、複数の画像群と各々の透過度とを少なくとも含むよう構成することができる。個々の画像表示態様情報にはインデックスが付与されておりこれと端末姿勢情報(傾き変化量)に基づいて表示される画像が制御されることになるから、角度の変化に応じて連続的に複数の画像が移り変わって表示されることとなり、ユーザにとって動きのある画像表示が展開される。また画像表示態様情報は、1枚の画像データとその表示領域に関する情報とを少なくとも含むよう構成することもできる。個々の画像表示態様情報にはインデックスが付与されておりこれと端末情報(傾き変化量)に基づいて表示される画像が制御されることになるから、角度の変化に応じて連続的に複数の画像が移り変わって表示されることとなり、ユーザにとって動きのある画像表示が展開される。 Furthermore, the image display mode information can be configured to include at least a plurality of image groups and respective transmissivities. Each image display mode information is assigned an index, and an image to be displayed is controlled based on this and terminal posture information (inclination change amount). These images are changed and displayed, and an image display having movement for the user is developed. The image display mode information can also be configured to include at least one piece of image data and information related to the display area. Each image display mode information is assigned an index, and an image to be displayed is controlled based on this and terminal information (inclination change amount). The images are changed and displayed, and an image display that moves for the user is developed.

なお本発明において、
(1)「画像データ」には、画像表示態様情報と、これに対応付けられたインデックスとが含まれている。「画像表示態様情報」は、例えば複数の画像群を含めることができる。その場合、その複数の画像群は同一のフレームを共有するものであってもよく、或いは同一のオブジェクトに対する視点の変化した画像のように、相互に関連性がある画像群とすることで端末姿勢の変化に応じた画像表示の興趣が高まることが期待できる。もちろんこれに限られず、構成的に関連性が無いか低くとも観念的に関連性がある画像群とすることもできる。あるいは相互に構成上も観念上も関連性が無いか低い複数の画像の集合であっても良い。更には、単一の画像に関する異なる表示態様、例えば表示領域の変化や、或いはホログラムのように表示色調の変化等とすることもできる。
In the present invention,
(1) “Image data” includes image display mode information and an index associated therewith. The “image display mode information” can include a plurality of image groups, for example. In that case, the plurality of image groups may share the same frame, or the terminal postures by making the image groups relevant to each other, such as images with different viewpoints for the same object. It can be expected that the interest in image display in response to changes in the height will increase. Of course, the present invention is not limited to this, and a group of images that are conceptually relevant even if they are not structurally relevant or low can be used. Alternatively, it may be a set of a plurality of images that are not related to each other in terms of structure or concept. Furthermore, different display modes relating to a single image, for example, a change in display area, or a change in display color tone like a hologram can also be used.

(2)「インデックス」は、個々の画像表示態様情報と対応付けられて規定される。画像データに含まれるインデックスの数に応じて当該画像データの有効回転角の幅が決定される。(3)「基準姿勢」は、有効回転角の略中央の端末姿勢として規定される。 (2) “Index” is defined in association with individual image display mode information. The effective rotation angle width of the image data is determined according to the number of indexes included in the image data. (3) The “reference posture” is defined as the terminal posture at the approximate center of the effective rotation angle.

(4)「有効回転角」は、画像データが変化を伴って表示される端末姿勢の角度をいい、基準姿勢からの端末姿勢の変化の閾値を意味する。端末姿勢は、端末が備える加速度センサ及び/又はジャイロセンサにより把握される。有効回転角の幅は、画像データのインデックスの数及び1のインデックスに対応する単位角によって規定される。 (4) “Effective rotation angle” refers to an angle of a terminal posture at which image data is displayed with a change, and means a threshold value for a change in the terminal posture from the reference posture. The terminal posture is grasped by an acceleration sensor and / or a gyro sensor included in the terminal. The width of the effective rotation angle is defined by the number of image data indexes and the unit angle corresponding to one index.

このように、本発明によれば、ユーザにとって動きのある画像表示が、ユーザの端末操作に基づいて生じる端末姿勢の変化に応じて最適化された角度で表示される。とりわけ、画像データに含まれるインデックス数の多少やユーザ自身の端末の動かし方の個人差、或いはユーザが端末を取り扱う姿勢に関わらず、適切に基準姿勢、有効回転角及びその幅が更新されるから、せっかくユーザにとって動きのある画像表示であるにもかかわらずユーザ自身が十分に楽しむことができない、といった表示上の不具合を回避できる可能性が高まる。
As described above, according to the present invention, an image display having a motion for the user is displayed at an angle optimized in accordance with a change in the terminal posture that occurs based on the user's terminal operation. In particular, the reference posture, effective rotation angle, and width thereof are appropriately updated regardless of the number of indexes included in the image data, individual differences in how the user moves the terminal, or the posture in which the user handles the terminal. However, there is an increased possibility that it is possible to avoid display problems such that the user himself / herself cannot fully enjoy despite the fact that the image display is moving for the user.

本発明の一実施例に係るプログラムにより画像表示が制御される端末を示した図であり、(a)正面図、(b)平面図である。It is the figure which showed the terminal by which the image display is controlled by the program which concerns on one Example of this invention, (a) Front view, (b) Plan view. 本発明の一実施例に係る端末の機能構成図である。It is a function block diagram of the terminal which concerns on one Example of this invention. インデックスが付された複数の画像表示態様情報を含む画像データを示す概念図端末の姿勢と表示される画像との関係を示す図である。It is a conceptual diagram which shows the image data containing several image display mode information to which the index was attached. It is a figure which shows the relationship between the attitude | position of a terminal, and the image displayed. 図3における各画像の一実施例を示す図である。It is a figure which shows one Example of each image in FIG. 画像切替の基本構造を示す概念図である。It is a conceptual diagram which shows the basic structure of image switching. 基準姿勢に基づいた360°対応の画像切替表示を示す概念図である。It is a conceptual diagram which shows the image switching display corresponding to 360 degrees based on a reference | standard attitude | position. 本発明の一実施例に係る画像表示制御の流れを示すフロー図である。It is a flowchart which shows the flow of the image display control which concerns on one Example of this invention. 本発明の他の実施例に係る画像表示制御の流れを示すフロー図である。It is a flowchart which shows the flow of the image display control which concerns on the other Example of this invention. 単一の画像の画像表示態様情報を含む画像データを示す概念図である。It is a conceptual diagram which shows the image data containing the image display mode information of a single image.

以下、図面を参照しながら本発明の画像表示制御プログラム、及びこれを用いた画像表示制御方法及び画像表示装置の詳細について説明する。 Hereinafter, an image display control program of the present invention, an image display control method using the same, and an image display apparatus will be described in detail with reference to the drawings.

[1 端末の機能構成]
図1は、本発明の一実施例に係る携帯端末100の外観を示した図である((A)正面図、(B)平面図)。携帯端末100の正面には、表面にタッチセンサ110aを備えた表示部108が設けられている。表示部108は液晶ディスプレイで構成されている。液晶ディスプレイの視野角は液晶パネルの駆動方式によっても差異があるものの、いずれの駆動方式においても、ユーザは、携帯端末100の正面に正対する場合が最も表示画面を見やすい。
[1 Functional configuration of terminal]
FIG. 1 is a view showing an appearance of a mobile terminal 100 according to an embodiment of the present invention ((A) front view, (B) plan view). On the front surface of the mobile terminal 100, a display unit 108 having a touch sensor 110a on the surface is provided. The display unit 108 is composed of a liquid crystal display. Although the viewing angle of the liquid crystal display varies depending on the driving method of the liquid crystal panel, in any driving method, the user can most easily see the display screen when facing the front of the mobile terminal 100.

図2は、携帯端末100の機能構成図である。図2に示すように、携帯端末100は、通信部102、姿勢検出部104(加速度センサ104a、ジャイロセンサ104b)、中央処理装置(プロセッサ)を含んで構成される制御部106、表示部108、操作部110(タッチセンサ110a、操作ボタン110b)、記憶部112を備えている。制御部106はその機能上、表示制御部106a、有効回転角106b、姿勢情報蓄積制御部106c、回転超過判定制御部106dとして機能する。 FIG. 2 is a functional configuration diagram of the mobile terminal 100. As shown in FIG. 2, the mobile terminal 100 includes a communication unit 102, a posture detection unit 104 (acceleration sensor 104a, gyro sensor 104b), a control unit 106 including a central processing unit (processor), a display unit 108, An operation unit 110 (touch sensor 110a, operation button 110b) and a storage unit 112 are provided. The control unit 106 functions as a display control unit 106a, an effective rotation angle 106b, a posture information accumulation control unit 106c, and an over-rotation determination control unit 106d.

通信部102は、少なくとも1つの通信ポートを有するインターフェースを有し、他の装置との間でやりとりされる情報を制御する。通信部102は、例えば、LAN(Local Area Network)を介して情報サーバなどと互いに通信可能となるように接続される。なお外部ノードとの通信接続は任意の方式を採用することができる。 The communication unit 102 has an interface having at least one communication port, and controls information exchanged with other devices. The communication unit 102 is connected to be able to communicate with an information server or the like via, for example, a LAN (Local Area Network). An arbitrary system can be adopted for communication connection with an external node.

加速度センサ104aは、例えば3軸加速度センサ、又は2軸加速度センサにより実現される。加速度センサ104aは、それぞれの軸方向の加速度を検出するものであり、単体では軸方向周りの回転運動を検出することはできない。 The acceleration sensor 104a is realized by, for example, a triaxial acceleration sensor or a biaxial acceleration sensor. The acceleration sensor 104a detects acceleration in each axial direction, and cannot detect rotational motion around the axial direction by itself.

ジャイロセンサ104bは、回転角速度を測定する慣性センサであり、一般的なICタイプのMEMS技術(Micro Electro Mechanical System)技術を使った、コリオリ力を検知する振動式ジャイロセンサを採用することができる。 The gyro sensor 104b is an inertial sensor that measures a rotational angular velocity, and a vibration gyro sensor that detects Coriolis force using a general IC type MEMS technology (Micro Electro Mechanical System) technology can be adopted.

制御部106は、通信部102を介して入力される画像情報、姿勢検出部104で検知される携帯端末100の姿勢情報、後述する操作部110からの入力操作情報に基づき、表示部108に表示される画像データを制御する表示制御部106a、前述の姿勢情報、及び後述する回転超過判定制御部106dで得られる判定結果に基づき記憶部112に記憶された有効回転角を制御する有効回転角制御部106b、逐次取得される前述の姿勢情報に基づき記憶部112にストアされている姿勢情報を更新する姿勢情報蓄積制御部106c、前述の姿勢情報が基準となる角度範囲を超過したか否かを記憶部112にストアされた基準となる角度範囲情報及び蓄積された姿勢情報に基づき判定する106dとしての機能を有する。 The control unit 106 displays on the display unit 108 based on image information input via the communication unit 102, posture information of the mobile terminal 100 detected by the posture detection unit 104, and input operation information from the operation unit 110 described later. Effective rotation angle control for controlling the effective rotation angle stored in the storage unit 112 based on the determination result obtained by the display control unit 106a that controls the image data to be processed, the above-described attitude information, and the over-rotation determination control unit 106d described later Unit 106b, posture information accumulation control unit 106c that updates posture information stored in the storage unit 112 based on the posture information sequentially acquired, and whether or not the posture information exceeds a reference angle range. It has a function as 106d that is determined based on the reference angle range information stored in the storage unit 112 and the accumulated posture information.

表示部108は、表示制御部108により制御された画像データを逐次表示する。ここで表示部108と、操作部110のうちタッチセンサ110aとは重畳的に配置されており、一体のタッチスクリーンを構成する。また本実施例に係る携帯端末100には、別途操作ボタン110bが設けられている。なお図示していないが、携帯端末100の側面部等に適宜電源ボタン等の操作ボタンを設けても良い。 The display unit 108 sequentially displays the image data controlled by the display control unit 108. Here, the display unit 108 and the touch sensor 110a in the operation unit 110 are arranged in a superimposed manner, and constitute an integrated touch screen. In addition, the portable terminal 100 according to the present embodiment is provided with a separate operation button 110b. Although not shown, an operation button such as a power button may be provided on the side surface of the mobile terminal 100 as appropriate.

記憶部112は、RAMやROM、フラッシュメモリ、HDD等で構成される。記憶部112には携帯端末100の起動に際しての基本プログラム、各種アプリケーションソフト及びそのデータ等が記憶されている他、画像情報、端末100の姿勢情報、基準姿勢及び有効回転角幅に関する情報が記憶される。 The storage unit 112 includes a RAM, a ROM, a flash memory, an HDD, and the like. The storage unit 112 stores basic programs for starting up the mobile terminal 100, various application software, data thereof, and the like, as well as image information, attitude information of the terminal 100, information on the reference attitude, and effective rotation angle width. The

[2 画像切替表示の基本原理]
次に、図3、図4及び図5を用いて、本発明に係る画像切替の基本原理を説明する。
図3は、各々インデックス(1、2、3、・・n−1、n、n+1、・・2n−1、2n)が付された複数の画像表示態様情報を含む画像データを示す概念図であり、図4は図3に示した各画像の具体的な例であり、図5は携帯端末100の回転角と画像切替の関係を示す概念図である。図3に示すように、各インデックスは複数の画像各々の表示態様に関する情報と関連付けられている。各画像は図4に示すように、画像1から画像2nが同一サイズで構成されており、これらは同一座標に順に重ねられて表示されている。本実施例では、山の景色に太陽、及び画像により雲が配された複数の画像各々にインデックスが付された画像群として画像データが構成されている。例えばインデックス1においては、「画像1」の透過度が0に、その他の画像(「画像2」から「画像2n」)の透過度は1に設定されている。その結果インデックス1に対応する画像表示態様としては、「画像1」が表示部108において視認可能な状態となる。また後述する基準姿勢(図5に示すbaseline(0))に対応するインデックスnにおいては、画像nの透過度を0とし、他の画像の透過度は1に設定されている。これにより、表示部108においては画像nを視認することができるように表示される。
[2 Basic principles of image switching display]
Next, the basic principle of image switching according to the present invention will be described with reference to FIGS.
FIG. 3 is a conceptual diagram showing image data including a plurality of pieces of image display mode information each assigned an index (1, 2, 3,... N-1, n, n + 1,... 2n-1, 2n). FIG. 4 is a specific example of each image shown in FIG. 3, and FIG. 5 is a conceptual diagram showing the relationship between the rotation angle of the mobile terminal 100 and image switching. As shown in FIG. 3, each index is associated with information related to the display mode of each of the plurality of images. As shown in FIG. 4, each image is composed of images 1 to 2n having the same size, and these images are displayed in an overlapping manner in the same coordinates. In the present embodiment, image data is configured as an image group in which a plurality of images in which the sun is displayed on a mountain landscape and clouds are arranged by images are indexed. For example, in the index 1, the transparency of “image 1” is set to 0, and the transparency of other images (“image 2” to “image 2n”) is set to 1. As a result, as an image display mode corresponding to the index 1, “image 1” is visible on the display unit 108. Further, in an index n corresponding to a reference posture described later (baseline (0) shown in FIG. 5), the transparency of the image n is set to 0, and the transparency of other images is set to 1. As a result, the image n is displayed on the display unit 108 so as to be visible.

ここで、画像を次のインデックス、ここでは画像n+1、に切り替えるための回転角度変化係数x(°/枚)、及び検出される携帯端末100の姿勢変化に基づき、画像切替制御が行われる。検出された回転角をxで除した値が1を超えたとき(図5においてbaseline(1)を超える回転を検出したとき)、画像n+1の透過率を0にし、他の画像の透過率を1に設定する。これにより、表示部108においては画像n+1を視認することができるように表示される。なお図5では説明の都合上、図としては大きい角度で回転角度変化係数xを図示している。 Here, the image switching control is performed based on the rotation angle change coefficient x (° / sheet) for switching the image to the next index, here the image n + 1, and the detected posture change of the mobile terminal 100. When the value obtained by dividing the detected rotation angle by x exceeds 1 (when rotation exceeding baseline (1) in FIG. 5 is detected), the transmittance of image n + 1 is set to 0, and the transmittance of other images is set. Set to 1. As a result, the display unit 108 displays the image n + 1 so that it can be viewed. In FIG. 5, for convenience of explanation, the rotation angle change coefficient x is illustrated as a large angle.

有効回転角は、画像データが有するインデックス数、及び回転角度変化係数xにより定まることになる。すなわちこの例の場合、有効回転角は2nx(°)であり、基準状態(baseline0)を0とした場合−nx(°)からnx(°)である。連続して同一方向に回転している場合、baseline(nx)を超えて回転すると常に2n枚目を表示することとなる。逆回転の場合も同様に表示される画像が変化していき、連続して同一方向に回転している場合、baseline(−nx)を超えると画像は常に1枚目を表示することになる。 The effective rotation angle is determined by the number of indexes included in the image data and the rotation angle change coefficient x. That is, in this example, the effective rotation angle is 2 nx (°), and is −nx (°) to nx (°) when the reference state (baseline 0) is 0. In the case of continuous rotation in the same direction, the 2nth image is always displayed when the rotation exceeds the baseline (nx). In the case of reverse rotation, the displayed image changes in the same manner. When the image is continuously rotated in the same direction, the first image is always displayed when the baseline (−nx) is exceeded.

[3 変化量の蓄積]
また、所定期間内の携帯端末100の回転角度がxに満たない場合、つまり非常にゆっくり携帯端末100を回転させた場合、継続して回転させている場合であっても表示画像は変化しないこととなる。これを防ぐために、所定期間内の変化分は記憶部112に蓄積され、蓄積がxを超えたときに次の画像へと変化するように構成されている。
[3 Accumulation of change]
In addition, when the rotation angle of the mobile terminal 100 within a predetermined period is less than x, that is, when the mobile terminal 100 is rotated very slowly, the display image does not change even when the mobile terminal 100 is continuously rotated. It becomes. In order to prevent this, the change within a predetermined period is accumulated in the storage unit 112, and when the accumulation exceeds x, the image is changed to the next image.

[4 360°対応]
次に、本実施例にかかる端末姿勢の検出方法について説明する。加速度センサ104aでは重力加速度を検知することによりその時点ごとの端末姿勢の検知が可能であり、ジャイロセンサ104bは角加速度の検知及びその積分処理によって3軸方向での角速度の検出が可能である。しかしながら、一般的な携帯デバイスに搭載されるOS(Operating Soft)は、その種別によって円一周の定義範囲が異なるため、単に加速度センサ104a及びジャイロセンサ104bの計測値から導き出される絶対的な端末姿勢では正しく画像表示制御がなし得ない場合があり得る。そこで本実施例にかかる端末姿勢の検出方法では以下の手法をとっている。
[4 360 ° correspondence]
Next, a terminal attitude detection method according to the present embodiment will be described. The acceleration sensor 104a can detect the terminal posture at each time point by detecting the gravitational acceleration, and the gyro sensor 104b can detect the angular velocity in the three-axis directions by detecting the angular acceleration and integrating it. However, the OS (Operating Soft) installed in a general portable device has a different definition range of one circle depending on the type, so that the absolute terminal posture derived simply from the measured values of the acceleration sensor 104a and the gyro sensor 104b There are cases where image display control cannot be performed correctly. Therefore, the terminal attitude detection method according to the present embodiment employs the following technique.

すなわち、図6(a)に示すように、一時点における端末姿勢を基準姿勢(=baseline)とし、これと表示制御を行う画像データに含まれる画像表示態様数(インデックス数)及び回転角度変化係数xに基づいた有効回転角内において、画像データに含まれる各画像表示態様に従った表示制御を行う。2n枚の画像を表示制御するときの有効回転角は−nxからnxとなる。この基本構造は、絶対的な端末姿勢を特定する角度に依存せず、基準姿勢からの相対的な回転角として検出され、表示制御に資することになる。そのためOSや端末内蔵のセンサに依存することなく、携帯端末100の基準姿勢にかかわらず表示制御の最適化を行うことができる(図6(b))。 That is, as shown in FIG. 6A, the terminal posture at the temporary point is set as a reference posture (= baseline), and the number of image display modes (number of indexes) and rotation angle change coefficient included in the image data for which display control is performed. Within the effective rotation angle based on x, display control is performed according to each image display mode included in the image data. The effective rotation angle when controlling display of 2n images is from -nx to nx. This basic structure does not depend on the angle that specifies the absolute terminal posture, but is detected as a relative rotation angle from the reference posture, which contributes to display control. Therefore, the display control can be optimized regardless of the reference posture of the mobile terminal 100 without depending on the OS or the sensor built in the terminal (FIG. 6B).

[5 ユーザ体感の最適化]
次に、携帯端末100が有効回転角を超えて回転する場合の表示制御について、図6(b)を参照しつつ説明する。
[5 User experience optimization]
Next, display control when the mobile terminal 100 rotates beyond the effective rotation angle will be described with reference to FIG.

前述の通り、画像切替の基本構造における有効回転角の範囲は、画像の枚数と回転角度変化係数xによって定義される。例えば、ユーザがb1において携帯端末100を基準姿勢(baseline(0))から有効回転角の最大角度(baseline(nx))まで傾けた時、表示部108にはインデックス2nに対応した画像が表示される。この携帯端末100の傾き状態、つまり状態b1におけるbaselineの最大値(baseline(nx))を超えた状態を保って携帯端末100をb2の位置まで移動すると、表示部108にはインデックス2nに対応した画像が表示され続けている状態である。このとき同時に、基準姿勢が端末位置b1のときとは異なる位置で再定義される。つまり移動完了時の携帯端末の姿勢より内側、つまり継続して回転してきた時系列的に手前の時点における携帯端末100の姿勢から回転角(−nx)分の位置をbaseline(0)として再定義する。このように、baseline(0)の再定義の際に、超過と判断された時点の携帯端末100の姿勢より内側に新たな有効回転角の限界値(ここではbaseline(nx))が設けられるように基準姿勢であるbaseline(0)が更新されることにより、ユーザにとってより適切に画像変化が体感できるように表示制御されることとなる。 As described above, the effective rotation angle range in the basic structure of image switching is defined by the number of images and the rotation angle change coefficient x. For example, when the user tilts the portable terminal 100 from the reference posture (baseline (0)) to the maximum effective rotation angle (baseline (nx)) at b1, an image corresponding to the index 2n is displayed on the display unit 108. The When the portable terminal 100 is moved to the position b2 while maintaining the tilted state of the portable terminal 100, that is, the state of exceeding the maximum value of baseline (baseline (nx)) in the state b1, the display unit 108 corresponds to the index 2n. The image continues to be displayed. At the same time, the reference posture is redefined at a position different from the terminal position b1. In other words, the position corresponding to the rotation angle (−nx) from the attitude of the mobile terminal 100 at the time point that is inward of the mobile terminal at the time of the completion of the movement, that is, in a time series before the time of continuous rotation is redefined as baseline (0). To do. As described above, when redefining baseline (0), a new limit value (here, baseline (nx)) of the effective rotation angle is provided inside the attitude of the mobile terminal 100 when it is determined that the baseline (0) is exceeded. By updating baseline (0), which is the reference posture, display control is performed so that image changes can be experienced more appropriately for the user.

このときに、ユーザが携帯端末100を傾けて画像を切り替える際、baseline(0)に対する垂線(表示部108を平行な面に対する法線)が、表示部108に対するユーザの視線と一致しない場合がある。この状態では、ユーザの体感として、携帯端末100の姿勢変化に応じて表示が変化するとしても、ユーザの手の動きに対して中心がずれているため、表示部108をユーザがしっかりと視認できない状態で画像が切り替わってしまい、ユーザが見える範囲では有効回転角外の表示、つまりインデックス1或いはインデックス2nの固定画像が表示されたままとなる可能性がある。 At this time, when the user switches the image by tilting the mobile terminal 100, the perpendicular to baseline (0) (the normal to the plane parallel to the display unit 108) may not match the user's line of sight to the display unit 108. . In this state, even if the display changes according to the posture change of the mobile terminal 100 as the user's experience, the center is shifted with respect to the movement of the user's hand, and thus the user cannot visually recognize the display unit 108. There is a possibility that the image is switched depending on the state, and the display outside the effective rotation angle, that is, the fixed image with the index 1 or 2n is still displayed within the range that the user can see.

このユーザの表示部108への視線とbaseline(0)に対する垂線とが限りなく一致するよう有効回転角(−nx〜nx)が制御されることによりユーザの見やすさが高まる。なぜなら、手の左右へと傾ける動きの中心を対照軸として左右に限りなく均等な数の画像切替を行うことができるためである。 By controlling the effective rotation angle (−nx to nx) so that the user's line of sight to the display unit 108 and the perpendicular to the baseline (0) coincide with each other, the user's visibility is enhanced. This is because an equal number of images can be switched to the left and right with the center of movement of tilting the hand to the left and right as the reference axis.

もっとも実際には、ユーザによる携帯端末100の動かし方は個人差があるため、上記の制御では、即時にはユーザの視線とbaseline(0)に対する垂線とは必ずしも平行にならない。しかしこの場合も、携帯端末100が端末位置b2に移動してbaseline(0)が再定義された状態でbaseline(−nx)を超過して逆方向に傾けると再度baseline(0)が定義されることになる。このように、左右に傾けることで手の動きに合わせて限りなくユーザの携帯端末100の傾き幅の中心にbaseline(0)が補正されていく。 However, in practice, since how the user moves the mobile terminal 100 varies from person to person, in the above control, the user's line of sight and the perpendicular to the baseline (0) are not always parallel. However, also in this case, if the mobile terminal 100 moves to the terminal position b2 and the baseline (0) is redefined, the baseline (0) is redefined and the baseline (0) is defined again when the mobile terminal 100 is tilted in the reverse direction. It will be. In this manner, the baseline (0) is corrected to the center of the tilt width of the user's mobile terminal 100 as much as the hand moves by tilting left and right.

また同様に、端末位置b1におけるbaseline(−nx)よりも負の方向に回転した状態を保って携帯端末100を端末位置b3まで移動する場合も同様である。つまり移動完了時の携帯端末の姿勢より内側、つまり継続して回転してきた時系列的に手前の時点における携帯端末100の姿勢から回転角(+nx)分の位置をbaseline(0)として再定義する。 Similarly, the same applies to the case where the portable terminal 100 is moved to the terminal position b3 while maintaining a state of being rotated in a more negative direction than the baseline (−nx) at the terminal position b1. That is, the position corresponding to the rotation angle (+ nx) is redefined as baseline (0) from the attitude of the mobile terminal 100 at the time point that is inside the mobile terminal attitude at the time of the movement completion, that is, the time series before the time when the mobile terminal is continuously rotated. .

なお、baseline(0)の再定義にあたって、上述のように回転してきた時系列的に手前の時点における端末姿勢を参酌する方法の他、再定義時点での端末姿勢から回転角(−(nx+α))(但しαは定数)分の位置をbaseline(0)として再定義するよう構成しても良い。更にはαを定数ではなく、所定の係数、例えば有効回転角超過の頻度や有効回転角超過時の角加速度に応じた変数としてbaseline(0)を再定義するよう構成することもできる。負の回転角方向に超過した場合にも同様に再定義可能である。 In redefinition of baseline (0), in addition to the method of taking into account the terminal posture at the previous time point in time series that has been rotated as described above, the rotation angle (− (nx + α) from the terminal posture at the time of redefinition. ) (Where α is a constant) may be redefined as baseline (0). Furthermore, it is possible to redefine baseline (0) as a variable corresponding to a predetermined coefficient, for example, a frequency exceeding the effective rotation angle or an angular acceleration when the effective rotation angle is exceeded, instead of α being a constant. The same redefinition is possible when the rotation angle is exceeded in the negative rotation angle direction.

[6 フローを用いた説明]
上述の画像表示制御の一連の動きを、図7のフローに沿って説明する。
[Explanation using 6 flows]
A series of movements of the above-described image display control will be described along the flow of FIG.

ユーザは、携帯端末を操作することにより画像データを取得する旨の入力を行う。入力の方法として、例えば表示部108とタッチセンサ110aとで構成されるタッチスクリーン上に表示される「画像データを取得する」旨のボタン(図示しない)のタッチ操作、或いは操作ボタン110bの押下操作、その他設定された所定の操作により実現される。画像データ取得指示が入力されると(ステップS101:Yes)、携帯端末100は通信部102を介して外部サーバから画像データを取得する(ステップS102)。画像データには、図3にて示したように、複数の画像情報及びこれらの画像表示態様情報がインデックスと紐づけられている。 The user performs an input to acquire image data by operating the mobile terminal. As an input method, for example, a touch operation of a button (not shown) for “acquiring image data” displayed on a touch screen constituted by the display unit 108 and the touch sensor 110a, or a press operation of the operation button 110b. This is realized by other predetermined operations. When an image data acquisition instruction is input (step S101: Yes), the mobile terminal 100 acquires image data from an external server via the communication unit 102 (step S102). As shown in FIG. 3, a plurality of pieces of image information and these pieces of image display mode information are associated with indexes in the image data.

次に携帯端末100は加速度センサ104aから端末の現在の姿勢に関する情報を取得する(ステップS103)。これとともに、携帯端末100は現在の姿勢を基準姿勢として定義する。また前述の画像データに含まれるインデックス数、及び回転角度変化係数xに基づいて有効回転角を定義する(ステップS104)。ここで回転角度変化係数xの初期値は予め記憶部112に記憶されている。 Next, the portable terminal 100 acquires information on the current posture of the terminal from the acceleration sensor 104a (step S103). At the same time, the mobile terminal 100 defines the current posture as the reference posture. An effective rotation angle is defined based on the number of indexes included in the image data and the rotation angle change coefficient x (step S104). Here, the initial value of the rotation angle change coefficient x is stored in the storage unit 112 in advance.

なお本実施例では、回転角度変化係数xの初期値は本プログラムの固有値として記憶部112に記憶されているものとして説明したが、これと異なる構成、例えば画像データを構成する情報として画像データ取得時に記憶部112に記憶されるよう構成しても良い。かかる構成は、例えば画像データのインデックス数の大小の差が著しい場合に、回転による画像切替の速さをその大小に応じて初期から最適化する場合に有効である。 In the present embodiment, the initial value of the rotation angle change coefficient x has been described as being stored in the storage unit 112 as an eigenvalue of this program. However, a different configuration, for example, image data acquisition as information constituting image data is obtained. It may be configured to be stored in the storage unit 112 sometimes. Such a configuration is effective, for example, when the image switching speed by rotation is optimized from the beginning according to the size when the difference in the number of image data indexes is significant.

次に、表示制御部106aは、現在の姿勢に基づき、取得した画像データのうち選択された画像表示態様により表示部108で画像を表示する(ステップS105)。初期値はbaseline(0)に対応するインデックスと紐づけられた画像表示態様で表示される。 Next, the display control unit 106a displays an image on the display unit 108 according to the image display mode selected from the acquired image data based on the current posture (step S105). The initial value is displayed in an image display mode associated with an index corresponding to baseline (0).

次に、ジャイロセンサ104bにより携帯端末100の動的な姿勢変化が検出される(ステップS106)。ここで検出されるのは、携帯端末100の回転による姿勢変化である。本実施例では携帯端末100を正面から見た場合の左右の回転(ロール軸)に対応した画像表示変化の例に基づいて説明しているが、これに限られず、上下(ピッチ軸)に対応する画像表示変化としても良い。 Next, a dynamic posture change of the mobile terminal 100 is detected by the gyro sensor 104b (step S106). What is detected here is a change in posture due to rotation of the mobile terminal 100. In the present embodiment, the description is based on the example of the image display change corresponding to the left and right rotation (roll axis) when the mobile terminal 100 is viewed from the front, but the present invention is not limited to this, and the vertical (pitch axis) is supported. The image display may be changed.

検出された情報は、記憶部112において蓄積的に記憶される(ステップS107)。これは、回転させる速度が非常に遅い場合、回転が画像表示態様を変化させるほどの量に至らず、結果画像表示態様が変化されないまま携帯端末100の姿勢が変化していくことを防止するためである。 The detected information is stored cumulatively in the storage unit 112 (step S107). This is to prevent the orientation of the mobile terminal 100 from changing without changing the image display mode when the rotation speed is very slow, and the resulting image display mode is not changed. It is.

次に、表示制御部106aは、蓄積された姿勢情報と選択されている画像表示態様が一致しているかを判定する(ステップS108)。現在の画像表示態様と姿勢情報に対応した画像表示態様が異なる場合(ステップS108=No)、画像表示態様の更新処理を行う(ステップS109)。 Next, the display control unit 106a determines whether the accumulated posture information matches the selected image display mode (step S108). When the current image display mode and the image display mode corresponding to the posture information are different (step S108 = No), an image display mode update process is performed (step S109).

次に回転超過判定制御部106dは、蓄積された姿勢情報、つまり基準姿勢からの相対的な回転角が有効回転角の上限又は下限を超えていないかを判定する(ステップS110)。有効回転角の上限又は下限を超えている場合(ステップS110=Yes)、上述した有効回転角の更新処理を行った上でステップS105の処理に戻る。蓄積された姿勢情報が有効回転角の範囲内の場合、そのままステップS105の処理に戻る。 Next, the excess rotation determination control unit 106d determines whether the accumulated posture information, that is, the relative rotation angle from the reference posture does not exceed the upper limit or lower limit of the effective rotation angle (step S110). When the upper limit or lower limit of the effective rotation angle is exceeded (step S110 = Yes), the process returns to step S105 after performing the above-described update processing of the effective rotation angle. If the accumulated posture information is within the range of the effective rotation angle, the process returns to step S105 as it is.

[7 他の実施例]
次に、本発明に係る別の実施例につき説明する。上記第一の実施例では有効回転角を超過して携帯端末100の姿勢が変化することをトリガとして基準姿勢baseline(0)が再定義され、これにより絶対的な有効回転角が遷移していく構成について説明した。これとは別に、或いはこれと組み合わせて以下のような構成とすることもできる。
[7 Other Examples]
Next, another embodiment according to the present invention will be described. In the first embodiment described above, the reference attitude baseline (0) is redefined as a trigger when the attitude of the mobile terminal 100 changes after exceeding the effective rotation angle, whereby the absolute effective rotation angle transitions. The configuration has been described. Apart from this, or in combination with this, the following configuration may be adopted.

すなわち、ステップS110において、回転超過判定制御部106dにおいて回転超過と判定された際、回転角度変化係数xの再定義を行う。有効回転角は画像データのインデックス数と回転角度変化係数との積により定義されるから、ユーザによる携帯端末100の姿勢変化のさせ方に応じて有効回転角の幅をカスタマイズさせるべく回転角度変化係数xの大小を調整する。この回転角度変化係数xの調整に当たっては、ユーザの手の動きの激しさに応じて再定義される回転角度変化係数xの大小を調節することができる。具体的には単位時間あたりの有効回転角超過の頻度を動きの激しさと捉え、これに応じた大小の調整を行うことができるが、その場合でも回転角度変化係数xを過度に大きくしすぎると適切な画像表示態様を実現することができないことから、規定値、例えば画像枚数との積が180°を超えない値を収束値とした非線形関数としてxを再定義するよう構成することができる。 That is, in step S110, when it is determined that excessive rotation is detected by the excessive rotation determination control unit 106d, the rotation angle change coefficient x is redefined. Since the effective rotation angle is defined by the product of the index number of the image data and the rotation angle change coefficient, the rotation angle change coefficient is used to customize the width of the effective rotation angle according to how the user changes the attitude of the mobile terminal 100. Adjust the size of x. In adjusting the rotation angle change coefficient x, the magnitude of the rotation angle change coefficient x redefined according to the intensity of the movement of the user's hand can be adjusted. Specifically, the frequency of exceeding the effective rotation angle per unit time can be regarded as the intensity of movement, and the size can be adjusted accordingly, but even in that case, the rotation angle change coefficient x is excessively increased. Since an appropriate image display mode cannot be realized, x can be redefined as a non-linear function with a prescribed value, for example, a product of the number of images not exceeding 180 ° as a convergence value. .

更に別の実施例を、図8を用いつつ説明する。図8は画像表示制御のフローを示す図であり図7と多くのステップにおいて共通する。共通する点については説明を省略する。上記例では有効回転角の幅の更新トリガとして携帯端末100の姿勢が有効回転角を超過することと規定している。しかし例えば逆に、手の動きが小さく端末の角度変化が微細であるとき、そうしたユーザの動きにカスタマイズするよう構成することもできる。具体的には、図8に示すように、所定期間における回転角の蓄積が所定値未満の場合には(ステップS210:Yes)、回転角度変化係数xを再定義する(ステップS211)よう構成することができる。このように、有効回転角を超過しない場合にも有効回転角幅を更新することにより、より極め細やかなユーザカスタマイズが実現可能となる。 Still another embodiment will be described with reference to FIG. FIG. 8 is a diagram showing a flow of image display control and is common to FIG. 7 in many steps. The description of common points is omitted. In the above example, it is defined that the attitude of the mobile terminal 100 exceeds the effective rotation angle as an update trigger for the effective rotation angle width. However, conversely, for example, when the movement of the hand is small and the change in the angle of the terminal is fine, it is possible to customize the movement of the user. Specifically, as shown in FIG. 8, when the rotation angle accumulation in a predetermined period is less than a predetermined value (step S210: Yes), the rotation angle change coefficient x is redefined (step S211). be able to. In this way, even when the effective rotation angle is not exceeded, by updating the effective rotation angle width, it is possible to realize more detailed user customization.

[8 他の実施例]
更に、上記実施例における画像データに含まれる複数の画像表示態様情報は、同一サイズで同一座標に順に重ねられて表示されるものであったが、画像表示態様情報はこれに限られない。例えば図9に示すように、1の画像情報につき、インデックスごとにどの部分をフレーム内で表示させるかが定義づけられており、端末姿勢に応じて1の画像情報中の表示される部分が連続的に切り替わるように構成することもできる。あるいは1の画像情報のフォーカス度合がインデックスとともに定義づけられており、端末姿勢に応じて表示態様が切り替わるよう構成しても良い。更には、これらが1の画像情報ではなく、複数のインデックスに対して複数の画像が連続的に表示されるようにしてもよい。あるいは重畳的に異なる透過性をもって表示されている複数の画像の透過性がゼロサムに切り替わるのではなく段階的に濃淡が設定されていることにより、よりシームレスな画像変化をユーザは体感することができる。
[8 Other Examples]
Furthermore, although the plurality of pieces of image display mode information included in the image data in the above-described embodiment are displayed in the same size and sequentially superimposed on the same coordinates, the image display mode information is not limited thereto. For example, as shown in FIG. 9, for each image information, it is defined which part is displayed in a frame for each index, and the displayed part in one image information is continuous according to the terminal posture. It can also be configured to be switched automatically. Alternatively, the focus degree of one image information may be defined together with an index, and the display mode may be switched according to the terminal posture. Furthermore, these are not one piece of image information, and a plurality of images may be displayed continuously for a plurality of indexes. Alternatively, the transparency of a plurality of images displayed with different transparency is not switched to zero sum, but the gradation is set in steps, so that the user can experience a more seamless image change. .

100 携帯端末
102 通信部
104 姿勢検出部
104a 加速度センサ
104b ジャイロセンサ
106 制御部
106a 表示制御部
106b 有効回転角制御部
106c 姿勢情報蓄積制御部
106d 回転超過判定制御部
108 表示部
110 操作部
110a タッチセンサ
110b 操作ボタン
112 記憶部

DESCRIPTION OF SYMBOLS 100 Mobile terminal 102 Communication part 104 Posture detection part 104a Acceleration sensor 104b Gyro sensor 106 Control part 106a Display control part 106b Effective rotation angle control part 106c Posture information accumulation control part 106d Excess rotation determination control part 108 Display part 110 Operation part 110a Touch sensor 110b Operation button 112 Storage unit

Claims (10)

携帯端末を、
(1)外部からの入力に基づき、一又は複数のインデックス、及び当該インデックスに対応する画像表示対応情報が含まれている画像データを読み込む画像データ読込手段、
(2)所定時点での端末姿勢を基準姿勢として取得し記憶する基準姿勢記憶手段、
(3)前記画像データに含まれるインデックス数に応じて有効回転角を決定する有効回転角決定手段、
(4)前記基準姿勢からの所定時間毎の端末の傾き変化量を蓄積して記憶する変化量蓄積手段、
(5)前記蓄積された傾き変化量が有効回転角を超えたか否かを判定する回転超過判定手段、
(6)前記回転超過判定手段で前記蓄積された傾き変化量が有効回転角を超えたと判定された場合、基準姿勢/有効回転角/有効回転角の幅の一又は複数を更新する端末姿勢判定制御手段、
(7)前記蓄積された傾き変化量に応じて前記読み込まれた画像データの表示を制御する表示画像制御手段
(8)前記表示画像制御手段で制御された態様で画像表示する表示手段
として機能させることを特徴とする画像表示制御プログラム。
Mobile device
(1) Image data reading means for reading image data including one or a plurality of indexes and image display correspondence information corresponding to the indexes based on an external input;
(2) Reference posture storage means for acquiring and storing a terminal posture at a predetermined time as a reference posture;
(3) Effective rotation angle determining means for determining an effective rotation angle according to the number of indexes included in the image data;
(4) A change amount accumulation means for accumulating and storing a change amount of inclination of the terminal every predetermined time from the reference posture,
(5) Excess rotation determination means for determining whether or not the accumulated inclination change amount exceeds an effective rotation angle;
(6) Terminal attitude determination for updating one or more of the reference attitude / effective rotation angle / effective rotation angle width when the accumulated rotation change amount is determined by the excess rotation determination means to exceed the effective rotation angle. Control means,
(7) Display image control means for controlling the display of the read image data in accordance with the accumulated inclination change amount. (8) Function as a display means for displaying an image in a mode controlled by the display image control means. An image display control program characterized by the above.
前記端末姿勢判定制御手段において基準姿勢が更新される際、前記回転超過判定手段で有効回転角を超えたと判定された時点の端末姿勢より内側に新たな有効回転角の限界値が設けられるよう基準姿勢を更新することを特徴とする、請求項1に記載の画像表示制御プログラム。
When the reference posture is updated in the terminal posture determination control means, a reference is made so that a new limit value of the effective rotation angle is provided inside the terminal posture at the time when the over rotation determination means determines that the effective rotation angle has been exceeded. The image display control program according to claim 1, wherein the posture is updated.
前記端末姿勢判定制御手段において有効回転角が更新される際、前記回転超過判定手段で有効回転角を超えたと判定された時点の端末姿勢より内側に新たな有効回転角の限界値が設けられるよう有効回転角を更新することを特徴とする、請求項1に記載の画像表示制御プログラム。
When the effective rotation angle is updated in the terminal attitude determination control means, a new limit value of the effective rotation angle is set inside the terminal attitude at the time when the over rotation determination means determines that the effective rotation angle is exceeded. The image display control program according to claim 1, wherein the effective rotation angle is updated.
前記端末姿勢判定制御手段において有効回転角の幅が更新される際、前記回転超過判定手段で有効回転角を超えたと判定された時点の有効回転角の幅より広い有効回転角の幅に更新されることを特徴とする、請求項1から請求項3のいずれか1に記載の画像表示制御プログラム。
When the effective rotation angle is updated in the terminal posture determination control means, the effective rotation angle is updated to a width wider than the effective rotation angle at the time when the over rotation determination means determines that the effective rotation angle is exceeded. The image display control program according to any one of claims 1 to 3, wherein
前記所定時点が、前記画像データ読込手段が画像データを読み込んだ時点又は当該時点から所定期間経過後であることを特徴とする、請求項1から請求項4のいずれか1に記載の画像表示制御プログラム。
5. The image display control according to claim 1, wherein the predetermined time point is a time point when the image data reading unit reads the image data or after a predetermined period has elapsed from the time point. program.
前記所定時点が、前記画像データを読み込ませる入力時点又は当該時点から所定期間経過後であることを特徴とする、請求項1から請求項4のいずれか1に記載の画像表示制御プログラム。
The image display control program according to any one of claims 1 to 4, wherein the predetermined time point is an input time point at which the image data is read or after a predetermined time period has elapsed from the time point.
前記画像表示態様情報が、複数の画像群と各々の画像の透過度とを少なくとも含むことを特徴とする、請求項1から請求項6のいずれか1に記載の画像表示制御プログラム。
The image display control program according to any one of claims 1 to 6, wherein the image display mode information includes at least a plurality of image groups and transparency of each image.
前記画像表示態様情報が、単一の画像データと当該画像データ中の表示領域情報とを少なくとも含むことを特徴とする、請求項1から請求項6のいずれか1に記載の画像表示制御プログラム。
The image display control program according to any one of claims 1 to 6, wherein the image display mode information includes at least single image data and display area information in the image data.
(1)外部からの入力に基づき、一又は複数のインデックス、及び当該インデックスに対応する画像表示対応情報が含まれている画像データを読み込む画像データ読込手段、
(2)所定時点での端末姿勢を基準姿勢として取得し記憶する基準姿勢記憶手段、
(3)前記画像データに含まれるインデックス数に応じて有効回転角を決定する有効回転角決定手段、
(4)前記基準姿勢からの所定時間毎の端末の傾き変化量を蓄積して記憶する変化量蓄積手段、
(5)前記蓄積された傾き変化量が有効回転角を超えたか否かを判定する回転超過判定手段、
(6)前記回転超過判定手段で前記蓄積された傾き変化量が有効回転角を超えたと判定された場合、基準姿勢/有効回転角/有効回転角の幅の一又は複数を更新する端末姿勢判定制御手段、
(7)前記蓄積された傾き変化量に応じて前記読み込まれた画像データの表示を制御する表示画像制御手段
(8)前記表示画像制御手段で制御された態様で画像表示する表示手段
を有することを特徴とする画像表示装置。
(1) Image data reading means for reading image data including one or a plurality of indexes and image display correspondence information corresponding to the indexes based on an external input;
(2) Reference posture storage means for acquiring and storing a terminal posture at a predetermined time as a reference posture;
(3) Effective rotation angle determining means for determining an effective rotation angle according to the number of indexes included in the image data;
(4) A change amount accumulation means for accumulating and storing a change amount of inclination of the terminal every predetermined time from the reference posture,
(5) Excess rotation determination means for determining whether or not the accumulated inclination change amount exceeds an effective rotation angle;
(6) Terminal attitude determination for updating one or more of the reference attitude / effective rotation angle / effective rotation angle width when the accumulated rotation change amount is determined by the excess rotation determination means to exceed the effective rotation angle. Control means,
(7) Display image control means for controlling display of the read image data in accordance with the accumulated inclination change amount. (8) Display means for displaying an image in a mode controlled by the display image control means. An image display device characterized by the above.
少なくともセンサ、制御部、記憶部、表示部を有する携帯端末において実行する画像表示制御方法であって、
外部からの入力に基づき、制御部が、一又は複数のインデックス、及び当該インデックスに対応する画像表示対応情報が含まれている画像データを読み込むステップと、
センサが、所定時点での携帯端末姿勢を基準姿勢として取得し記憶するステップと、
制御部が、前記画像データに含まれるインデックス数に応じて有効回転角を決定するステップと、
記憶部が、前記基準姿勢からの所定時間毎の端末の傾き変化量を蓄積して記憶するステップと、
制御部が、前記蓄積された傾き変化量が有効回転角を超えたか否かを判定するステップと、
前記蓄積された傾き変化量が有効回転角を超えたと判定された場合、基準姿勢/有効回転角/有効回転角の幅の一又は複数を更新するステップと、
前記蓄積された傾き変化量に応じて前記読み込まれた画像データの表示を制御するステップと、
前記表示画像制御手段で制御された態様で画像表示するステップと、
を実行することを特徴とする画像表示制御方法。


An image display control method executed in a portable terminal having at least a sensor, a control unit, a storage unit, and a display unit,
Based on an input from the outside, the control unit reads one or a plurality of indexes and image data including image display correspondence information corresponding to the indexes,
A step of acquiring and storing a mobile terminal posture at a predetermined time as a reference posture;
A step of determining an effective rotation angle according to the number of indexes included in the image data;
A storage unit that accumulates and stores an inclination change amount of the terminal every predetermined time from the reference posture;
A step of determining whether or not the accumulated inclination change amount exceeds an effective rotation angle;
If it is determined that the accumulated amount of change in inclination exceeds the effective rotation angle, updating one or more of the reference posture / effective rotation angle / effective rotation angle width;
Controlling the display of the read image data in accordance with the accumulated inclination change amount;
Displaying an image in a manner controlled by the display image control means;
The image display control method characterized by performing.


JP2015087668A 2015-04-22 2015-04-22 Image display control program, image display control method and image display device Pending JP2016206405A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015087668A JP2016206405A (en) 2015-04-22 2015-04-22 Image display control program, image display control method and image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015087668A JP2016206405A (en) 2015-04-22 2015-04-22 Image display control program, image display control method and image display device

Publications (1)

Publication Number Publication Date
JP2016206405A true JP2016206405A (en) 2016-12-08

Family

ID=57487731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015087668A Pending JP2016206405A (en) 2015-04-22 2015-04-22 Image display control program, image display control method and image display device

Country Status (1)

Country Link
JP (1) JP2016206405A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225804A1 (en) * 2017-06-08 2018-12-13 ナーブ株式会社 Image display device, image display method, and image display program
CN117064375A (en) * 2023-07-18 2023-11-17 江西瑞声电子有限公司 Head posture monitoring method, main control equipment and intelligent wearable equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191515A (en) * 2010-03-15 2011-09-29 Sony Corp Image display device, image display control method, and program
JP2011197358A (en) * 2010-03-19 2011-10-06 Sony Corp Apparatus and method for processing image, and program
US20120105677A1 (en) * 2010-11-03 2012-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing location information-based image data
JP2014238717A (en) * 2013-06-07 2014-12-18 日本電信電話株式会社 Portable terminal device, display control method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191515A (en) * 2010-03-15 2011-09-29 Sony Corp Image display device, image display control method, and program
JP2011197358A (en) * 2010-03-19 2011-10-06 Sony Corp Apparatus and method for processing image, and program
US20120105677A1 (en) * 2010-11-03 2012-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing location information-based image data
JP2014238717A (en) * 2013-06-07 2014-12-18 日本電信電話株式会社 Portable terminal device, display control method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225804A1 (en) * 2017-06-08 2018-12-13 ナーブ株式会社 Image display device, image display method, and image display program
CN117064375A (en) * 2023-07-18 2023-11-17 江西瑞声电子有限公司 Head posture monitoring method, main control equipment and intelligent wearable equipment
CN117064375B (en) * 2023-07-18 2024-03-22 江西瑞声电子有限公司 Head posture monitoring method, main control equipment and intelligent wearable equipment

Similar Documents

Publication Publication Date Title
US10346022B2 (en) Tilt-based view scrolling with baseline update for proportional and dynamic modes
US10429925B2 (en) Head-mounted display, information processing device, display control method, and program
JP5959047B2 (en) Display control system, display control method, display control program, and display control apparatus
EP2366141B1 (en) Tiltable user interface
JP6235790B2 (en) Display control system, display control device, display control program, and display control method
CN107710105B (en) Operation input device and operation input method
CN102934157A (en) Display device and method of switching display direction
KR20130051697A (en) Apparatus and method for controlling image display based on terminal movement
CN103777742A (en) Method for providing user interface in display device and display device
CN102033689A (en) Mobile terminal and method for displaying information on mobile terminal
WO2020157955A1 (en) Virtual object display device and virtual object display method
WO2011114943A1 (en) Image display apparatus, image display control method and program
CN101739199A (en) Mobile terminal and method for displaying images
JP6024725B2 (en) system
CN106445334B (en) Display interface adjusting method and adjusting system
JP6100497B2 (en) Information processing program, information processing apparatus, information processing system, and image display method
JP2016206405A (en) Image display control program, image display control method and image display device
JP6099237B2 (en) Display control system, display control method, display control program, and display control apparatus
KR20120064831A (en) Three dimensional camera device and control method thereof
JP7055111B2 (en) Mobile devices, programs and methods that can estimate the user's neck bending state
WO2020062163A1 (en) Method for controlling pan-tilt, and handheld pan-tilt and handheld device
JP7507853B2 (en) Self-adaptive display aspect ratio adjuster and gestures on a rolling device - Patents.com
US10503277B1 (en) Accelerometer-based content display adjustment
JP7077405B2 (en) Head-mounted display and setting method
WO2021084884A1 (en) Head-mounted display device and display content control method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190304

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200901