JP2012194787A - Image display apparatus, image display method, and computer program - Google Patents
Image display apparatus, image display method, and computer program Download PDFInfo
- Publication number
- JP2012194787A JP2012194787A JP2011058292A JP2011058292A JP2012194787A JP 2012194787 A JP2012194787 A JP 2012194787A JP 2011058292 A JP2011058292 A JP 2011058292A JP 2011058292 A JP2011058292 A JP 2011058292A JP 2012194787 A JP2012194787 A JP 2012194787A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- images
- unit time
- overlap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像表示装置、画像表示方法及びコンピュータプログラムに関する。 The present invention relates to an image display device, an image display method, and a computer program.
近年、デジタルカメラの普及に伴い、簡単にデジタル写真を撮影することが可能となり、ユーザが画像を撮影する機会は確実に増えてきている。撮影された画像データは通常、パーソナルコンピュータ（ＰＣ）のハードディスク等に蓄積されることが多い。その量は年々増えてしまうため、さまざまなタグ情報等を活用してこれらを整理しようとする試みも有効である。 In recent years, with the widespread use of digital cameras, it has become possible to easily take digital photographs, and the opportunities for users to shoot images have definitely increased. Captured image data is usually stored in a hard disk of a personal computer (PC) in many cases. Since the amount increases year by year, it is also effective to use various tag information to organize them.
特許文献１は、コンピュータの表示装置の画面上であたかもプリントアウトされた写真を机の上に広げて仕分け作業を行っているのと同じ感覚で、画像の整理を行わせる技術を開示している。 Patent Document 1 discloses a technique for organizing images with the same feeling as if a photo printed on a screen of a computer display device is spread on a desk and sorted. .
しかしながら、複雑なメタデータを用意してもユーザはあまり利用せず、多くの場合、撮影日時など単純なタグ情報だけで十分といえる。また、撮りためた画像の中から特定の写真を探し出して利用するという機会は、実はそれほど多くはない。日常生活の中では、むしろスライドショーやデジタルフォトフレーム等を使って、なんとなく無意識に（アンビエントに）画像を眺めていることの方が多い。 However, even if complicated metadata is prepared, the user does not use much, and in many cases, simple tag information such as shooting date and time is sufficient. In fact, there are not many opportunities to search for and use specific photos from the images taken. In daily life, there are many people who look at images unconsciously (ambiently) rather than using slideshows or digital photo frames.
このように明確な意図があるわけではないが撮った画像をなんとなく見たい、あまり明確に意識しなくても画像を楽しみたい、さりげなく人にも見せたい、といった要望に適格に応えることのできる画像群の表示方法はこれまで提案されていなかった。 Although it does not have a clear intention like this, it can respond appropriately to requests such as wanting to see the image taken somehow, enjoying the image even if it is not very conscious, or wanting to casually show it to people The display method of the image group has not been proposed so far.
そこで、本発明は一度に多くの画像を同時に眺めることができる新しい画像群の表示技術であって、各画像の配置を固定することなく自律的に移動しながら表示する技術を提供することを目的とする。 Accordingly, the present invention provides a new image group display technology that allows many images to be viewed at the same time, and provides a technology for displaying the images while moving autonomously without fixing the arrangement of the images. And
上記課題を解決するための本発明は、複数の画像を表示装置の表示画面上に配列して表示させる画像表示装置であって、
前記複数の画像に含まれる各画像について、前記表示画面上における単位時間毎の異なる表示状態を決定する処理手段と、
前記表示状態に従って、前記複数の画像のそれぞれを前記表示画面に表示させる表示制御手段と
を備え、
前記表示状態には、前記画像の前記表示画面上での表示位置、基準方向に対する画像の傾き、表示サイズの少なくともいずれかの表示状態の種別が含まれ、
前記処理手段は、前記複数の画像が互いに重なり合う場合には当該重なり合いを解消するように、または、前記複数の画像が互いに重なり合わないように前記表示状態を決定することを特徴とする。
The present invention for solving the above problems is an image display device that displays a plurality of images arranged on a display screen of a display device,
Processing means for determining different display states for each unit time on the display screen for each image included in the plurality of images;
Display control means for displaying each of the plurality of images on the display screen according to the display state;
The display state includes at least one of a display position on the display screen of the image, a tilt of the image with respect to a reference direction, and a display state type of display size,
The processing means determines the display state so as to eliminate the overlap when the plurality of images overlap each other, or to prevent the plurality of images from overlapping each other.
以上の本発明によれば、一度に多くの画像を同時に眺めることができる新しい画像群の表示技術であって、各画像の配置を固定することなく自律的に移動しながら表示する技術を提供することができる。 According to the present invention described above, there is provided a new image group display technology capable of simultaneously viewing many images at once, and a technology for displaying the images while moving autonomously without fixing the arrangement of the images. be able to.
以下、添付する図面を参照して、発明の実施形態を説明する。図１Ａは、発明の実施形態に対応する画像表示装置１００のハードウェア構成の一例を示す図である。当該画像表示装置１００は、例えば、パーソナルコンピュータとして実現が可能である。しかしながら、画像表示装置１００の実施形態はパーソナルコンピュータに限定されるものではなく、ディスプレイを有し複数枚の画像を表示可能な装置であれば、どのようなものであってもよい。例えば、デジタルカメラ、携帯電話、スマートフォン、ＰＤＡ、ノートパソコン、カーナビ装置などが含まれる。 Embodiments of the invention will be described below with reference to the accompanying drawings. FIG. 1A is a diagram illustrating an example of a hardware configuration of an image display apparatus 100 corresponding to the embodiment of the invention. The image display apparatus 100 can be realized as a personal computer, for example. However, the embodiment of the image display device 100 is not limited to a personal computer, and any device may be used as long as it has a display and can display a plurality of images. For example, a digital camera, a mobile phone, a smartphone, a PDA, a notebook computer, a car navigation device, and the like are included.
図１Ａにおいて、ＣＰＵ１０１は、ハードディスク等の内部記憶装置１１０に格納されているプログラム（ＯＳ、アプリケーションプログラム等）を、ＲＡＭ１０２を利用して実行することで画像表示装置１００の全体制御を行う。また、ＣＰＵ１０１は、画像表示用プログラム１１１を実行して、画像データ１１２を用いた本実施形態に対応する画像表示処理を行う。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。操作部１０３は、ユーザからの操作指示を受け付けるためのユーザインタフェースであって、マウス、キーボードを含む。また、画像表示装置１００がタッチパネルを有する場合には、当該タッチパネルも操作部１０３として機能する。また、ユーザの視線検出を行うためにヘッドマウントディスプレイ（ＨＭＤ）を用いる場合、当該ＨＭＤを操作部１０３の一部とすることができる。 In FIG. 1A, the CPU 101 performs overall control of the image display apparatus 100 by executing a program (OS, application program, etc.) stored in an internal storage device 110 such as a hard disk using the RAM 102. Further, the CPU 101 executes the image display program 111 and performs image display processing corresponding to the present embodiment using the image data 112. The RAM 102 functions as a main memory, work area, and the like for the CPU 101. The operation unit 103 is a user interface for receiving an operation instruction from a user, and includes a mouse and a keyboard. When the image display apparatus 100 includes a touch panel, the touch panel also functions as the operation unit 103. Further, when a head mounted display (HMD) is used to detect a user's line of sight, the HMD can be a part of the operation unit 103.
通信インタフェース（Ｉ／Ｆ）１０４は、画像表示装置１００が外部機器（デジタルカメラ、他のＰＣ、プリンタ）と通信するためのインタフェースや、ＬＡＮやインターネットに接続するためのネットワークインタフェースを含む。通信方式は、有線、無線の別を問わない。また、Bluetooth（登録商標）や赤外線通信等の近距離無線通信方式に対応することも可能である。ＲＯＭ１０５は、ＣＰＵ１０１で実行される処理プログラムの一部、例えば基本Ｉ／Ｏプログラム等のプログラムを記憶する。 The communication interface (I / F) 104 includes an interface for the image display apparatus 100 to communicate with an external device (digital camera, other PC, printer), and a network interface for connecting to a LAN or the Internet. The communication method may be either wired or wireless. It is also possible to support short-range wireless communication methods such as Bluetooth (registered trademark) and infrared communication. The ROM 105 stores a part of a processing program executed by the CPU 101, for example, a program such as a basic I / O program.
表示制御部１０６は、画像やその他の情報を表示するためのディスプレイ１０７と接続され、ディスプレイ１０７に表示用の情報を出力する。ディスプレイ１０７は液晶パネル、有機ＥＬパネルなどで構成される。表示制御部１０６とディスプレイ１０７とは、画像表示装置１００に一体化されていてもよいし、外付けでケーブルなどにより接続されてもよい。ディスプレイ１０７の解像度やサイズは特に限定しないが、解像度やサイズに応じて実施形態に対応する画像表示処理における設定値が変更されてもよい。また、上述のようにディスプレイ１０７をタッチパネルとして構成して、操作部１０３を兼ねてもよい。サウンド処理部１０８は、内部記憶装置１１０が記憶するプログラム１１３に含まれるサウンドデータからＢＧＭや効果音を生成し、スピーカ１０９に生成したＢＧＭや効果音などを出力する。 The display control unit 106 is connected to a display 107 for displaying images and other information, and outputs display information to the display 107. The display 107 is composed of a liquid crystal panel, an organic EL panel, or the like. The display control unit 106 and the display 107 may be integrated with the image display apparatus 100, or may be externally connected by a cable or the like. The resolution and size of the display 107 are not particularly limited, but setting values in the image display processing corresponding to the embodiment may be changed according to the resolution and size. Further, the display 107 may be configured as a touch panel as described above, and may also serve as the operation unit 103. The sound processing unit 108 generates BGM and sound effects from sound data included in the program 113 stored in the internal storage device 110, and outputs the generated BGM and sound effects to the speaker 109.
内部記憶装置１１０は、例えばハードディスクやフラッシュメモリなど、書込と読出とが可能な記憶装置により構成されており、発明の実施形態に対応する画像表示用プログラム１１１、表示対象の画像データ１１２を記憶する。画像データ１１２は、通信インタフェース１０４を介してネットワークや外部装置から提供されてもよいし、メモリカード１１４から提供されてもよい。内部記憶装置１１０は更に、画像表示装置１００の動作に必要なプログラム１１３を記憶する。プログラム１１３には、ＯＳプログラム、アプリケーションプログラム、当該アプリケーションで使用されるデータ等が含まれる。 The internal storage device 110 is configured by a storage device capable of writing and reading, such as a hard disk and a flash memory, and stores an image display program 111 and display target image data 112 corresponding to the embodiment of the invention. To do. The image data 112 may be provided from a network or an external device via the communication interface 104, or may be provided from the memory card 114. The internal storage device 110 further stores a program 113 necessary for the operation of the image display device 100. The program 113 includes an OS program, an application program, data used by the application, and the like.
メモリカードインタフェース（Ｉ／Ｆ）１１３は、ＳＤカードやフラッシュメモリなどのメモリカードに記録された情報を読み取るためのメモリカード用インタフェースである。画像データ１１２は、当該カードを介して提供されてもよい。メモリカード１１４は、画像データや文書データなどの情報が記録された記憶媒体である。１１５は上述の各部を繋ぐバスであり、装置内のデータの流れを司る。 The memory card interface (I / F) 113 is a memory card interface for reading information recorded on a memory card such as an SD card or a flash memory. The image data 112 may be provided via the card. The memory card 114 is a storage medium on which information such as image data and document data is recorded. Reference numeral 115 denotes a bus connecting the above-described units, which controls the flow of data in the apparatus.
以下では、上述の構成を備える本実施形態における画像表示装置１００において実行される処理について説明する。まず、発明の基本的な技術的思想について概説する。 Below, the process performed in the image display apparatus 100 in this embodiment provided with the above-mentioned structure is demonstrated. First, the basic technical idea of the invention will be outlined.
できるだけ多くの写真を単一のディスプレイを使って、ユーザが飽きることなく何となく無意識に（アンビエントに）眺めることを可能にする方法として、本実施形態では複数の画像の配置を固定することなくある程度自動的に動かしながら表示することを考える。 As a method that allows the user to unconsciously (ambiently) view as many photos as possible using a single display, in this embodiment, the arrangement of multiple images is automatically fixed to a certain extent. Think about displaying while moving.
複数画像を配置して表示する手法として「フォトコラージュ」と呼ばれるものがある。このフォトコラージュは、画像を無造作に貼り合わせることで一枚絵の形として構成することが可能であって、複数画像を一度に見ることができるので効果的である。しかしながら、限られたスペース内に収容するための幾何学的な処理と、写真の色や意味に立ち入った処理が必要になる。これを自動または半自動的に作成する研究例として、Andreas Girgensohn and Patrick Chiu: Stained glass photo collages, In Proc. of ACM Symposium on User Interface Software and Technology, pp. 13-14, 2004.や、Heung-Yeung Shum: Picture Collage, In Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 347-354, 2006.などがある。画像を配置するレイアウトを決めるために、フォトコラージュの良さを評価するエネルギー関数を定義して、これを最小化するという組み合わせ最適化問題を解くアプローチをとる場合が多いが、一般に、計算時間がかかる。そのため、リアルタイムにレイアウトが変わりゆく様子が表示されることはなく、最終的に決定されたレイアウトに基づく画像表示がなされるだけである。また、最終的なレイアウトは固定的なものであって、そこからまた別のレイアウトに徐々に遷移していくこともない。 There is a technique called “photo collage” as a technique for arranging and displaying a plurality of images. This photo collage is effective because it can be configured as a single picture by pasting together images, and a plurality of images can be viewed at once. However, geometric processing for accommodating in a limited space and processing that takes into account the color and meaning of the photograph are required. Examples of research to create this automatically or semi-automatically include Andreas Girgensohn and Patrick Chiu: Stained glass photo collages, In Proc. Of ACM Symposium on User Interface Software and Technology, pp. 13-14, 2004. Shum: Picture Collage, In Proc. Of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 347-354, 2006. In order to decide the layout to place the image, an energy function that evaluates the goodness of photo collage is defined, and an approach to solve the combinatorial optimization problem of minimizing this is often taken, but generally it takes time to calculate . For this reason, the state of the layout changing in real time is not displayed, and only the image display based on the finally determined layout is performed. Also, the final layout is fixed, and there is no gradual transition from there to another layout.
これに対して本願では、複数の画像の配置を固定することなくある程度自動的に動かしながら表示する。そのため、画像の配置などに関する制約条件は常に変化すると考え、全体としての解を逐次評価して大局的な最適解を求めることはしない。そのかわり、個々の画像がそれぞれ局所的により良い状態に向かおうとすることによって、全体もより良い方向に向かうであろうという個別分散の考え方に基づき、その結果としての画像群の時々刻々の動きを画面表示する。この手法によれば、画像を閲覧しているユーザからの明確な指示がなくても一度に多くの写真を同時に表示することができると同時に、ユーザの指示に対して柔軟に反応してレイアウトを変更することができる。また、本手法は、スクリーンセーバーやデジタルフォトフレームのように画像を１枚ずつ順に表示するのではなく、多数の画像を同時に、かつ、表示位置や大きさを動的に変化させて表示することにより、画像群の新しい表示方法を提供するものである。 In contrast, in the present application, a plurality of images are displayed while being automatically moved to some extent without being fixed. For this reason, it is considered that the constraint conditions regarding the image arrangement and the like always change, and the overall solution is not evaluated sequentially to obtain a global optimum solution. Instead, based on the idea of individual dispersion that the individual images will be better in the local direction as each individual tries to go to a better state, the resulting movement of the resulting image group from moment to moment Is displayed on the screen. According to this method, even if there is no clear instruction from the user viewing the image, many photos can be displayed at the same time, and at the same time, the layout can be flexibly reacted to the user's instruction. Can be changed. In addition, this method does not display images one by one like a screen saver or digital photo frame, but displays a large number of images at the same time and dynamically changing the display position and size. The present invention provides a new method for displaying an image group.
次に、図１Ｂを参照して、本実施形態における画像表示の基本概念を説明する。図１Ｂにおいて、表示画面１０００にはＸＹ座標軸が設定され、表示画面上の任意の位置を座標（ｘ、ｙ）により特定することができる。また、表示画面内に表示される各画像は、基準サイズが割り当てられ、基準サイズに対する倍率に応じて表示サイズが決定される。例えば、倍率が「×１」であれば、基準サイズと同一サイズの画像が表示される。なお、表示画面１０００上に表示する各画像は、原画像のサムネイル画像を用いることとして、予め基準サイズに対応する解像度に縮小すると共に基準サイズに合わせて縦横比を修正しておく。 Next, the basic concept of image display in the present embodiment will be described with reference to FIG. 1B. In FIG. 1B, an XY coordinate axis is set on the display screen 1000, and an arbitrary position on the display screen can be specified by coordinates (x, y). Each image displayed in the display screen is assigned a reference size, and the display size is determined according to the magnification with respect to the reference size. For example, if the magnification is “× 1”, an image having the same size as the reference size is displayed. Note that each image displayed on the display screen 1000 uses a thumbnail image of the original image, and is previously reduced to a resolution corresponding to the reference size and the aspect ratio is corrected according to the reference size.
画像の表示位置は、例えば、基準サイズに対応するテンプレートの重心位置（対角線の交点位置）の座標と、基準方向に対する傾き（回転角度）に従って決定することができる。本実施形態では基準方向をＸ軸方向とする。仮に回転角度が０度の場合には、重心位置の座標が画像の表示位置の座標と一致するようにテンプレートが配置され、当該テンプレートの上にサムネイル画像が重畳表示される。また、回転角度が３０度の場合には、表示位置の座標に配置されたテンプレートを３０度回転させることにより、表示位置を決定することができる。この場合の回転方向は、反時計回りで０度から３６０度まで設定することができる。 The display position of the image can be determined, for example, according to the coordinates of the center of gravity position (intersection position of diagonal lines) corresponding to the reference size and the inclination (rotation angle) with respect to the reference direction. In the present embodiment, the reference direction is the X-axis direction. If the rotation angle is 0 degree, the template is arranged so that the coordinates of the center of gravity position coincide with the coordinates of the image display position, and the thumbnail image is superimposed and displayed on the template. When the rotation angle is 30 degrees, the display position can be determined by rotating the template arranged at the coordinates of the display position by 30 degrees. The rotation direction in this case can be set from 0 to 360 degrees counterclockwise.
なお、以上の説明では、基本サイズのテンプレートを用いて表示を行う場合に特化して説明を行ったが、基本サイズのテンプレートを用いず、原画像の縦横比に基づくサムネイルを用いて表示を行ってもよい。その場合には、画像の位置は重心位置でなくてもよく、画像の頂点を利用してもよい。 In the above description, the description is made specifically for the case where the display is performed using the basic size template. However, the display is performed using the thumbnail based on the aspect ratio of the original image without using the basic size template. May be. In that case, the position of the image may not be the position of the center of gravity, and the vertex of the image may be used.
そして本実施形態では、画像群の表示状態を同時に制御するために、画像毎に以下の３つのパラメータを制御する。
・表示領域（ウィンドウ）内での表示座標
・表示サイズ（基準に対する倍率）
・ウインドウ面内での回転角度
In the present embodiment, the following three parameters are controlled for each image in order to simultaneously control the display state of the image group.
-Display coordinates in the display area (window)-Display size (magnification with respect to the reference)
・ Rotation angle within the window
これら３つのパラメータを、隣接画像間の重なり合いの度合いなどに応じて時々刻々連続的に変化させることによって、画像群の全体としての動きを表現する。この方法によって、以下の効果が得られる。 By changing these three parameters continuously every moment according to the degree of overlap between adjacent images, the movement of the entire image group is expressed. By this method, the following effects can be obtained.
・ 従来の局所探索法と異なり、解の評価をしないで済むため、計算を高速化できる。 ・ Unlike the conventional local search method, it is not necessary to evaluate the solution, so the calculation can be speeded up.
・ 制御すべきパラメータの変化を単位時間あたりで捉えることができるので、画像の並べ方に関する要求事項や拘束条件等の変更を瞬時に反映させることができる。 -Since changes in parameters to be controlled can be captured per unit time, changes in requirements, constraint conditions, etc. relating to image alignment can be reflected instantaneously.
以下、本実施形態に対応する画像表示アルゴリズムをより具体的に説明する。次に示す式（１）は、発明の実施形態に対応する画像表示アルゴリズムの基本式である。
Hereinafter, the image display algorithm corresponding to this embodiment will be described more specifically. The following equation (1) is a basic equation of the image display algorithm corresponding to the embodiment of the invention.
式（１）は、最適化したいパラメータｘ の単位時間当たりの変化量dx/dt 、即ち画像の単位時間毎の画面内での画像の移動速度、倍率、回転角度を表す。右辺のは、画像の変化量を決定するためのパラメータの値に基づくベクトル関数である。このパラメータの値としては、例えば、注目画像とその隣接画像とのオーバーラップ量（重畳量）を用いることができる。ただし、パラメータの種類はオーバーラップ量に限定されるものではなく、より詳細な内容は後述する。また、ηは、ノイズ成分を表す。ノイズ成分の値は任意であって、単位時間毎にランダムに設定されてもよい。また、ユーザがリアルタイムで大きさを調節してもよい。また、必要がない場合には０としてもよい。また、方向成分が必要な場合（移動や回転の場合）には、ランダムに方向を選択して付加することができる。ノイズηは、式（１）において局所解に陥った状態から離脱するために用いられる。局所解に陥りやすい場合にはノイズη を大きくし、ランダム性を高めることにより、局所解から脱出させることができる。なお、ノイズ値は、変化量の種別に応じて、移動速度、倍率、回転角度のいずれかの値をとる。 Expression (1) represents the amount of change dx / dt per unit time of the parameter x 1 to be optimized, that is, the moving speed, magnification, and rotation angle of the image within the screen for each unit time of the image. The right side is a vector function based on the value of a parameter for determining the amount of change in the image. As the value of this parameter, for example, the overlap amount (superimposition amount) between the image of interest and its adjacent image can be used. However, the type of parameter is not limited to the overlap amount, and more detailed contents will be described later. Η represents a noise component. The value of the noise component is arbitrary and may be set at random for each unit time. In addition, the user may adjust the size in real time. If it is not necessary, 0 may be set. In addition, when a direction component is necessary (in the case of movement or rotation), a direction can be selected and added at random. The noise η is used to escape from the state that has fallen into the local solution in Equation (1). When it is easy to fall into a local solution, it is possible to escape from the local solution by increasing the noise η and enhancing the randomness. Note that the noise value takes one of a moving speed, a magnification, and a rotation angle depending on the type of change amount.
に発見的な手法を用いると、局所探索法とは異なり、解を評価しないで済むため計算を高速化できる。また、一般的な最適化手法との大きな違いとして、最適化の最中に時間が経過することを見越している点が挙げられる。パラメータの変化が単位時間あたりであるため、最適化の条件が変わってもそれを
の引数として与えるように設計しておくことにより瞬時に最適化に反映される。この式を式（２）に示す形でパラメータの種類に応じて複数組み合わせ、徐々に全体としての最適解へ以降するアプローチをとる。ｗiは重みを表わす。本実施形態では、このようなパラメータのことを以下では「要求項目」と呼ぶ。
If a heuristic method is used, unlike the local search method, it is not necessary to evaluate the solution, so the calculation can be speeded up. In addition, a major difference from general optimization methods is that it allows for the passage of time during optimization. Since the parameter changes per unit time, even if the optimization conditions change,
By designing it to be given as an argument of, it is reflected in optimization instantly. An approach is adopted in which a plurality of these formulas are combined in accordance with the type of parameters in the form shown in formula (2), and the subsequent optimal solutions are gradually obtained. w i represents a weight. In the present embodiment, such parameters are hereinafter referred to as “request items”.
なお、このように複数の要求事項に基づいて最適化すると、最適化の基準が競合し局所解に陥ることが予想されるが、これをノイズ値によって脱出可能なことも、本手法の利点である。即ち、このノイズ値は、
の値が０となってしまう場合でも、画像に一定の変化量を与えるために設定されている。
If optimization is performed based on multiple requirements in this way, it is expected that the optimization criteria will compete and fall into a local solution, but this can be escaped by the noise value. is there. That is, this noise value is
Even when the value of becomes zero, it is set to give a certain amount of change to the image.
いま、Ｐ を一つの画像データ、Ｉ を適当な入出力装置の情報、
を全写真データ、各写真の位置をPosition(P)、表示サイズ（基準に対する倍率）をScale(P)、回転角度をRotation(P)とする。それぞれに対応する要求事項の数をn、 m、 l として、式（２）を式（３Ａ）、（３Ｂ）、（３Ｃ）に変形して用いることとする。
Now, P is one piece of image data, I is information on an appropriate input / output device,
Are all photo data, the position of each photo is Position (P), the display size (magnification with respect to the reference) is Scale (P), and the rotation angle is Rotation (P). The number of requirements corresponding to each is n, m, l, and equation (2) is transformed into equations (3A), (3B), and (3C).
式（３A）から（３C）は一つの注目画像データＰのパラメータを最適化する式を表したものであって、全画像についてこれらを計算する。なお、
はそれぞれ、各画像の位置、サイズ、回転角度の変化を表わす関数である。即ち、式（３A）によれば、画像の位置の変化率、即ち画像の単位時間あたりの移動速度及び移動方向を表す速度ベクトルを算出することができる。ここで求められた速度ベクトルに従って、該当する画像の表示画面上での表示位置が変化する。式（３B）によれば、画像の倍率を算出することができる。表示画面上に表示される各画像は、全画像に共通の基準サイズ（倍率：×１）が与えられており、表示画面上での表示サイズは、当該基準サイズに対する倍率によって決定される。また、式（３C）によれば、画像の単位時間あたりの回転角度及び回転方向を算出することができる。
Expressions (3A) to (3C) represent expressions for optimizing the parameters of one target image data P, and these are calculated for all images. In addition,
Are functions representing changes in the position, size, and rotation angle of each image. That is, according to the equation (3A), it is possible to calculate the rate of change of the position of the image, that is, the velocity vector representing the moving speed and moving direction per unit time of the image. The display position of the corresponding image on the display screen changes according to the velocity vector obtained here. According to the equation (3B), the magnification of the image can be calculated. Each image displayed on the display screen is given a common reference size (magnification: × 1) for all images, and the display size on the display screen is determined by the magnification relative to the reference size. Further, according to the equation (3C), the rotation angle and the rotation direction per unit time of the image can be calculated.
発明の実施形態では以上の３つの変化量に基づいて、表示領域内に表示されている複数画像の各画像の表示状態を制御する処理の具体例を図２のフローチャートを参照して説明する。図２に対応する処理は、画像表示用プログラム１１１をＣＰＵ１０１が実行することにより実現される。 In the embodiment of the invention, a specific example of processing for controlling the display state of each of a plurality of images displayed in the display area based on the above three change amounts will be described with reference to the flowchart of FIG. The processing corresponding to FIG. 2 is realized by the CPU 101 executing the image display program 111.
まず、Ｓ２０１では、式（３Ａ）から（３Ｃ）までの各変化量を算出するための要求項目の内容を決定する。要求項目の詳細については後述するが、幾何学的項目と意味的項目との大きく２種類が含まれる。続くＳ２０２では、表示画面上に表示されている複数の画像のうち、変化量の算出対象となる画像を選択する。続くＳ２０３では、Ｓ２０１において設定された要求項目毎に、速度ベクトル、回転角度及び方向、倍率の各変化量を算出する。 First, in S201, the content of the request item for calculating each change amount from the equations (3A) to (3C) is determined. The details of the request items will be described later, but there are roughly two types of geometric items and semantic items. In subsequent S202, an image to be calculated for change is selected from among a plurality of images displayed on the display screen. In subsequent S203, for each request item set in S201, each change amount of the speed vector, the rotation angle and direction, and the magnification is calculated.
次にＳ２０４では、Ｓ２０３で算出した要求項目ごとの変化量を種別毎に合成して、合成速度ベクトル、合成回転角度・方向、合成倍率の各値を求める。続くＳ２０５では、Ｓ２０４で算出された合成結果の値に基づいて、表示画面上における選択画像の表示状態を直前の表示状態から変更する。例えば、算出された合成速度ベクトルに基づいて、選択画像の重心位置を速度ベクトルに基づく方向に単位時間あたりの速度に相当する距離だけ、直前の表示位置から移動させる。また、合成回転角度・方向については、算出された角度及び方向に基づいて選択画像の重心を基準に、直前の表示状態から回転させる。さらに、合成倍率については、算出された倍率に従って基準サイズから画像サイズを変更し、変更後のサイズに対応するサムネイル画像を表示する。 In step S204, the amount of change for each request item calculated in step S203 is combined for each type, and each value of the combined speed vector, combined rotation angle / direction, and combined magnification is obtained. In subsequent S205, the display state of the selected image on the display screen is changed from the previous display state based on the value of the synthesis result calculated in S204. For example, based on the calculated combined velocity vector, the center of gravity position of the selected image is moved from the previous display position by a distance corresponding to the velocity per unit time in the direction based on the velocity vector. Further, the combined rotation angle / direction is rotated from the previous display state based on the center of gravity of the selected image based on the calculated angle and direction. Furthermore, with respect to the composite magnification, the image size is changed from the reference size according to the calculated magnification, and a thumbnail image corresponding to the changed size is displayed.
なお、発明の実施形態では、これらの値を単位時間ごとに全画像について計算するが、計算負荷を削減するために一部の写真についての計算を省略してもよい。例えば、ユーザが表示領域の一部の画像を指定している場合、その画像を基準として一定距離に位置する画像や、指定画像と共通する属性を有する画像を対象として計算を行ってもよい。 In the embodiment of the invention, these values are calculated for all images every unit time, but the calculation for some photographs may be omitted in order to reduce the calculation load. For example, when the user designates a part of the image in the display area, the calculation may be performed for an image located at a certain distance with the image as a reference or an image having an attribute common to the designated image.
次に、発明の実施形態における要求項目を説明する。要求事項には、幾何学的項目と、意味的項目との２種類がある。まず幾何学的項目には、例えば以下のものが含まれる。
幾何学的項目１：他の画像と重ならないように並進移動する
幾何学的項目２：表示指定領域からはみ出さない
幾何学的項目３：他の画像と重ならないように小さくなる
幾何学的項目４：できるだけ大きくなる
幾何学的項目５：他の画像と重ならないように、または特定の目的のために回転する
Next, required items in the embodiment of the invention will be described. There are two types of requirements: geometric items and semantic items. First, the geometric items include the following, for example.
Geometric item 1: Translate so that it does not overlap with other images Geometric item 2: Do not protrude from the display designated area Geometric item 3: Reduce so as not to overlap other images Geometric item 4: Increase as much as possible Geometric item 5: Rotate to avoid overlapping with other images or for specific purposes
また、意味的項目には、例えば以下のものが含まれる。
意味的項目１：注目画像の拡大
意味的項目２：属性が類似する画像を引き寄せる
Further, the semantic items include, for example, the following.
Semantic item 1: enlargement of attention image Semantic item 2: draw images with similar attributes
本実施形態では、これらの要求項目毎に、画像の変化量を算出することとし、算出された変化量を合成することにより各画像の表示画面上での動きを制御する。例えば、幾何学的項目１及び２からそれぞれ速度ベクトルが得られれば、得られた２つの速度ベクトルを合成する。そして、得られた合成ベクトルを用いて対応する画像の表示位置を制御する。また、幾何学的項目３と幾何学的項目４とでそれぞれ倍率が得られた場合には、当該倍率を合成して対応する画像のその時点での表示倍率とすることができる。倍率の合成方法としては、例えば拡大を「正」、縮小を「負」として符号を与えて加算により計算してもよい。 In the present embodiment, the amount of change of the image is calculated for each of these request items, and the movement of each image on the display screen is controlled by synthesizing the calculated amount of change. For example, if velocity vectors are obtained from the geometric items 1 and 2, respectively, the two obtained velocity vectors are synthesized. Then, the display position of the corresponding image is controlled using the obtained composite vector. Further, when the magnification is obtained for each of the geometric item 3 and the geometric item 4, the magnifications can be combined to obtain the display magnification at the time of the corresponding image. As a method of combining the magnifications, for example, the enlargement may be “positive” and the reduction may be “negative”.
また、意味的項目が加味される場合、意味的項目１については、注目画像と指定された画像の倍率は一定の倍率（例えば、最大倍率）まで強制的に拡大される。その際、注目画像以外の画像には幾何学的項目に基づく変化量が算出されるので、拡大する注目画像と重複しないように並進移動や倍率の縮小が行われる。 When the semantic item is taken into consideration, for the semantic item 1, the magnification of the image designated as the target image is forcibly enlarged to a certain magnification (for example, the maximum magnification). At this time, since an amount of change based on a geometric item is calculated for an image other than the target image, translational movement and magnification reduction are performed so as not to overlap with the target image to be enlarged.
以下、各要件項目における変化量の算出方法の詳細を説明する。 Hereinafter, the details of the calculation method of the change amount in each requirement item will be described.
＜幾何学的項目１について＞
まず、幾何学的項目１の「他の画像と重ならないように並進移動する」を考える。ここでは、処理対象の画像の枚数をＮ として、注目画像が他の画像と重なっていれば逆方向に移動する機能として式（４）に基づき実装可能である。
<About geometric item 1>
First, consider the geometric item 1 “translate so as not to overlap other images”. Here, the number of images to be processed is N 1, and if the target image overlaps with other images, the function of moving in the reverse direction can be implemented based on Expression (4).
式（４）において、Avoid (P、 Pi) は画像P がPi と重なっていた場合にP が逃げる方向を示すベクトル関数である。Adjacency(P) は画像P と重なっている画像の集合である。即ち、Avoid (P、 Pi)からは、画像Ｐと画像Ｐｉとの重なり合いの度合い（重畳面積の大きさ）に応じた画像Ｐの変化量が、並進移動の速度ベクトルとして得られる。 In Expression (4), Avoid (P, Pi) is a vector function indicating the direction in which P escapes when the image P overlaps Pi. Adjacency (P) is a set of images that overlap image P. That is, from Avoid (P, Pi), the amount of change of the image P corresponding to the degree of overlap between the image P and the image Pi (the size of the overlap area) is obtained as the translational velocity vector.
図３は、このような重畳を避ける方向に並進移動する画像の様子を一例として示す。図３は、表示画面１０００上に複数の画像が表示されている様子を示す。このうちいくつかの画像は互いに重畳しているために、重畳を排除する方向に移動する。例えば、画像３０１、３０２、３０３の３枚の画像は、画像３０１と３０２、３０２と３０３が互いに重畳している。この重畳の有無は、例えば、画像を互いに向かい合う２つの頂点（ｘ１、ｙ１）、（ｘ２、ｙ２）で特定すると仮定した場合、当該頂点により特定される範囲ｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ１、或いは、矩形領域に他の画像のいずれかの頂点（ｘ３、ｙ３）が属するか否かにより判定することができる。 FIG. 3 shows an example of the state of an image that translates in a direction that avoids such superposition. FIG. 3 shows a state in which a plurality of images are displayed on the display screen 1000. Since some of these images are superposed on each other, they move in a direction to eliminate superposition. For example, three images 301, 302, and 303 have images 301 and 302, and 302 and 303 superimposed on each other. For example, when it is assumed that the image is specified by two vertices (x1, y1) and (x2, y2) facing each other, the range x1 ≦ x ≦ x2, y1 ≦ y ≦ It can be determined by y1 or whether any vertex (x3, y3) of another image belongs to the rectangular area.
また、Avoid (P,Pi)は、画像ＰとＰｉの重畳面積（Ｓo）に基づく所定の関数として表せるが、たとえば、速度の最大値をＶmax、表示画像の面積をＳiとした場合に、Ｖmax・(Ｓo／Ｓi)として、重畳面積Ｓoに比例させてもよい。その一方、重畳面積ではなく重畳領域の対角線の長さにより決定することもできる。重なり合いの度合いを算出する基準は、重畳領域の大きさに比例するパラメータであればこれらに限定されない。また、重畳面積とは無関係に固定の大きさを与えても良い。また、速度ベクトルの方向は、画像の重畳を避ける方向に設定される。当該方向の決定方法としては、図４（Ａ）に示すように互いに重畳しあっている画像の重心を結んだ線分を延長し（一点鎖線４０１）、画像が互いに離れ合う方向（矢印４０２及び４０３）に設定することができる。また、画像が重なり合う領域の対角線の延長線上でもよい。 Avoid (P, Pi) can be expressed as a predetermined function based on the overlapping area (So) of the images P and Pi. For example, when the maximum speed is Vmax and the area of the display image is Si, Vmax -(So / Si) may be proportional to the overlapping area So. On the other hand, it can be determined not by the overlapping area but by the diagonal length of the overlapping region. The reference for calculating the degree of overlap is not limited to these as long as it is a parameter proportional to the size of the overlap region. Further, a fixed size may be given regardless of the overlapping area. Also, the direction of the velocity vector is set to a direction that avoids image superimposition. As a method for determining the direction, as shown in FIG. 4A, the line segment connecting the centroids of the images that are superimposed on each other is extended (dashed line 401), and the images are separated from each other (arrows 402 and 403). Moreover, it may be on the extended line of the diagonal line of the region where the images overlap.
図３の例では、画像３０１は右下に位置する画像３０２と重畳しあっているので、速度ベクトルの方向は画面左上に向くように与えられる。また、画像は必ずしも１枚の画像と重なり合っているとは限らず、画像３０２のように複数枚の画像と重なり合っていることも考えられる。その場合には、重なり合っている画像同士で速度ベクトルを算出し、算出されたベクトルを合成して当該画像の速度ベクトルとすることができる。図３では、合成前の速度ベクトルを点線で、合成後の速度ベクトルを実線で示している。 In the example of FIG. 3, since the image 301 is superimposed on the image 302 located at the lower right, the direction of the velocity vector is given to face the upper left of the screen. In addition, the image does not necessarily overlap with one image, and may overlap with a plurality of images such as the image 302. In that case, a velocity vector can be calculated between the overlapping images, and the calculated vectors can be combined to obtain the velocity vector of the image. In FIG. 3, the speed vector before synthesis is indicated by a dotted line, and the speed vector after synthesis is indicated by a solid line.
＜幾何学的項目２について＞
次に幾何学的項目２の「表示指定領域からはみ出さない」について考える。この項目は、ウインドウなどの表示領域として指定されている領域から画像がはみ出していれば内側に留める機能として式（５）に基づき実装できる。L、 B、 R、T はそれぞれウインドウなど表示画面１０００の左端、下端、右端、上端の座標を、L(P)、 B(P)、 R(P)、 T(P) はそれぞれ画像P の左端、下端、右端、上端の座標を表し、Al、 Ab、Ar、 At は係数を表す。なお、表示画面に対する座標系の設定は、図１Ｂに示したとおりである。式（５）では、表示画面１０００からの画像Ｐのはみ出し量に係数を掛け合わせることで、４方向における画像の速度ベクトルを算出する。
<About Geometric Item 2>
Next, the geometric item 2 “does not protrude from the display designated area” will be considered. This item can be implemented based on Expression (5) as a function to keep the image inside if the image protrudes from an area designated as a display area such as a window. L, B, R, and T are the coordinates of the left, bottom, right, and top edges of the display screen 1000 such as a window, respectively, and L (P), B (P), R (P), and T (P) are the coordinates of the image P. It represents left, bottom, right end, the coordinate of the upper end, a l, a b, a r, a t represents a coefficient. The setting of the coordinate system for the display screen is as shown in FIG. 1B. In Expression (5), the velocity vector of the image in four directions is calculated by multiplying the amount of protrusion of the image P from the display screen 1000 by a coefficient.
図３において、画像３０４は、表示画面１０００からはみ出した画像の例を示している。この場合、画像は表示画面１０００の上端の座標を超えて存在していることとなるので、下端に向かう速度ベクトルが設定される。速度ベクトルの大きさは、上記の画像間の重畳面積Ｓoの場合と同様、はみ出している領域の面積の大きさに基づく関数として決定されてもよいし、それとは無関係に固定値としても良い。 In FIG. 3, an image 304 shows an example of an image that protrudes from the display screen 1000. In this case, since the image exists beyond the coordinates of the upper end of the display screen 1000, a velocity vector toward the lower end is set. The magnitude of the velocity vector may be determined as a function based on the size of the area of the protruding region, as in the case of the overlapping area So between the images, or may be a fixed value regardless of this.
＜幾何学的項目３について＞
次に、幾何学的項目３の「他の画像と重ならないように小さくなる」について考える。この場合、画像を縮小することで重なりを回避する機能を式（６）に基づいて実装できる。ここで得られる値は、画像の表示倍率であり、対象画像の倍率を算出値に基づいて変更する。ただし二つの画像が重なっていた場合は、表示倍率が大きい方を縮小し、かつ、表示倍率が最小倍率よりも大きいことを前提とする。なお、Scale(P)は表示サイズ（基準に対する倍率）を表し、Ａslは係数を表す。また、Scaleminは最小倍率を示し、一つの実施形態では「×１」として基準サイズよりも小さくしないように設定することもできる。その場合であっても、基準サイズを別途設定可能にすることもできる。式（６）では、画像Ｐの倍率と最小倍率との差分に係数を掛け合わせることで縮小後の画像の表示倍率を算出することができる。
<About geometric item 3>
Next, consider geometric item 3 “smaller so as not to overlap other images”. In this case, a function for avoiding overlap by reducing the image can be implemented based on Expression (6). The value obtained here is the display magnification of the image, and the magnification of the target image is changed based on the calculated value. However, when two images are overlapped, it is assumed that the larger display magnification is reduced and the display magnification is larger than the minimum magnification. Scale (P) represents the display size (magnification with respect to the reference), and Asl represents a coefficient. Scale min indicates a minimum magnification. In one embodiment, “× 1” can be set so as not to be smaller than the reference size. Even in this case, the reference size can be set separately. In Expression (6), the display magnification of the reduced image can be calculated by multiplying the difference between the magnification of the image P and the minimum magnification by a coefficient.
図３において、画像３０５は、画像３０６と重なり合っていたために倍率が縮小された画像である。実線で示す矩形領域は画像３０６と重なり合っているが、倍率が縮小されて点線で表す大きさまで縮小される。ここでは、画像３０６が画像３０５よりも倍率の小さい画像であるために、画像３０５の倍率が縮小されている。 In FIG. 3, an image 305 is an image whose magnification is reduced because it overlaps with the image 306. Although the rectangular area indicated by the solid line overlaps with the image 306, the magnification is reduced to the size indicated by the dotted line. Here, since the image 306 is an image having a smaller magnification than the image 305, the magnification of the image 305 is reduced.
＜幾何学的項目４について＞
次に幾何学的項目４の「できるだけ大きくなる」について考える。この場合、画像Ｐが他の画像Ｐｉと重なっていない場合に拡大する機能として、式（７）に基づいて実装できる。ここで得られる値は、拡大後の画像の倍率であり、対象画像の倍率を算出値に基づいて変更する。式（７）では、最大倍率と現在の倍率との差分を新たな倍率としているが、差分に所定の係数を掛け合わせてもよい。また、それ以外にも例えば倍率を単位時間当たり「×0.5」ずつ増加させることができる。仮に基準サイズ「×１」から始まる場合、×１．５、×２、×２．５・・・のように増加する。倍率の増加単位は任意であり、０．５より大きくても小さくてもよい。あるいは、隣接画像との間隔に基づいて決定されてもよい。
<About Geometric Item 4>
Next, the geometric item 4 “becomes as large as possible” is considered. In this case, the function of enlarging when the image P does not overlap with another image Pi can be implemented based on the equation (7). The value obtained here is the magnification of the enlarged image, and the magnification of the target image is changed based on the calculated value. In Expression (7), the difference between the maximum magnification and the current magnification is a new magnification, but the difference may be multiplied by a predetermined coefficient. In addition, for example, the magnification can be increased by “× 0.5” per unit time. If it starts from the reference size “× 1”, it increases to × 1.5, × 2, × 2.5. The unit for increasing the magnification is arbitrary and may be larger or smaller than 0.5. Or you may determine based on the space | interval with an adjacent image.
なお、Scale(P)は表示サイズ（基準に対する倍率）を表す。また、Scalemaxは最大倍率を示す。
Note that Scale (P) represents the display size (magnification with respect to the reference). Scale max indicates the maximum magnification.
図３において、画像３０７は、いずれの画像とも重畳していたために倍率が拡大される画像である。実線で示す矩形領域は現在の画像３０７のサイズを示すが、倍率が拡大されて点線で表す大きさまで拡大される。なお、Scale(P)は表示サイズ（基準に対する倍率）を表す。また、Scalemaxは最大倍率を示す。 In FIG. 3, an image 307 is an image whose magnification is enlarged because it is superimposed on any image. The rectangular area indicated by the solid line indicates the size of the current image 307, but the magnification is increased to the size indicated by the dotted line. Note that Scale (P) represents the display size (magnification with respect to the reference). Scale max indicates the maximum magnification.
＜幾何学的項目５について＞
次に幾何学的項目５の「他の画像と重ならないように回転する」について考える。ここでは、処理対象の画像の枚数をＮ として、注目画像が他の画像と重なっていれば重なりを排除する方向に回転する機能として式（８）に基づき実装可能である。式（８）において、Rotation (P,Pi) は画像P がPi と重なっていた場合にP が逃げる回転方向及び角度を示す。Adjacency(P) は画像P と重なっている画像の集合である。即ち、Rotation (P、 Pi)からは、画像Ｐと画像Ｐｉとの重なり合いの度合い（重畳面積の大きさ）に応じた画像Ｐの変化量が、所定方向の回転角度として得られる。
<About geometric item 5>
Next, consider geometric item 5 “Rotate so as not to overlap other images”. Here, it is possible to implement the function based on the equation (8) as a function that rotates in a direction to eliminate overlap if the target image overlaps with other images, where N is the number of images to be processed. In equation (8), Rotation (P, Pi) indicates the rotation direction and angle at which P escapes when image P overlaps with Pi. Adjacency (P) is a set of images that overlap image P. That is, from Rotation (P, Pi), a change amount of the image P corresponding to the degree of overlap between the image P and the image Pi (the size of the overlap area) is obtained as a rotation angle in a predetermined direction.
例えば、図３において、画像３０８は、画像３０９と重なり合っているが、時計方向に角度θ１だけ回転することで重なり合わなくなる。即ち、上記式（８）に基づき時計方向に角度θ１が得られる。以下、この回転方向と角度の算出方法を説明する。 For example, in FIG. 3, the image 308 overlaps with the image 309, but does not overlap when rotated clockwise by an angle θ1. That is, the angle θ1 is obtained in the clockwise direction based on the above equation (8). Hereinafter, a method for calculating the rotation direction and angle will be described.
まず、２つの画像の領域を確定し、一方の画像の４つの頂点が他方の画像の領域内に属するか否かを判定する。もし、いずれかの頂点が領域内に属すると判定された場合、どの頂点が領域内に属するかを判定する。例えば、図４（Ｂ）に示すように、画像の長辺が横向きになるように座標軸を考えた場合、第１象限に属する頂点：Ｖ１、第２象限に属する頂点：Ｖ２、第３象限に属する頂点Ｖ３、第４象限に属する頂点：Ｖ４とすることができる。この場合、Ｖ１、Ｖ３が他の画像の領域に属していた場合、回転方向を時計回り方向とし、Ｖ２、Ｖ４が他の領域に属していた場合、回転方向を反時計回り方向とする。そして、決定された回転方向に従い単位角度（例えば５度）ずつ回転させて、該当頂点が他の画像の領域内に属さなくなったか否かを判定する。もし、属さなくなった場合には、そのときの角度を回転角度とする。仮に、回転角度が９０度となっても重なり合いが解消しない場合には、回転中心を変更する。これは、重複の度合いが大きい場合には、画像の重心を中心として回転しても重なり合いが解消しない場合があるためである。この場合、回転中心を画像の重心から画像の他の頂点に変更する。 First, areas of two images are determined, and it is determined whether or not the four vertices of one image belong to the area of the other image. If it is determined that any vertex belongs to the area, it is determined which vertex belongs to the area. For example, as shown in FIG. 4B, when the coordinate axis is considered so that the long side of the image is horizontal, the vertex belonging to the first quadrant: V1, the vertex belonging to the second quadrant: V2, and the third quadrant. The vertex V3 that belongs, and the vertex V4 that belongs to the fourth quadrant can be used. In this case, when V1 and V3 belong to other image areas, the rotation direction is clockwise, and when V2 and V4 belong to other areas, the rotation direction is counterclockwise. Then, it is rotated by a unit angle (for example, 5 degrees) according to the determined rotation direction, and it is determined whether or not the corresponding vertex does not belong to another image area. If it no longer belongs, the angle at that time is the rotation angle. If the overlap does not disappear even if the rotation angle becomes 90 degrees, the rotation center is changed. This is because if the degree of overlap is large, the overlap may not be resolved even if the image is rotated around the center of gravity. In this case, the rotation center is changed from the center of gravity of the image to another vertex of the image.
その他の幾何学的項目に関する機能も同様に実現できる。 Functions related to other geometric items can be realized in the same manner.
次に、図５Ａ乃至図５Ｃを参照して、幾何学的項目に従って画像を表示した場合の、表示画面の遷移の様子を説明する。 Next, with reference to FIGS. 5A to 5C, the transition of the display screen when an image is displayed according to the geometric item will be described.
図５Ａでは、幾何学的項目１乃至４のみ設定し、回転は考慮していない。よって、個々の画像は，表示領域として指定された領域からはみ出さない範囲でできるだけ大きくなろうとし，また平行移動や縮小により、他の画像との重なりを回避している。状態５０１は７５枚の画像を読みこんだ直後の状態を示し、表示画面内でランダムな初期位置に各画像が表示されている。その後、状態５０２、５０３と時間が経過するに従い、個々の画像が大きくなろうとする力と重なりを回避しようとする力がバランスをとり、ある程度の時間が経つと（約５，６秒後）、状態５０４のように自然に隙間なく並ぶようになる。なお、状態５０４の表示状態であっても、ノイズ成分ηのために画像は静止せず、絶えず動いている。もし、ここでノイズ成分ηを大きくすれば、状態５０４の表示状態であってもいずれかの画像が移動を開始し、その移動に応じて他の画像も移動を開始して状態５０２や状態５０３に戻っていく。 In FIG. 5A, only geometric items 1 to 4 are set and rotation is not considered. Therefore, each image tries to be as large as possible within a range that does not protrude from the area designated as the display area, and avoids overlapping with other images by translation or reduction. A state 501 shows a state immediately after reading 75 images, and each image is displayed at a random initial position in the display screen. After that, as the time of the states 502 and 503 and the time elapses, the force that the individual images become larger and the force that tries to avoid overlap are balanced, and after a certain amount of time (after about 5 or 6 seconds), As in the state 504, the lines are naturally arranged without gaps. Even in the display state 504, the image is not stationary due to the noise component η and is constantly moving. If the noise component η is increased here, one of the images starts moving even in the display state of the state 504, and other images also start moving in response to the movement, and the state 502 and the state 503 are moved. Go back to.
また、図５Ｂ は、図５Ａの要求項目にさらに幾何学的項目５を加えて、回転を考慮した場合の表示例を示す。この場合、個々の画像は、表示領域として指定された領域からはみ出さない範囲でできるだけ大きくなろうとし、また回転、平行移動、縮小により他の画像との重なりを回避している。状態５１１は、初期状態を表し、状態５１２は一定時間経過後の画像が画面内に配列された状態を示している。図５Ｂのような表示形態は、テーブル型ディスプレイを囲む４ 辺から人が見るような場合に有効である。 FIG. 5B shows a display example when the geometric item 5 is further added to the request item of FIG. 5A and rotation is taken into consideration. In this case, each image tries to be as large as possible without departing from the area designated as the display area, and overlap with other images is avoided by rotation, translation, and reduction. A state 511 represents an initial state, and a state 512 represents a state in which images after a predetermined time have been arranged in the screen. The display form as shown in FIG. 5B is effective when a person sees from the four sides surrounding the table type display.
図５Ｃは、画像の動きを制約する条件の１つである表示領域（ウインドウ）のサイズが変化した場合の表示画面１０００の遷移を一例として示す。このときの要求項目は上記の幾何学的項目１乃至４である。状態５２１では、狭い領域に多くの画像が押し込められているので各画像は非常に小さく表示されている。次に、状態５２２ではウインドウが右方向に拡大されたことにより、画像が密集する領域の画面右側に空間ができる。この空間に隣接している画像は、表示画面１０００の右側端による制約を受けなくなったために、幾何学的項目４に従い拡大を開始する。また、拡大することにより隣接する画像と重なり合うことになるので、幾何学的項目１に従い、並進移動を行う。これにより、画像が徐々に画面右側の空間に拡大しながら移動していくことになる。その様子を状態５２３及び５２４が示している。状態５２４では、右端の画像が表示画面の右側端に到達したのでこの時点で幾何学的項目２による制約が働くと共に、画面左側に位置する画像からの影響を受けて幾何学的項目３の制約により適切なサイズに縮小していくこととなる。その結果、状態５２５では、画面右端に位置している画像のサイズが、状態５２４と比べて小さくなっている。このようにして画像サイズ及び位置が調整され最終的に状態５２６のような状態になり、全画像のサイズがほぼ均一になる。 FIG. 5C shows an example of transition of the display screen 1000 when the size of the display area (window), which is one of the conditions for restricting the movement of the image, is changed. The required items at this time are the geometric items 1 to 4 described above. In the state 521, since many images are pushed into a narrow area, each image is displayed very small. Next, in the state 522, the window is enlarged in the right direction, so that a space is formed on the right side of the screen where the image is dense. Since the image adjacent to this space is no longer restricted by the right edge of the display screen 1000, the image starts to be enlarged according to the geometric item 4. Moreover, since it will overlap with an adjacent image by enlarging, according to the geometric item 1, it translates. As a result, the image moves while gradually expanding into the space on the right side of the screen. This is shown by states 523 and 524. In the state 524, since the right end image has reached the right end of the display screen, the restriction by the geometric item 2 works at this time, and the restriction of the geometric item 3 is influenced by the image located on the left side of the screen. Will be reduced to an appropriate size. As a result, in the state 525, the size of the image located at the right edge of the screen is smaller than that in the state 524. In this way, the image size and position are adjusted, and finally the state as in state 526 is obtained, and the sizes of all the images become substantially uniform.
＜意味的項目１について＞
次に、意味的項目について説明する。まず、意味的項目１の注目画像の拡大機能は、式（９）に基づいて実装できる。ここで「Attention」 は注目画像の集合であって、表示画面上でカーソルが画像に重畳された場合、或いは、ユーザの視線を検出可能な視線検出装置に基づいて、注目画像として特定されたものがそこに含まれる。注目画像は１枚に限定されず、複数枚であってもよい。また、Ａalは、任意の係数である。即ち、式（９）では、注目画像の現在の倍率と最大倍率との差分に係数を掛け合わせて拡大後の倍率を計算している。従って、係数の大きさによって注目画像の拡大速度を調節することが可能である。
<About semantic item 1>
Next, semantic items will be described. First, the enlargement function of the attention image of the semantic item 1 can be implemented based on Expression (9). Here, “Attention” is a set of images of interest that are specified as images of interest when the cursor is superimposed on the image on the display screen or based on a gaze detection device that can detect the user's gaze. Is included there. The attention image is not limited to one image, and may be a plurality of images. A al is an arbitrary coefficient. That is, in Expression (9), the magnification after enlargement is calculated by multiplying the difference between the current magnification and the maximum magnification of the image of interest by a coefficient. Therefore, it is possible to adjust the enlargement speed of the target image according to the size of the coefficient.
ここで図５Ｄに、注目画像が拡大表示された表示状態の一例を示す。図５Ｄにおいて、枠に囲まれた画像５３１が拡大された画像である。当該画像５３１は、カーソル５３２が画像に重畳されたことに伴って拡大されたものである。 Here, FIG. 5D shows an example of a display state in which the target image is enlarged and displayed. In FIG. 5D, an image 531 surrounded by a frame is an enlarged image. The image 531 is enlarged as the cursor 532 is superimposed on the image.
なお、注目画像の特定は、操作部１０３のマウスやタッチパネルを介して行うことができる。また、操作部１０３としてヘッドマウントディスプレイ（ＨＭＤ）を利用する場合に、ＨＭＤに搭載された視線検出機能を利用して、ユーザの視線方向を検出して注目画像を特定することもできる。また、複数の入力装置を介して複数人が同時に異なる画像を指定できるようにしてもよい。例えば、複数台の画像表示装置をＬＡＮで接続して操作情報を共有することで、共通の画面上で複数人がインタラクションすることができる。また、タッチパネルディスプレイのサイズを大型化したり、複数台のＨＭＤを利用してもよい。また、操作部がマイクを備え、ＣＰＵ１０１が音声認識処理を実行することで、ユーザから入力されたキーワードに従って画像の特徴量の指定を受けてもよい。例えば、「黄色」、「青」などの色に関するキーワードや、「花」、「人」、「橋」といった被写体に関するキーワードを受け付けてもよい。ディスプレイ１０７については、サイズ、解像度、台数、設置場所などが可変パラメータと考えられる。また、表示可能なディスプレイは１台に限定されるわけではなく、環境の中に複数台のディスプレイが存在する場合に、表示枚数や解像度などに従って最適なディスプレイを選択して画像群を表示してもよい。なお、これらの入出力装置に関する情報は、上述の式では全てＩとして扱っている。 Note that the attention image can be specified via the mouse or touch panel of the operation unit 103. In addition, when a head mounted display (HMD) is used as the operation unit 103, the attention image can be specified by detecting the user's line-of-sight direction using the line-of-sight detection function installed in the HMD. Further, a plurality of people may be able to designate different images simultaneously via a plurality of input devices. For example, by connecting a plurality of image display apparatuses via a LAN and sharing operation information, a plurality of people can interact on a common screen. Further, the size of the touch panel display may be increased, or a plurality of HMDs may be used. In addition, the operation unit may include a microphone, and the CPU 101 may execute a voice recognition process to receive image feature amount designation according to a keyword input by the user. For example, keywords relating to colors such as “yellow” and “blue” and keywords relating to subjects such as “flowers”, “people”, and “bridges” may be received. For the display 107, size, resolution, number of units, installation location, and the like are considered as variable parameters. Also, the number of displays that can be displayed is not limited to one, and when there are multiple displays in the environment, an optimal display is selected according to the number of displayed images, resolution, etc., and an image group is displayed. Also good. In addition, all the information regarding these input / output devices is handled as I in the above formula.
＜意味的項目２について＞
次に、意味的項目２の注目画像と属性が類似する画像を引き寄せる機能について考える。この機能は式（１０Ａ）及び式（１０Ｂ）に基づいて実装することができる。ここで、Similarity(P,Pi)は画像ＰとＰｉとの間の類似度を示し、Threshold は、閾値を表わす。また、Position()は画像の位置を示し、{Position(Pi)-Position(P)}で画像Ｐと画像Ｐｉとの間の距離を表す。類似度が閾値以上の場合、画像Ｐに与えられる速度ベクトルは、類似度が大きくなればなるほど大きくなり、また、画像ＰとＰｉとの距離が大きくなるほど大きくなる。即ち、画像Ｐｉと離れた位置にある類似度の高い画像Ｐは大きな速度ベクトルが与えられることになる。逆に、類似度が閾値未満の場合、画像に与えられる速度ベクトルは、類似度が小さくなればなるほど、また、画像ＰとＰｉとの距離が短いほど画像Ｐｉから離れる方向（逆方向）に大きくなる。
<Semantic item 2>
Next, a function for attracting images having similar attributes to the target image of the semantic item 2 will be considered. This function can be implemented based on Equation (10A) and Equation (10B). Here, Similarity (P, Pi) represents the similarity between the images P and Pi, and Threshold represents a threshold. Position () indicates the position of the image, and {Position (Pi) −Position (P)} represents the distance between the image P and the image Pi. When the similarity is greater than or equal to the threshold value, the velocity vector given to the image P increases as the similarity increases, and increases as the distance between the image P and Pi increases. That is, a large velocity vector is given to the image P having a high degree of similarity at a position distant from the image Pi. Conversely, when the similarity is less than the threshold, the velocity vector given to the image increases in the direction away from the image Pi (reverse direction) as the similarity decreases and the distance between the images P and Pi decreases. Become.
なお、類似度の判定手法は、画像を画像解析して得られる特徴量（例えば、平均色、或いは、代表色（画像内で最も多くの画素を占める色）等）やタグの関連度などに基づいて行なうことができる。
Note that the similarity determination method is based on a feature amount (for example, an average color or a representative color (a color that occupies the most pixels in the image) obtained by image analysis of an image, a tag relevance level, or the like Can be done based on.
次に画像の類似度を判定するための画像の属性情報について説明する。図６は、図１Ａの画像データ１１２における画像のデータ構造の一例を示す図である。図６では、理解の簡単のためにテーブル構造を用いて説明する。図６のテーブル６００においてＩＤ６０１は、画像を一意に識別するための識別子として付与される。当該ＩＤは画像のテーブルへの登録順番を示す情報として付与されてもよい。ファイル名６０２は、画像に付与されたファイル名を示す。ファイル名は、撮影日時を示す値が与えられてもよい。撮影日６０３には、当該画像の撮影が行われた撮影日の情報が登録される。撮影時刻６０４には、当該画像の撮影が行われた時刻の情報が登録される。撮影日６０３と撮影時刻６０４とで、画像の撮影日時を特定することができる。撮影場所６０５は、撮影が行われた場所の緯度及び経度といった位置情報が登録される。画像の撮影を行ったデジタルカメラがＧＰＳ受信機を有する場合、撮影場所のＧＰＳ位置情報が画像の撮影時にタグ情報として画像に付与される。 Next, image attribute information for determining image similarity will be described. FIG. 6 is a diagram illustrating an example of an image data structure in the image data 112 of FIG. 1A. In FIG. 6, a description will be given using a table structure for easy understanding. In the table 600 of FIG. 6, ID 601 is given as an identifier for uniquely identifying an image. The ID may be given as information indicating the registration order of images in the table. A file name 602 indicates a file name assigned to the image. The file name may be given a value indicating the shooting date and time. In the shooting date 603, information on the shooting date when the image was shot is registered. In the shooting time 604, information on the time when the image was shot is registered. The shooting date and time of the image can be specified by the shooting date 603 and the shooting time 604. In the shooting location 605, position information such as the latitude and longitude of the location where the shooting was performed is registered. When a digital camera that has captured an image has a GPS receiver, GPS position information of the shooting location is added to the image as tag information when the image is captured.
格納場所６０６は、各画像が画像表示装置１００内で格納されている位置を示すパス情報である。図６では、image001.jpgからimage003.jpgまでがルートディレクトリの下のimage/pic/2011/0129というフォルダ内に格納されていることが示されている。特徴量６０７は、意味的項目により画像の振る舞いを制御する際に利用可能な、各画像の特徴量が登録されている。当該特徴量には、上記の平均色、代表色の情報の他、被写体に関する情報（被写体情報）が含まれる。平均色は、例えば画像の各画素値の色値の平均から得られる。代表色は、色値についてヒストグラムを作成するなどして、画像内で最も使用頻度の高い色値を特定することにより得られる。被写体情報は、被写体である人物の情報や建物の情報をユーザが個人的に入力してもよいし、緯度・経度情報に従って撮影場所に関する情報を登録してもよい。あるいは、撮影に関連するイベントの情報（例えば、運動会、遠足、入学式、卒業式等）をユーザからの入力に従って登録してもよい。なお、計算により求められる特徴量は予め計算せずに画像表示を行う際にリアルタイムに計算してもよいが、本願発明の本質的な技術的特徴ではないので特徴量を算出するタイミングは特に限定されない。 The storage location 606 is path information indicating a position where each image is stored in the image display apparatus 100. FIG. 6 shows that image001.jpg to image003.jpg are stored in a folder named image / pic / 2011/0129 under the root directory. In the feature amount 607, the feature amount of each image that can be used when controlling the behavior of the image by a semantic item is registered. The feature amount includes information about the subject (subject information) in addition to the above average color and representative color information. The average color is obtained, for example, from the average of the color values of the pixel values of the image. The representative color is obtained by identifying a color value having the highest use frequency in the image by creating a histogram for the color value. As the subject information, the user may personally input information on a person who is a subject or information on a building, or information on a shooting location may be registered according to latitude / longitude information. Alternatively, event information related to shooting (for example, athletic meet, excursion, entrance ceremony, graduation ceremony, etc.) may be registered in accordance with input from the user. Note that the feature amount obtained by calculation may be calculated in real time when image display is performed without being calculated in advance, but the timing for calculating the feature amount is particularly limited because it is not an essential technical feature of the present invention. Not.
このように画像に与えられた情報を利用することで、注目画像と類似する画像を決定することができる。類似度の計算は公知の技術を利用して行うことができるので、ここでは特に詳しく説明しないが、「類似」、「非類似」のいずれか一方に区別するだけではなく、類似の度合いを段階的に示す値を類似度として計算してもよい。例えば、「色」の類似度を判断する場合、代表色や平均色の色相に基づき注目画像と対象画像との距離を算出し、当該距離を類似度として利用してもよい。また、注目画像の撮影場所の情報を使用する場合、当該撮影場所からの距離を類似度として用いることができる。もちろん、単純に注目画像が撮影された緯度・経度と、同一の緯度・経度を有する画像、あるいは、差が所定範囲内の緯度・経度を有する画像を類似画像に決定してもよい。 By using the information given to the image in this way, an image similar to the target image can be determined. Since the calculation of the similarity can be performed using a known technique, it will not be described in detail here, but it is not only distinguished between “similar” and “dissimilar”, but the degree of similarity is determined in steps. You may calculate the value shown automatically as similarity. For example, when the similarity of “color” is determined, the distance between the target image and the target image may be calculated based on the hue of the representative color or the average color, and the distance may be used as the similarity. Further, when using information on the shooting location of the target image, the distance from the shooting location can be used as the similarity. Of course, an image having the same latitude / longitude as the latitude / longitude at which the target image was taken or an image having a latitude / longitude within a predetermined range may be determined as a similar image.
さらに、当該緯度・経度情報を利用すれば地図上に画像を重畳表示させることが可能となる。例えば、地図に含まれる各地点に位置情報として緯度・経度情報を与えておき、画像に与えられている撮影場所の緯度・経度の位置情報との対応関係に基づいて、撮影場所に該当する地図上の地点に対応画像を重畳表示する。その際、各画像が該当位置に表示されるまでの画像の表示状態を本発明の実施形態に従って制御することができる。例えば、画像が有する位置情報に対応する地図上の地点の表示画面における表示位置と、当該画像の表示位置との距離に基づいて、画像が目的の地点へ向かう際の速度ベクトルを算出することができる。当該速度ベクトルの算出は、例えば以下の式（１１）に基づいて行うことができる。ここで、Position()は、表示画面内での位置を示し{Position(Ｇi)-Position(P)}で画像Ｐと地点Ｇｉとの間の距離を表す。Ａｇは任意の係数である。
Furthermore, if the latitude / longitude information is used, an image can be superimposed and displayed on the map. For example, latitude / longitude information is given as position information to each point included in the map, and the map corresponding to the shooting location is based on the correspondence with the latitude / longitude location information of the shooting location given to the image. The corresponding image is superimposed and displayed at the upper point. At that time, the display state of the image until each image is displayed at the corresponding position can be controlled according to the embodiment of the present invention. For example, based on the distance between the display position on the display screen of the point on the map corresponding to the position information included in the image and the display position of the image, the velocity vector when the image goes to the target point can be calculated. it can. The speed vector can be calculated based on, for example, the following formula (11). Here, Position () indicates a position in the display screen, and {Position (Gi) −Position (P)} represents a distance between the image P and the point Gi. Ag is an arbitrary coefficient.
図７は、類似の属性を持つ画像が集まった表示画面の一例を示す。表示画面１０００において、画像７０１と画像７０２とがユーザから指定された注目画像であって、この２枚の注目画像は他の画像に比べて大きく表示されている。図７では、「代表色」に基づいて類似画像を注目画像の近傍に表示させた場合を示している。画像７０１は代表色として「青色」を有し、画像７０２は代表色として「黄色」を有している。よって、画像７０１の近傍の点線領域７０３には青色の画像が集まっており、画像７０２の近傍の点線領域７０４には黄色の画像が集まっている。また、領域７０３と７０４との間の点線領域７０５には、青と黄色の中間色である緑色を有する画像が集まっている。青色を有する画像は画像７０１との類似度が高いので画像７０１に向かう速度ベクトルが設定されて時間の経過に応じて画像７０１の周辺に集まり、また、黄色を有する画像も同様にして画像７０２の周辺に集まる。これに対し、緑色を有する画像は、青色や黄色を有する画像ほどには画像７０１や７０２との類似度が高くない。しかし、どちらの画像とも一定の類似度を有するため画像７０１と画像７０２との両方に向かう速度ベクトルが設定されることになる。これにより、画像７０１と画像７０２との間に移動して、図７のような表示状態が完成する。 FIG. 7 shows an example of a display screen on which images having similar attributes are collected. On the display screen 1000, an image 701 and an image 702 are attention images designated by the user, and these two attention images are displayed larger than other images. FIG. 7 shows a case where a similar image is displayed in the vicinity of the target image based on the “representative color”. The image 701 has “blue” as a representative color, and the image 702 has “yellow” as a representative color. Therefore, blue images are gathered in the dotted line area 703 near the image 701, and yellow images are gathered in the dotted line area 704 near the image 702. In a dotted line region 705 between the regions 703 and 704, images having green, which is an intermediate color between blue and yellow, are gathered. Since the image having the blue color has a high degree of similarity with the image 701, the velocity vector toward the image 701 is set and gathers around the image 701 as time passes, and the image having the yellow color is also similar to the image 702. Gather around. In contrast, an image having a green color is not as similar to the images 701 and 702 as an image having a blue or yellow color. However, since both images have a certain degree of similarity, a velocity vector directed to both the image 701 and the image 702 is set. As a result, the image is moved between the image 701 and the image 702, and the display state as shown in FIG. 7 is completed.
図８は、地図上に画像が重畳表示される過程を示す図である。図８（Ａ）は、地図上に画像がランダムに配置された表示状態を示している。ここでは、各画像は、画像に与えられた位置情報とは無関係に地図上に表示されている。この表示状態を初期状態として、本実施形態に対応する画像表示処理を開始すると、各画像は、与えられた位置情報に対応する地図上の地点に向けて移動を開始する。このときの移動の態様は、上記の幾何学的項目と意味的項目との組み合わせにおいて決定される。即ち、各画像は、地図上の目的地に向かう速度ベクトルが設定される一方で、予め設定された幾何学的項目に従って速度ベクトル、倍率、回転角度等が設定される。これらを単位時間当たり、各画像について計算して、各画像の振る舞いが決定される。その結果として、各画像は、与えられた位置情報に対応する地図上の地点に徐々に移動していき、図８（Ｂ）のような表示状態に遷移する。各画像は、隣接する画像（地図上の同一地点あるいは近接地点に表示されるべき画像）の影響を受けない限りは地図上で所定サイズ（例えば、倍率×１の基準サイズ）で表示することができる。当該所定サイズは、地図の縮尺に応じて変更される。縮尺が小さければ表示範囲が広がるのでその分だけ表示の基準となる所定サイズは小さくなる。所定サイズの概念を設けるのは、画像が地図の縮尺と無関係に大きく表示されると、地理的位置に対応して表示する意味が無くなってしまうからである。 FIG. 8 is a diagram illustrating a process in which an image is superimposed and displayed on a map. FIG. 8A shows a display state in which images are randomly arranged on a map. Here, each image is displayed on the map regardless of the position information given to the image. When image display processing corresponding to the present embodiment is started with this display state as an initial state, each image starts moving toward a point on the map corresponding to the given position information. The mode of movement at this time is determined by the combination of the geometric item and the semantic item. That is, for each image, a speed vector toward the destination on the map is set, while a speed vector, a magnification, a rotation angle, and the like are set according to a preset geometric item. These are calculated for each image per unit time to determine the behavior of each image. As a result, each image gradually moves to a point on the map corresponding to the given position information, and transitions to a display state as shown in FIG. Each image can be displayed in a predetermined size (for example, a reference size of magnification x1) on the map as long as it is not affected by an adjacent image (an image to be displayed at the same point or a nearby point on the map). it can. The predetermined size is changed according to the scale of the map. If the scale is small, the display range is widened, so that the predetermined size as a display reference is reduced accordingly. The reason for providing the concept of a predetermined size is that if an image is displayed large regardless of the scale of the map, there is no point in displaying the image corresponding to the geographical position.
もし、隣接する画像の影響を受ける場合には、当該画像との幾何学的項目に規定される要件を満たす範囲で画像の表示が行われる。例えば、同一地点に対応する位置情報が割り当てられた画像が複数あった場合、それぞれの画像は互いに重なり合わないようにしながら当該地点に向かって移動していく。移動の過程では、目的地との距離をできるだけ短くしつつ、重なり合わないようにするために画像は倍率が小さくなっていく。なお、目的地と画像との距離は、例えば、画像の重心位置の座標と、地図上の地点の座標とから算出が可能である。ここで画像の最小表示サイズを決めておけば、そのサイズに合致した場合にはそれ以上縮小せずに互いに重なり合わないようにしながら、最終的には目標地点の付近に表示されることとなる。そのような表示状態を図８（Ｃ）が示している。図８（Ｃ）では、地図上の任意の地点に集まっている画像は、ほぼ同等のサイズを有しながらも互いに重なり合わないように表示されている。このようにして、地図上に画像を重畳表示する場合にも、本願発明を適用することで、画像の表示状態が遷移していく様子を、単位時間ごとに確認することができる。 以上のように、本実施形態に対応する画像表示装置によれば、予め設定した要件項目に従い画像同士の重なりを回避して画像が表示される様子を画面上で提供することができる。その際、画像表示装置はユーザは画像の移動方向などに関する入力を必要とはしないが、ユーザから画像の指定を受け付ければ、指定された画像の拡大や当該画像に類似する画像を周辺に表示させることができる。 If the image is affected by an adjacent image, the image is displayed in a range that satisfies the requirements defined in the geometric item with the image. For example, when there are a plurality of images to which position information corresponding to the same spot is assigned, the images move toward the spot without overlapping each other. In the process of movement, the image is reduced in magnification in order to keep the distance from the destination as short as possible and avoid overlapping. The distance between the destination and the image can be calculated from, for example, the coordinates of the center of gravity position of the image and the coordinates of the point on the map. If the minimum display size of the image is determined here, if it matches that size, it will not be further reduced and will not overlap each other, but will eventually be displayed near the target point . FIG. 8C shows such a display state. In FIG. 8C, images gathered at arbitrary points on the map are displayed so as not to overlap each other even though they have substantially the same size. In this way, even when an image is superimposed and displayed on a map, the state in which the display state of the image transitions can be confirmed every unit time by applying the present invention. As described above, according to the image display device corresponding to the present embodiment, it is possible to provide a state in which images are displayed on the screen while avoiding overlapping of images according to preset requirement items. At that time, the image display device does not require input related to the moving direction of the image, but if an image designation is received from the user, an enlargement of the designated image or an image similar to the image is displayed in the vicinity. Can be made.
また、各画像の表示状態を単位時間毎に決定していく際に、全体としての解を逐次評価して大局的な最適解を求めることはしないため計算負荷も低く、リアルタイム表示が可能である。 In addition, when determining the display state of each image every unit time, the overall solution is not sequentially evaluated to obtain a global optimum solution, so the calculation load is low and real-time display is possible. .
本実施形態の表示方法では、多数の画像を同時に、かつ、表示位置や大きさを動的に変化させて表示するので、単なるサムネイルの一覧表示に比べて閲覧者のより高い関心を引きつることができる。 In the display method according to the present embodiment, a large number of images are displayed at the same time and the display position and size are dynamically changed. Therefore, the viewer's interest is higher than a simple thumbnail list display. Can do.
Claims (13)
前記複数の画像に含まれる各画像について、前記表示画面上における単位時間毎の異なる表示状態を決定する処理手段と、
前記表示状態に従って、前記複数の画像のそれぞれを前記表示画面に表示させる表示制御手段と
を備え、
前記表示状態には、前記画像の前記表示画面上での表示位置、基準方向に対する画像の傾き、表示サイズの少なくともいずれかの表示状態の種別が含まれ、
前記処理手段は、前記複数の画像が互いに重なり合う場合には当該重なり合いを解消するように、または、前記複数の画像が互いに重なり合わないように前記表示状態を決定することを特徴とする画像表示装置。 An image display device that displays a plurality of images arranged on a display screen of a display device,
Processing means for determining different display states for each unit time on the display screen for each image included in the plurality of images;
Display control means for displaying each of the plurality of images on the display screen according to the display state;
The display state includes at least one of a display position on the display screen of the image, a tilt of the image with respect to a reference direction, and a display state type of display size,
The processing means determines the display state so as to eliminate the overlap when the plurality of images overlap with each other or to prevent the plurality of images from overlapping with each other. .
前記複数の画像に含まれる各画像について、隣接画像との重なり合いの度合いを隣接画像ごとに算出し、
前記重なり合いの度合いに基づき、前記表示位置、前記画像の傾き、前記表示サイズのうち前記表示状態に含まれるものの単位時間当たりの変化量を算出し、該変化量に基づいて対応する画像の表示状態を直前の表示状態から変更することで、前記単位時間毎の異なる表示状態を決定する
ことを特徴とする請求項１に記載の画像表示装置。 The processing means includes
For each image included in the plurality of images, the degree of overlap with the adjacent image is calculated for each adjacent image,
Based on the degree of overlap, the change amount per unit time of the display position, the inclination of the image, and the display size included in the display state is calculated, and the display state of the corresponding image based on the change amount The image display apparatus according to claim 1, wherein a different display state for each unit time is determined by changing the previous display state.
前記表示位置及び画像の傾きの単位時間当たりの変化量を、前記隣接画像から離れる方向に向かって算出し、
前記表示サイズの単位時間当たりの変化量を、前記隣接画像よりも表示サイズが大きい画像については、表示サイズが小さくなるように算出する
ことを特徴とする請求項２に記載の画像表示装置。 The processing means includes
The amount of change per unit time of the display position and the tilt of the image is calculated in a direction away from the adjacent image,
The image display device according to claim 2, wherein the change amount per unit time of the display size is calculated so that the display size becomes smaller for an image having a larger display size than the adjacent image.
前記処理手段は、前記操作手段を介して指定を受け付けた指定画像と、前記複数の画像に含まれる他の画像との類似度を判定し、前記類似度に基づき前記他の画像の表示位置の単位時間当たりの変化量を算出する
ことを更に特徴とする請求項２乃至４のいずれか１項に記載の画像表示装置。 It further comprises operation means for accepting designation of an image from the user,
The processing means determines a similarity between the designated image that has been designated via the operation means and another image included in the plurality of images, and the display position of the other image is determined based on the similarity. 5. The image display device according to claim 2, further comprising calculating a change amount per unit time. 6.
前記類似度が閾値以上の場合に、前記表示位置の単位時間当たりの変化量を前記他の画像から前記指定画像へ向かう方向について算出し、
前記類似度が閾値未満の場合に、前記表示位置の単位時間当たりの変化量を前記他の画像が前記指定画像から離れる方向について算出する
ことを特徴とする請求項５に記載の画像表示装置。 The processing means includes
When the similarity is greater than or equal to a threshold, the amount of change per unit time of the display position is calculated in the direction from the other image to the designated image,
The image display device according to claim 5, wherein, when the similarity is less than a threshold value, an amount of change per unit time of the display position is calculated in a direction in which the other image is separated from the designated image.
前記処理手段は、前記地図上の各地点に割り当てられた位置情報と、前記複数の画像がそれぞれ有する位置情報とに基づいて、各画像の前記表示位置の単位時間当たりの変化量を算出する
ことを特徴とする請求項２乃至６のいずれか１項に記載の画像表示装置。 When the image has position information of a place where the image is generated, and the plurality of images are displayed superimposed on a map displayed on the display screen,
The processing means calculates a change amount per unit time of the display position of each image based on position information assigned to each point on the map and position information each of the plurality of images has. The image display device according to any one of claims 2 to 6.
前記表示領域内に収まって表示されていない画像について、前記表示領域内に収まる方向への前記表示位置の単位時間当たりの変化量を算出する
ことを特徴とする請求項２乃至８のいずれか１項に記載の画像表示装置。 The processing means further determines whether or not each image included in the plurality of images is displayed within a display area on the display screen,
The amount of change per unit time of the display position in a direction that fits in the display area is calculated for an image that fits in the display area and is not displayed. The image display device according to item.
前記画像表示装置の処理手段が、前記複数の画像に含まれる各画像について、前記表示画面上における単位時間毎の異なる表示状態を決定する決定工程と、
前記画像表示装置の表示制御手段が、前記表示状態に従って、前記複数の画像のそれぞれを前記表示画面に表示させる表示制御工程と
を備え、
前記表示状態には、前記画像の前記表示画面上での表示位置、基準方向に対する画像の傾き、表示サイズの少なくともいずれかの表示状態の種別が含まれ、
前記処理工程では、前記複数の画像が互いに重なり合う場合には当該重なり合いを解消するように、または、前記複数の画像が互いに重なり合わないように前記表示状態を決定することを特徴とする画像表示装置の制御方法。 A method of controlling an image display device that displays a plurality of images arranged on a display screen of a display device,
A determining step in which the processing means of the image display device determines a different display state for each unit time on the display screen for each image included in the plurality of images;
A display control step of causing the display control means of the image display device to display each of the plurality of images on the display screen according to the display state;
The display state includes at least one of a display position on the display screen of the image, a tilt of the image with respect to a reference direction, and a display state type of display size,
In the processing step, when the plurality of images overlap each other, the display state is determined so as to eliminate the overlapping or the plurality of images do not overlap each other. Control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011058292A JP5574438B2 (en) | 2011-03-16 | 2011-03-16 | Image display apparatus, image display method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011058292A JP5574438B2 (en) | 2011-03-16 | 2011-03-16 | Image display apparatus, image display method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012194787A true JP2012194787A (en) | 2012-10-11 |
| JP5574438B2 JP5574438B2 (en) | 2014-08-20 |
Family
ID=47086619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011058292A Active JP5574438B2 (en) | 2011-03-16 | 2011-03-16 | Image display apparatus, image display method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5574438B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015075809A (en) * | 2013-10-07 | 2015-04-20 | セイコーエプソン株式会社 | Collage image creation program, collage image creation method, and collage image creation device |
| JP2018190171A (en) * | 2017-05-02 | 2018-11-29 | 京セラドキュメントソリューションズ株式会社 | Display |
| JP2019032758A (en) * | 2017-08-09 | 2019-02-28 | 株式会社ミクシィ | Information processing terminal, information display method, and information display program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10078485B2 (en) | 2015-03-13 | 2018-09-18 | Kabushiki Kaisha Toshiba | Display apparatus and display system |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298679A (en) * | 1999-04-15 | 2000-10-24 | Minolta Co Ltd | Information processor arranging plural object on map and its object arranging method |
| JP2001313886A (en) * | 2000-05-01 | 2001-11-09 | Sony Corp | Information-processing unit and method, and program storage medium |
| JP2003288005A (en) * | 2002-03-28 | 2003-10-10 | Sony Corp | Map display device, map display method, program for map display method, and recording medium with the program for map display method recorded thereon |
| JP2004046882A (en) * | 2003-07-25 | 2004-02-12 | Olympus Corp | Selected image magnifying method and device |
| WO2008139551A1 (en) * | 2007-05-01 | 2008-11-20 | Osaka Electro-Communication University | Information presentation apparatus and information presentation method |
| JP2008289073A (en) * | 2007-05-21 | 2008-11-27 | Noritsu Koki Co Ltd | Photographic frame image processing apparatus and photographic processing system in which the same is incorporated |
| JP2009122841A (en) * | 2007-11-13 | 2009-06-04 | Ricoh Co Ltd | Image list image construction device, recording medium and image forming apparatus |
| JP2010049572A (en) * | 2008-08-22 | 2010-03-04 | Fujitsu Ltd | Symbol display method and symbol display program |
| JP2012014657A (en) * | 2010-07-05 | 2012-01-19 | Canon Inc | Image display device and control method thereof, and program and recording medium |
| JP2012138750A (en) * | 2010-12-27 | 2012-07-19 | Sony Corp | Electronic apparatus, display controlling method, and program |
-
2011
- 2011-03-16 JP JP2011058292A patent/JP5574438B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000298679A (en) * | 1999-04-15 | 2000-10-24 | Minolta Co Ltd | Information processor arranging plural object on map and its object arranging method |
| JP2001313886A (en) * | 2000-05-01 | 2001-11-09 | Sony Corp | Information-processing unit and method, and program storage medium |
| JP2003288005A (en) * | 2002-03-28 | 2003-10-10 | Sony Corp | Map display device, map display method, program for map display method, and recording medium with the program for map display method recorded thereon |
| JP2004046882A (en) * | 2003-07-25 | 2004-02-12 | Olympus Corp | Selected image magnifying method and device |
| WO2008139551A1 (en) * | 2007-05-01 | 2008-11-20 | Osaka Electro-Communication University | Information presentation apparatus and information presentation method |
| JP2008289073A (en) * | 2007-05-21 | 2008-11-27 | Noritsu Koki Co Ltd | Photographic frame image processing apparatus and photographic processing system in which the same is incorporated |
| JP2009122841A (en) * | 2007-11-13 | 2009-06-04 | Ricoh Co Ltd | Image list image construction device, recording medium and image forming apparatus |
| JP2010049572A (en) * | 2008-08-22 | 2010-03-04 | Fujitsu Ltd | Symbol display method and symbol display program |
| JP2012014657A (en) * | 2010-07-05 | 2012-01-19 | Canon Inc | Image display device and control method thereof, and program and recording medium |
| JP2012138750A (en) * | 2010-12-27 | 2012-07-19 | Sony Corp | Electronic apparatus, display controlling method, and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015075809A (en) * | 2013-10-07 | 2015-04-20 | セイコーエプソン株式会社 | Collage image creation program, collage image creation method, and collage image creation device |
| JP2018190171A (en) * | 2017-05-02 | 2018-11-29 | 京セラドキュメントソリューションズ株式会社 | Display |
| JP2019032758A (en) * | 2017-08-09 | 2019-02-28 | 株式会社ミクシィ | Information processing terminal, information display method, and information display program |
| JP2021192310A (en) * | 2017-08-09 | 2021-12-16 | 株式会社ミクシィ | Information processing terminal, information display method, and information display program |
| JP7295448B2 (en) | 2017-08-09 | 2023-06-21 | 株式会社Mixi | Information processing terminal, information display method, and information display program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5574438B2 (en) | 2014-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6605000B2 (en) | Approach for 3D object display | |
| US9342998B2 (en) | Techniques to annotate street view images with contextual information | |
| US9881222B2 (en) | Optimizing a visual perspective of media | |
| JP4341408B2 (en) | Image display method and apparatus | |
| KR102098058B1 (en) | Method and apparatus for providing information in a view mode | |
| US20170256096A1 (en) | Intelligent object sizing and placement in a augmented / virtual reality environment | |
| JP2012094138A (en) | Apparatus and method for providing augmented reality user interface | |
| US20140362118A1 (en) | Method and System for Displaying Imagery as a Wallpaper on a Computing Device | |
| JP6337907B2 (en) | Display control apparatus, display control method, and program | |
| US11425063B2 (en) | Content selection | |
| US20230079582A1 (en) | Image processing method and apparatus, terminal, and storage medium | |
| WO2022022177A1 (en) | Display method and electronic device | |
| JP5574438B2 (en) | Image display apparatus, image display method, and computer program | |
| US10748000B2 (en) | Method, electronic device, and recording medium for notifying of surrounding situation information | |
| KR102468086B1 (en) | Contents display method and electronic device for the same | |
| US11270485B2 (en) | Automatic positioning of textual content within digital images | |
| US20170277764A1 (en) | Enhancing object representations using inferred user intents | |
| US10304232B2 (en) | Image animation in a presentation document | |
| KR20190127367A (en) | Method of providing virtual exhibition space for efficient data management | |
| WO2020125739A1 (en) | Image restoration method, apparatus and device, and storage medium | |
| KR102237519B1 (en) | Method of providing virtual exhibition space using 2.5 dimensionalization | |
| US20160018951A1 (en) | Contextual view portals | |
| JP2014146248A (en) | Display control apparatus, display control method, and program | |
| Greaves et al. | Picture browsing and map interaction using a projector phone | |
| WO2018068364A1 (en) | Method and device for displaying page, graphical user interface, and mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140626 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5574438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |