JP2021118492A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2021118492A JP2021118492A JP2020012219A JP2020012219A JP2021118492A JP 2021118492 A JP2021118492 A JP 2021118492A JP 2020012219 A JP2020012219 A JP 2020012219A JP 2020012219 A JP2020012219 A JP 2020012219A JP 2021118492 A JP2021118492 A JP 2021118492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- file
- images
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
デジタルカメラやスマートフォンの撮像機能の向上により、近年では高速連写、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成、複数イメージの合成表示などの機能が一般消費者でも容易に利用可能となった。これら機能に共通する特徴は、複数の撮像イメージ（撮像画像）を入力として一つ以上の合成イメージを取得することである。複数の撮像イメージを格納することができるイメージファイルフォーマットとして、近年標準化されたＭＰＥＧ ＨＥＩＦフォーマットがある。ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略であり、ＨＥＩＦはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅの略である。ＭＰＥＧ ＨＥＩＦフォーマットは、ＩＳＯ／ＩＥＣ ２３００８−１２に規定されている。 With the improvement of the imaging functions of digital cameras and smartphones, in recent years, functions such as high-speed continuous shooting, HDR (High Dynamic Range) composition, and composition display of multiple images have become easily available to general consumers. A feature common to these functions is that one or more composite images are acquired by inputting a plurality of captured images (captured images). As an image file format that can store a plurality of captured images, there is an MPEG HEIF format that has been standardized in recent years. MPEG is an abbreviation for Moving Picture Experts Group, and HEIF is an abbreviation for High Efficiency Image File. The MPEG HEIF format is specified in ISO / IEC 2380-12.
ＨＥＩＦは最新のＨＥＶＣ符号化を採用して高いデータ圧縮率を実現しつつ、複数のイメージ（画像）をコレクション化およびシーケンス化してファイル格納する方式を規定している。ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇの略である。さらに、ＨＥＩＦではファイル格納された一つ以上のイメージを元に合成イメージ（ｄｅｒｉｖｅｄ ｉｍａｇｅ、派生イメージ）を得る表現の記載方法が規定されている。合成イメージを得る表現（記載方法）には、複数のイメージをタイル整列する表現や、透過及び重畳させる表現がある。ＨＥＩＦの画像表示装置は、その表現表記（表現の仕方）に応じて合成イメージを出力する。 HEIF defines a method of collecting and sequencing a plurality of images (images) and storing them in a file while achieving a high data compression rate by adopting the latest HEVC coding. HEVC is an abbreviation for High Efficiency Video Coding. Further, HEIF defines a description method of an expression for obtaining a composite image (derivated image) based on one or more images stored in a file. Expressions (description methods) for obtaining a composite image include an expression in which a plurality of images are tile-aligned and an expression in which a plurality of images are transparent and superimposed. The HEIF image display device outputs a composite image according to the expression notation (expression method).
ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォンでイメージファイルを管理する際、イメージファイルは一般的にサムネイルでアイコン表示される。ＨＥＩＦ仕様では、特定のイメージを代表画像（Ｐｒｉｍａｒｙ Ｉｍａｇｅ）として指定することができ、代表画像の縮小画像のイメージをサムネイルとして表示することが想定されている。しかしながら、ユーザがサムネイルアイコンを見た場合、ユーザは代表画像（一枚の画像）を確認することはできるが、他のイメージが同時に格納されているかを、サムネイルアイコンからは把握することはできない。また、ＪＰＥＧファイルのような単一イメージファイルと、複数イメージを含むＨＥＩＦファイルとが混在する場合、サムネイルアイコンが並ぶだけでは、どのサムネイルアイコンがＨＥＩＦファイルのサムネイルアイコンなのかをユーザが認識するのは困難である。ＪＰＥＧはＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略である。 When managing an image file on a PC (Personal Computer) or a smartphone, the image file is generally displayed as an icon as a thumbnail. In the HEIF specification, a specific image can be designated as a representative image (Primary Image), and it is assumed that an image of a reduced image of the representative image is displayed as a thumbnail. However, when the user sees the thumbnail icon, the user can confirm the representative image (one image), but cannot grasp from the thumbnail icon whether other images are stored at the same time. Further, when a single image file such as a PEG file and a HEIF file containing a plurality of images are mixed, it is not possible for the user to recognize which thumbnail icon is the thumbnail icon of the HEIF file just by arranging the thumbnail icons. Have difficulty. JPEG is an abbreviation for Joint Photographic Experts Group.
特許文献１には、連写した複数のイメージをＥＸＩＦ形式の１ファイルで保存した場合に、何枚の連写イメージが含まれるかを撮影カメラのディスプレイで確認するできる技術が開示されている。ＥＸＩＦはＥｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔの略である。
ＰＣやスマートフォンでＨＥＩＦファイルをアイコン表示した場合、複数のイメージを格納可能なＨＥＩＦファイルに幾つのイメージが格納されているかを、ユーザはサムネイルアイコンから認識することが出来ない。サムネイルアイコンだけでは、複数のイメージを格納可能なＨＥＩＦファイルなのか、ＪＰＥＧの様な単一イメージファイルなのかを認識することはできず、ファイル名拡張子を確認するなどの作業が必要となる。 When a HEIF file is displayed as an icon on a PC or a smartphone, the user cannot recognize how many images are stored in the HEIF file that can store a plurality of images from the thumbnail icon. It is not possible to recognize whether it is a HEIF file that can store multiple images or a single image file such as JPEG only with the thumbnail icon, and it is necessary to check the file name extension.
連写イメージ数をプレビュー表示する方法が特許文献１で開示されている。しかしながら、ＨＥＩＦ仕様では例えばあるイメージの縮小版イメージにサムネイルフラグを付けて同時に格納することが可能である。サムネイルフラグのイメージと、元になったイメージは、別々のイメージとして格納されるものの、論理的には同一のイメージである。ユーザへイメージ格納数を提示する場合、理論的に同一のイメージは（２つの異なるイメージが存在するわけではないので）１つのイメージコンテンツとしてカウントされるべきである。
また、ＨＥＩＦ仕様では複数イメージを参照したグリッド表示や、複数イメージを合成する派生イメージを１つのイメージコンテンツとすることが可能である。従って、ＨＥＩＦファイルに格納されたイメージの数と、当該ＨＥＩＦファイルの作成者の意図する表示イメージの数や表示形態は必ずしも一致しない。
以上のことから、ＨＥＩＦファイルに格納されたイメージの数を単純に提示するだけではユーザに誤情報を提示する場合がある。つまり、ＨＥＩＦファイルに適した表示イメージ数の表示方法が必要とされる。
上記した課題に鑑み、本発明は、複数のイメージを格納可能なイメージファイルの内包情報を的確に表現できるようにすることを目的とする。
Further, in the HEIF specification, it is possible to display a grid with reference to a plurality of images or to combine a plurality of images into a derivative image as one image content. Therefore, the number of images stored in the HEIF file does not always match the number and display form of the display images intended by the creator of the HEIF file.
From the above, simply presenting the number of images stored in the HEIF file may present erroneous information to the user. That is, a display method for the number of display images suitable for the HEIF file is required.
In view of the above problems, it is an object of the present invention to be able to accurately represent the inclusion information of an image file that can store a plurality of images.
上記した目的を達成するために、本発明のある態様による画像処理装置は、少なくとも１つの画像を格納した画像ファイル内の各画像について、所定の条件を満たす画像であるか否かを判定する判定手段と、前記判定手段により前記所定の条件を満たすと判定された画像の数に応じた情報を生成する生成手段と、前記生成手段によって生成された情報を、前記画像ファイルを表す画像に付随させて表示する表示手段と、を有する。 In order to achieve the above object, the image processing apparatus according to an aspect of the present invention determines whether or not each image in the image file storing at least one image satisfies a predetermined condition. The means, the generation means for generating information according to the number of images determined to satisfy the predetermined condition by the determination means, and the information generated by the generation means are attached to the image representing the image file. It has a display means for displaying the image.
本発明によれば、複数のイメージを格納可能なイメージファイルの内包情報を的確に表現できる。 According to the present invention, the inclusion information of an image file capable of storing a plurality of images can be accurately expressed.
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって確定されない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the following embodiments do not limit the present invention, and not all combinations of features described in the embodiments are essential for the means for solving the present invention. The configuration of the embodiment may be appropriately modified or changed depending on the specifications of the system and device to which the present invention is applied and various conditions (use conditions, use environment, etc.). The technical scope of the present invention is determined by the scope of claims, not by the following individual embodiments.
以下の実施形態で使用するファイルフォーマットはＨＥＩＦであるとするが、本発明はＨＥＩＦに限定されず、複数のイメージ（画像）を格納可能なファイルフォーマットに適用可能である。また、ＨＥＩＦファイルの作成手順およびＨＥＩＦファイルの伝送手順は、本発明と直接関係ないため、以下の記載において説明を省略する。本明細書では、ＨＥＩＦファイルの個々のイメージを、イメージアイテムと称することがある。ＨＥＩＦファイルは画像ファイルの例である。 Although the file format used in the following embodiments is assumed to be HEIF, the present invention is not limited to HEIF and can be applied to a file format capable of storing a plurality of images (images). Further, since the procedure for creating a HEIF file and the procedure for transmitting a HEIF file are not directly related to the present invention, description thereof will be omitted in the following description. In the present specification, individual images of HEIF files may be referred to as image items. The HEIF file is an example of an image file.
また、以下の説明において、ＨＥＩＦファイル内のイメージアイテムの内、ユーザへの表示対象となっているイメージをコンテンツと称する。ＨＥＩＦのイメージアイテムの内、ＴｈｕｍｂｎａｉｌフラグやＨｉｄｄｅｎフラグが指定されたイメージアイテムはコンテンツとして扱わない。Ｔｈｕｍｂｎａｉｌフラグが指定されたイメージアイテムとは、サムネイルイメージとして登録されるイメージアイテムのことである。Ｈｉｄｄｅｎフラグが指定されたイメージアイテムとは、当該イメージアイテムを非表示とすることが指定されているイメージアイテムである。つまり、非表示プロパティが設定されているイメージアイテムである。また、イメージアイテムの内、派生イメージの派生元となるイメージはコンテンツとして扱わない。一方、派生イメージの派生元とならない派生イメージはコンテンツとして扱う。 Further, in the following description, among the image items in the HEIF file, the image to be displayed to the user is referred to as content. Among the HEIF image items, the image items for which the Thumbnail flag and the Hidden flag are specified are not treated as contents. The image item for which the Thumbnail flag is specified is an image item registered as a thumbnail image. An image item for which the Hidden flag is specified is an image item for which the image item is specified to be hidden. That is, it is an image item for which the hidden property is set. Also, among the image items, the image that is the derivation source of the derived image is not treated as content. On the other hand, a derived image that is not the source of the derived image is treated as content.
＜実施形態１＞
＜システムの構成＞
図１は本実施形態のシステム１の構成を示す。システム１は、撮像装置１０と、表示装置２０と、クラウド３０とを有する。
撮像装置１０は、ＨＥＩＦファイルを生成して出力可能な装置であり、例えば、デジタルカメラである。撮像装置１０はメモリカードを内蔵している。メモリカードは、撮像装置１０から取り外し可能である。
撮像装置１０は、撮像した画像（イメージ）をＨＥＩＦファイルとしてメモリカードに格納する。ユーザは、メモリカードを撮像装置１０から取り外して、表示装置２０に装着（挿入）することができる。
なお、撮像装置１０は、ＨＥＩＦファイルを生成することができる装置であればよく、スマートフォン、タブレット端末、ビデオ装置等のその他の装置であってもよい。また、撮像装置１０は表示装置２０に有線または無線で接続されてもよい。その場合、撮像装置１０が撮像した画像（イメージ）をＨＥＩＦファイルとして表示装置２０に送信することができる。
<
<System configuration>
FIG. 1 shows the configuration of the
The
The
The
表示装置２０は、例えば、ＰＣ、タブレット端末、スマートフォンまたはウェラブルウオッチ等であり、撮像装置１０から有線又は無線通信を介して、又はメモリカードを介して受け取ったＨＥＩＦファイルを表示することができる。また、表示装置２０はネットワーク通信機能を有しており、クラウド３０のストレージからイメージファイル（例えば、ＪＥＰＧファイルまたはＨＥＩＦファイル）を取得し表示することもできる。
クラウド３０はストレージを有しており、ストレージにイメージファイルを格納している。クラウド３０は、表示装置２０からの要求に応じて、イメージファイルを表示装置２０に送信する。表示装置２０はＨＥＩＦファイルを生成する装置と一体となっていてもよい。即ち表示装置２０自体がＨＥＩＦファイルを生成し、生成したＨＥＩＦファイルを表示部に表示してもよい。
本実施形態では、撮像装置１０またはクラウド３０からイメージファイルが表示装置２０に供給されており、当該イメージファイルが表示装置２０の記憶部（後述する）にＨＥＩＦファイルおよびＪＥＰＧファイルとして格納されているとする。そして、ユーザがイメージファイルの一覧表示を表示装置２０に指示すると、表示装置２０は、記憶部に格納されたＨＥＩＦファイルおよびＪＥＰＧファイルを解析し、表示装置２０の表示部（後述する）にサムネイルアイコンを描画するとする。
The
The cloud 30 has a storage and stores an image file in the storage. The cloud 30 transmits an image file to the
In the present embodiment, an image file is supplied to the
＜表示装置のハードウェア構成＞
図２Ａは本実施形態に係る表示装置２０のハードウェア構成の一例を示すブロック図である。
表示装置２０は、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、入力部２５とを有する。制御部２１、記憶部２２、通信部２３、表示部２４および入力部２５は、バス２６により相互に接続されている。
制御部２１は、記憶部２２に記憶される制御プログラムを実行することにより表示装置２０全体を制御する。制御部２１は、１つまたは複数のＣＰＵやプロセッサを含む。
<Hardware configuration of display device>
FIG. 2A is a block diagram showing an example of the hardware configuration of the
The
The
記憶部２２は、制御部２１が実行する制御プログラムと、通信パラメータや撮像画像データ（ＨＥＩＦファイル、ＪＥＰＧファイル）等の各種情報を記憶する。後述する各種動作は、記憶部２２に記憶された制御プログラムを制御部２１が実行することにより行われる。記憶部２２は、１つ以上のＲＯＭやＲＡＭなどからなる。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略であり、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
なお、記憶部２２として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。ＤＶＤはＤｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃの略である。
通信部２３は、有線および無線による通信を行う。より詳しくは、通信部２３は、クラウド３０との無線通信（ネットワーク通信）を行う。なお、撮像装置１０が通信機能を有する場合、通信部２３は撮像装置１０との通信を行う。
The
As the
The
表示部２４は種々の情報（文字や画像など）を表示する。表示部２４は、ＬＣＤやＬＥＤを有し、ＬＣＤの画面やＬＥＤの発光により、ユーザが視覚で認知可能な情報を出力する。ＬＣＤはＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略であり、ＬＥＤはＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。表示部２４はスピーカを有してもよい。表示部２４は出力部と称することもできる。
The
ユーザは、入力部２５を用いて、各種のデータ、数値、指示、プログラム等を表示装置２０に入力する。入力部２５は、例えば、キーボード、マウス、タッチパネルなどを含み、ユーザからの入力を受け付ける。ユーザは、入力部２５を介してデータおよび指示等を入力することにより、表示装置２０を操作することができる。例えば、ユーザは、入力部２５を操作して、イメージファイルの一覧表示を、表示装置２０に指示することができる。入力部２５は操作部と称することもできる。マウスは、ツールチップの際に使用することができる。
The user inputs various data, numerical values, instructions, programs, and the like to the
＜表示装置の機能構成＞
図２Ｂは表示装置２０の機能ブロックである。表示装置２０は、表示部２０１、記憶部２０２、メモリカード操作部２０３、通信部２０４、ファイル管理部２０５、ＨＥＩＦ解析部２０６、映像データ復号部２０７および出力映像の描画部２０８を有し、各部は内部バス２０９で相互接続される。
<Functional configuration of display device>
FIG. 2B is a functional block of the
表示部２０１は、図２Ａの表示部２４に対応している。記憶部２０２は、図２Ａの記憶部２２に対応している。メモリカード操作部２０３には、撮像装置１０から外されたメモリカードが挿入される。通信部２０４は、図２Ａの通信部２３に対応している。
The
ファイル管理部２０５は、ファイル管理部２０５はメモリカード操作部２０３及び通信部２０４より取得したＨＥＩＦファイルを記憶部２０２に展開する。ファイル管理部２０５は、イメージシーケンスの再生時間を計測するタイマを含む。イメージシーケンスとは、時系列で表示される複数の画像のことである。
ＨＥＩＦ解析部２０６は、イメージファイルのイメージファイルフォーマットを解析する。また、ＨＥＩＦ解析部２０６は、ＨＥＩＦファイルのメタ情報を解析する。より詳しくは、ＨＥＩＦ解析部２０６は、ＨＥＩＦファイルのＢＯＸ（ボックス）構造及びＭＥＴＡボックスを解析し、ファイルに含まれるイメージアイテムの数や、各イメージアイテムの表示パラメータを取得する。解析されたメタ情報に基づいて、ファイル管理部２０５が、ファイルアイコン表示方法を決定し、ファイルアイコンの表示を描画部２０８に指示する。
映像データ復号部２０７は、符号化イメージ（映像データ）を復号する。
描画部２０８は、決定されたファイルアイコン表示方法と、復号されたイメージの描画に基づいて表示映像（出力映像）を生成する。生成された表示映像は、表示部２０１により表示される。
表示装置２０は画像を処理する装置であるので、画像処理装置と称してもよい。
The
The
The video
The
Since the
図２Ｂに示す各機能部は、ＡＳＩＣ等の専用のハードウェア又はソフトウェアとして表示装置２０に実装される。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ソフトウェアとして実装される場合には、各機能部を実行するためのプログラムが後述の表示装置２０の記憶部２２に記憶され、制御部２１のプロセッサにより適宜読み出されて実行される。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。
Each functional unit shown in FIG. 2B is mounted on the
＜表示装置による処理＞
次に表示装置２０に対しユーザがイメージファイルの一覧操作を行った場合のファイル管理部２０５の処理手順を図３、図４および図５を参照して説明する。
図３において表示装置２０で実行される処理として説明される各ステップは、記憶部２２に記憶されたプログラムを制御部２１が実行することにより行われる。
<Processing by display device>
Next, the processing procedure of the
Each step described as a process executed by the
図３はイメージファイル一覧の際に検索された一つのイメージファイルに対して、サムネイルアイコンを描画するまでの表示内容判断のフローチャートである。ＳはＳｔｅｐの略である。図３のフローチャートは、ユーザがイメージファイルの一覧表示を表示装置２０に指示すると開始する。
FIG. 3 is a flowchart for determining the display content until the thumbnail icon is drawn for one image file searched in the image file list. S is an abbreviation for Step. The flowchart of FIG. 3 starts when the user instructs the
まず、Ｓ３０１において、ＨＥＩＦ解析部２０６は、当該イメージファイルのイメージファイルフォーマットを解析する。
Ｓ３０２においは、ファイル管理部２０５は、Ｓ３０１の解析の結果に基づいて、当該イメージファイルがＨＥＩＦファイルであるか否かを判定する。Ｓ３０２の判定結果がＮｏの場合、つまり、当該イメージファイルがＪＰＥＧファイル等の非ＨＥＩＦファイルである場合、Ｓ３０３に進む。
Ｓ３０３において、ファイル管理部２０５（描画部２０８）は、従来のサムネイルアイコン表示を行い、処理を終了する（ＥＮＤ）。図５のサムネイルアイコン５０１は、従来のサムネイル表示の例を示している。図５には、イメージファイルがＪＰＥＧファイルであることを示している。
First, in S301, the
In S302, the
In S303, the file management unit 205 (drawing unit 208) displays the conventional thumbnail icon and ends the process (END). The
一方、当該イメージファイルがＨＥＩＦファイルである場合（Ｓ３０２：Ｙｅｓ）、Ｓ３０４に進む。
Ｓ３０４において、ＨＥＩＦ解析部２０６は、ＨＥＩＦファイルのボックス構造およびＭＥＴＡボックスを解析し、ＨＥＩＦファイルに含まれるイメージアイテムの数や、各イメージアイテムの表示パラメータを取得する。
図４はＨＥＩＦファイルのボックス構造を示す。図４に示すように、ｉｉｎｆボックス４０１にはイメージアイテムの属性情報が格納され、ｉｐｍａボックス４０２にはイメージアイテム間の関連情報が格納され、ｍｄａｔボックス４０３には各符号化データが格納される。ボックス構造に含まれる情報は、ＨＥＩＦファイルのヘッダ情報の一例である。ＨＥＩＦ解析部２０６は、ＨＥＩＦファイルのヘッダ情報を解析している。
On the other hand, if the image file is a HEIF file (S302: Yes), the process proceeds to S304.
In S304, the
FIG. 4 shows the box structure of the HEIF file. As shown in FIG. 4, the
図３に戻る。Ｓ３０４の後、Ｓ３０５に進む。
Ｓ３０５において、ファイル管理部２０５は、ＨＥＩＦファイル内（画像ファイル内）の全てのイメージアイテムを解析したかを判定する。Ｓ３０５の判定結果がＮｏの場合、Ｓ３０６に進む。Ｓ３０５の判定結果がＹｅｓの場合、Ｓ３１１に進む。
Ｓ３０６において、ＨＥＩＦ解析部２０６は、各イメージアイテムの特性を解析する。より詳しくは、ＨＥＩＦ解析部２０６は、各イメージアイテムがＴｈｕｍｂｎａｉｌ特性を持っているか、Ｈｉｄｄｅｎイメージ特性を持っているか、派生関係の派生元であるかを解析する。
Return to FIG. After S304, the process proceeds to S305.
In S305, the
In S306, the
Ｓ３０７において、ファイル管理部２０５は、Ｓ３０６の解析結果に基づいて、イメージアイテムがＴｈｕｍｂｎａｉｌイメージであるかを判定する。つまり、イメージアイテムが、Ｔｈｕｍｂｎａｉｌ特性を持っているかを判定する。本実施形態では、イメージアイテムがサムネイルアイコンに使用されるイメージである場合、当該イメージアイテムはＴｈｕｍｂｎａｉｌ特性を持っているとする。Ｓ３０７の判定結果がＮｏの場合、Ｓ３０８に進む。Ｓ３０７の判定結果がＹｅｓの場合、Ｓ３０５に戻る。
Ｓ３０８において、ファイル管理部２０５は、Ｓ３０６の解析結果に基づいて、イメージアイテムがＨｉｄｄｅｎイメージであるかを判定する。つまり、イメージアイテムが、Ｈｉｄｄｅｎイメージ特性を持っているかを判定する。本実施形態では、イメージアイテムに非表示プロパティが設定されている（非表示設定がされている）場合、当該イメージアイテムはＨｉｄｄｅｎイメージ特性を持っているとする。Ｓ３０８の判定結果がＮｏの場合、Ｓ３０９に進む。Ｓ３０８の判定結果がＹｅｓの場合、Ｓ３０５に戻る。
In S307, the
In S308, the
Ｓ３０９において、ファイル管理部２０５は、Ｓ３０６の解析結果に基づいて、イメージアイテムが、派生関係の派生元であるかを判定する。Ｓ３０９の判定結果がＮｏの場合、Ｓ３１０に進む。Ｓ３０９の判定結果がＹｅｓの場合、Ｓ３０５に戻る。
Ｓ３１０において、ファイル管理部２０５は、コンテンツ数に１を加算する。Ｓ３０７、Ｓ３０８およびＳ３０９の判定結果がＹｅｓの場合、コンテンツ数への加算を行わない。
In S309, the
In S310, the
すべてのイメージアイテムについて解析および判定が終わると（Ｓ３０５：Ｙｅｓ）、Ｓ３１１に進む。
Ｓ３１１において、ファイル管理部２０５は、コンテンツ数が２以上か否かを判断する（Ｓ３１１）。コンテンツ数が２以上の場合は、Ｓ３１２に進む。
コンテンツ数が２以上の場合、当該ＨＥＩＦファイルには表示されるべきコンテンツがサムネイル映像以外に存在することになるので、Ｓ３１２において、ファイル管理部２０５は、コンテンツ数をサムネイルアイコンに重畳表示するために、コンテンツ数の重畳画像を生成してアイコンに設定する（付随させる）。そして、Ｓ３１３において、サムネイルアイコンを表示する。図５のサムネイルアイコン５０２は、コンテンツ数が４の場合のサムネイルアイコンを示している。具体的には、丸枠で囲った数字の４が重畳表示（重畳画像）５０３として表示されている。よって、ユーザは当該イメージファイルには表示イメージが４つ含まれることを容易に認識できる。本実施形態では、サムネイルアイコン５０２の一部に重畳画像５０３を重ねて表示している。
When the analysis and determination for all the image items are completed (S305: Yes), the process proceeds to S311.
In S311 the
When the number of contents is 2 or more, the contents to be displayed in the HEIF file exist other than the thumbnail image. Therefore, in S312, the
コンテンツ数が２未満の場合（Ｓ３１１：Ｎｏ）、つまりコンテンツ数が１の場合、当該ＨＥＩＦファイルには表示されるべきコンテンツがサムネイル映像以外に存在しないので、ユーザは、サムネイルアイコンで表示されるイメージだけを認識できればよい。従って、コンテンツ数「１」の重畳表示は行わず、Ｓ３１１からＳ３１３に進む。そして、Ｓ３１３において、ファイル管理部２０５（描画部２０８）は、図５のサムネイルアイコン５０４を表示する。
When the number of contents is less than 2 (S311: No), that is, when the number of contents is 1, since there is no content other than the thumbnail video to be displayed in the HEIF file, the user can see the image displayed by the thumbnail icon. You only need to be able to recognize. Therefore, the superimposed display of the number of contents "1" is not performed, and the process proceeds from S311 to S313. Then, in S313, the file management unit 205 (drawing unit 208) displays the
以上、本実施形態では、ＨＥＩＦファイルで再生表示されるイメージの数は、ＨＥＩＦのヘッダ部（ヘッダ情報）を解析してイメージアイテム間の関連性と表示プロパティに応じて計算している。つまり、本実施形態の表示装置２０によれば、複数のイメージを格納可能なＨＥＩＦイメージファイルを使用する場合に、表示されるべき格納されたイメージ数「４」をユーザが容易に認識できる。本実施形態では、単純に格納イメージ数をユーザに提示するのではなく、ＨＥＩＦのヘッダ解析で得られるコンテンツとしての数をユーザに提示することができる。したがって、ＨＥＩＦファイルに適した表示イメージ数の表示ができる。このように、本実施形態によれば、複数のイメージを格納可能なイメージファイルの内包情報を的確に表現できる。
As described above, in the present embodiment, the number of images to be reproduced and displayed in the HEIF file is calculated according to the relevance between the image items and the display property by analyzing the header part (header information) of the HEIF. That is, according to the
なお、図３のフローチャートにおいてＳ３０７の後にＳ３０８が実行され、Ｓ３０８の後にＳ３０９が実行されたが、Ｓ３０７、Ｓ３０８およびＳ３０９の実行順序は、任意に変更してもよい。また、図１のクラウド３０は、画像を表示装置２０に送信（提供）できる装置であれば、クラウド以外の装置（例えば、サーバ等）に置換してもよい。また、ＪＥＰＧファイルは非ＨＥＩＦファイルの一例であり、ＨＥＩＦファイルでなければ、ＪＥＰＧファイル以外のイメージファイルでもよい。
ＨＥＩＦファイルに含まれるイメージがネットワーク上（クラウド上）のイメージデータを参照するイメージであるか否かを判定するステップを、Ｓ３０６〜Ｓ３１０の間に追加してもよい。例えば、このステップがＳ３０９とＳ３１０の間に追加されると、当該ステップの判定結果がＹｅｓの場合は、処理はＳ３０５に戻り、Ｎｏの場合はＳ３１０に進む。この場合、イメージがネットワーク上の画像データを参照するイメージである場合、当該画像をコンテンツに含めないことになる。
In the flowchart of FIG. 3, S308 is executed after S307, and S309 is executed after S308, but the execution order of S307, S308, and S309 may be arbitrarily changed. Further, the cloud 30 in FIG. 1 may be replaced with a device other than the cloud (for example, a server or the like) as long as it is a device capable of transmitting (providing) an image to the
A step for determining whether or not the image included in the HEIF file is an image that refers to image data on the network (on the cloud) may be added between S306 and S310. For example, when this step is added between S309 and S310, if the determination result of the step is Yes, the process returns to S305, and if No, the process proceeds to S310. In this case, if the image is an image that refers to image data on the network, the image is not included in the content.
上記した実施形態では、サムネイルアイコン５０２の一部に重畳画像５０３を重ねて表示したが、重畳画像５０３はサムネイルアイコン５０２に接するように表示してもよいし、ある程度、離間して表示してもよい。離間する場合、重畳画像５０３がサムネイルアイコン５０４（または５０１）に付随しているのではなくサムネイルアイコン５０２に付随していることがユーザに認識できればよい。
上記した実施形態では、重畳画像５０３は、丸枠で囲った数字であったが、重畳画像５０３はこれに限定されない。
また、重畳画像５０３は、ファイルアイコンのように、サムネイルアイコン５０２に自動的に重ねて表示されて、ユーザは表示装置２０の入力部２５を操作しなくても重畳画像５０３を見ることができたが、本実施形態はこのような重畳画像に限定されない。例えば、ツールチップのように、ユーザが入力部２５のマウスを操作してカーソルをサムネイルアイコン５０２上に置くと重畳画像５０３が表示されるようにしてもよい。あるいは、通常のパソコン操作でファイルの詳細を見る場合（例えば、プロパティを見る場合）のように、ユーザが入力部２５のマウスを右クリックすると重畳画像５０３が表示されるようにしてもよい。このように、ユーザのマウス操作に応じて、すなわち、所定の信号の入力に応じて、重畳画像５０３をサムネイルアイコン５０２に重畳表示してもよい。また、重畳画像５０３は、ＨＥＩＦファイル内に含まれるコンテンツ数を示す情報の一例であり、表示される情報は５０３のような画像形式の表示に限らず、文字列や説明文のようなテキスト形式の表示、その他の表示であってもよい。
In the above embodiment, the
In the above-described embodiment, the
Further, the
上記した実施形態では、クラウド３０のストレージからイメージファイルが表示装置２０に送信されたが、クラウド３０のストレージはネットワーク上のストレージの一例である。イメージファイルは、クラウド３０以外のネットワーク上のストレージや記憶装置から表示装置２０に送信されてもよい。あるいは、表示装置２０がネットワーク上のイメージデータを参照するようにしてもよい（参照されたイメージデータが表示装置２０の記憶部２２に格納されたイメージデータと同じように処理される）。
表示装置２０がネットワーク上のイメージデータを参照する場合、参照先からイメージデータが入手可能である場合に限り、重畳表示に使用するコンテンツの数に合算する。
In the above embodiment, the image file is transmitted from the storage of the cloud 30 to the
When the
＜実施形態２＞
次に、本発明の実施形態２を図１、図６および図７に基づいて説明する。実施形態２では、撮像装置１０により連写された複数のイメージが、表示装置２０の記憶部２２内のＨＥＩＦファイルにイメージシーケンスとして格納された場合にも用いることができるサムネイルイメージ（サムネイルアイコン）の描画手順について説明する。以下の記載において、実施形態１と同様な構成や処理については、同一の参照符号を付け、その詳細な説明は省略する。
<
Next,
図６は、ＨＥＩＦファイルにイメージシーケンス（時系列で表示される複数の画像）が含まれている場合のサムネイルアイコンの描画手順を示すフローチャートである。
Ｓ３０１〜Ｓ３０６までは実施形態１と同様である。実施形態２では、Ｓ３０６の後にＳ６０１に進む。
Ｓ６０１において、ファイル管理部２０５は、当該イメージアイテムがイメージシーケンスのイメージアイテムか否かを判定する。Ｓ６０１の判定結果がＮｏの場合、Ｓ３０７に進み、その後、Ｓ３０８、Ｓ３０９およびＳ３１０の処理を行う。Ｓ３０７〜Ｓ３１０は、実施形態１と同様である。
FIG. 6 is a flowchart showing a drawing procedure of a thumbnail icon when an image sequence (a plurality of images displayed in time series) is included in the HEIF file.
S301 to S306 are the same as those in the first embodiment. In the second embodiment, S306 is followed by S601.
In S601, the
一方、当該イメージアイテムがイメージシーケンスのイメージアイテムである場合は、Ｓ６０２に進む。
Ｓ６０２において、ファイル管理部２０５は、シーケンスのイメージ数に１を加算する。本実施形態では、連続イメージによる動画的な連続イメージ再生を行うイメージシーケンスのプロパティが設定されているイメージ群の場合、重畳表示に使用するコンテンツの数については、まとめて１と判断している。
Ｓ６０３において、ファイル管理部２０５は、シーケンスのイメージ数が１であるかを判定する。Ｓ６０３の判定結果がＹｅｓの場合、ファイル管理部２０５は、イメージシーケンスを一つのコンテンツと判断し、Ｓ３１０に進む。Ｓ６０３の後、Ｓ３１０において、ファイル管理部２０５は、コンテンツ数に１を加算する。Ｓ６０３の判定結果がＮｏの場合、Ｓ３０５に戻る。
On the other hand, if the image item is an image item of an image sequence, the process proceeds to S602.
In S602, the
In S603, the
すべてのイメージアイテムについて解析および判定が終わると（Ｓ３０５：Ｙｅｓ）、Ｓ６０４に進む。
Ｓ６０４において、ファイル管理部２０５は、特性解析により得られたイメージがイメージシーケンスのみか否かを判定する。Ｓ６０４の判定結果がＮｏの場合、Ｓ３１１に進み、その後、Ｓ３１２およびＳ３１３の処理を行う。Ｓ３１１〜Ｓ３１３は実施形態１と同様である。よって、Ｓ３１１の判定結果がＹｅｓの場合は、図７のサムネイルアイコン５０２が表示され、Ｓ３１１の判定結果がＮｏの場合は、図７のサムネイルアイコン５０４が表示される。
When the analysis and determination for all the image items are completed (S305: Yes), the process proceeds to S604.
In S604, the
特性解析により得られたイメージがイメージシーケンスのみである場合（Ｓ６０４：Ｙｅｓ）、Ｓ６０５に進む。
Ｓ６０５において、ファイル管理部２０５は、連写イメージ数の重畳画像をサムネイルアイコンに設定する。本実施形態では、連写イメージ数は１５であるとする。そして、Ｓ３１３へ進み、サムネイルアイコンが表示される。Ｓ６０５からＳ３１３へ進んだ場合のサムネイルアイコンは、図７のサムネイルアイコン７０１である。
図７に示すように、イメージシーケンスの重畳画像７０２がサムネイルアイコン７０１に付随するように表示されている。より詳しくは、イメージシーケンスのＨＥＩＦファイルのサムネイルアイコン７０１に、四角枠で囲った数字１５が重畳画像７０２として重ねて表示される。ユーザは、連写イメージの重畳画像７０２により、当該イメージファイルがイメージシーケンスを格納していることと、シーケンスのイメージ数が１５であることを容易に認識できる。
If the image obtained by the characteristic analysis is only an image sequence (S604: Yes), the process proceeds to S605.
In S605, the
As shown in FIG. 7, the
本実施形態のサムネイルアイコン７０１と重畳画像７０２によれば、複数のイメージを格納可能なＨＥＩＦイメージファイルに関し、格納されたイメージがイメージのコレクション（集合）ではなく連写シーケンスのイメージであることをユーザは容易に認識できる。連写シーケンスのイメージの場合に生成・重畳される重畳画像７０２は、非連写シーケンスのイメージの場合に生成・重畳される丸枠の重畳画像５０３とは異なるので、連写シーケンスのイメージであることをユーザは容易に認識することができる。
According to the
なお、上記した実施形態では、撮像装置１０により連写された複数のイメージが、表示装置２０の記憶部２２内のＨＥＩＦファイルにイメージシーケンスとして格納された場合を説明したが、連写された複数のイメージは、クラウド３０から表示装置２０に供給されたものでもよい。
In the above-described embodiment, the case where a plurality of images continuously shot by the
＜実施形態３＞
実施形態２ではＳ６０４の処理の後の重畳画像の設定において、イメージシーケンスの再生時間を考慮していない。実施形態３では、Ｓ６０４の処理の後、イメージシーケンスの再生時間を考慮して重畳画像の設定（表示形式を選択）を行う。より詳しくは、実施形態３では、イメージシーケンスの再生時間に応じて、２種類のサムネイルイメージから１つのサムネイルイメージを選択する。選択方法の一例として、イメージシーケンスの再生時間が１秒未満である場合は実施形態２で説明した連写イメージ数の重畳画像を選択し、１秒以上である場合は再生時間の秒数を表現する重畳画像を選択する。尚、１秒以上という判断基準は例示であり、本実施形態を限定するものではない。
<
In the second embodiment, the reproduction time of the image sequence is not taken into consideration in the setting of the superimposed image after the processing of S604. In the third embodiment, after the processing of S604, the superimposed image is set (the display format is selected) in consideration of the reproduction time of the image sequence. More specifically, in the third embodiment, one thumbnail image is selected from two types of thumbnail images according to the playback time of the image sequence. As an example of the selection method, when the reproduction time of the image sequence is less than 1 second, the superimposed image of the number of continuous shot images described in the second embodiment is selected, and when it is 1 second or more, the number of seconds of the reproduction time is expressed. Select the superimposed image to be used. The criterion of 1 second or more is an example, and does not limit the present embodiment.
以下に、実施形態３を図８〜図１０に基づいて説明する。
図８は実施形態３におけるサムネイルアイコンの描画手順を示すフローチャートである。実施形態３は実施形態２の変形例であるので、以下の説明において、実施形態２と同様な処理については、実施形態２と同様な参照符号を用い、詳細な説明は省略する。ＨＥＩＦファイルにはイメージシーケンスが含まれている。
図６のフローチャート（実施形態２）と図８のフローチャートを比較すると分かるように、実施形態３では、実施形態２のＳ６０５がＳ９００になっている。Ｓ９００以外のステップは、図６のフローチャートと同じである。
実施形態３におけるイメージファイル一覧の際のサムネイルアイコンの描画では、イメージシーケンスの再生時間に応じて、イメージシーケンスの重畳画像を選択（決定）して、当該重畳画像をアイコンに設定する（Ｓ９００）。
Hereinafter, the third embodiment will be described with reference to FIGS. 8 to 10.
FIG. 8 is a flowchart showing the drawing procedure of the thumbnail icon in the third embodiment. Since the third embodiment is a modification of the second embodiment, in the following description, the same reference numerals as those in the second embodiment will be used for the same processing as in the second embodiment, and detailed description thereof will be omitted. The HEIF file contains an image sequence.
As can be seen by comparing the flowchart of FIG. 6 (Embodiment 2) with the flowchart of FIG. 8, in the third embodiment, S605 of the second embodiment is S900. The steps other than S900 are the same as the flowchart of FIG.
In drawing the thumbnail icon when listing the image files in the third embodiment, the superimposed image of the image sequence is selected (determined) according to the playback time of the image sequence, and the superimposed image is set as the icon (S900).
図９はＳ９００の詳細を示すフローチャートである。図９の処理により、イメージシーケンスの再生時間に応じて重畳画像の表示形式を選択する。
まず、Ｓ６０４の判定結果がＹｅｓの場合、Ｓ９０１に進む。つまり、イメージシーケンスの重畳画像を使用するという判定がなされた場合、Ｓ９０１に進む。
Ｓ９０１において、ファイル管理部２０５は、イメージシーケンスの再生時間が１秒以上であるかを判定する（Ｓ９０１）。再生時間が１秒以上である場合（例えば、再生時間が１５秒である場合）、ファイル管理部２０５は、再生時間の重畳画像１００２（図１０）を生成して、当該重畳画像をアイコンに設定する（Ｓ９０２）。Ｓ９０２の後、Ｓ３１３に進む。
FIG. 9 is a flowchart showing the details of S900. By the process of FIG. 9, the display format of the superimposed image is selected according to the reproduction time of the image sequence.
First, if the determination result of S604 is Yes, the process proceeds to S901. That is, when it is determined that the superimposed image of the image sequence is used, the process proceeds to S901.
In S901, the
図１０は、イメージシーケンスの再生時間（１５秒）の重畳画像１００２を重畳表示したアイコン９０１の例を示す。重畳画像１００２は、時計の中に数字の「１５」が示された画像である。つまり、重畳画像１００２は、再生時間である１５秒と、時間を連想させる時計の形状とに基づいて生成された重畳画像である。なお、時計の形状の代わりに、ムービーフィルムの形状を用いてもよい。
FIG. 10 shows an example of the
図９に戻る。
Ｓ９０１において再生時間が１秒未満であると判定された場合は、Ｓ９０３に進む。
Ｓ９０３において、ファイル管理部２０５は、実施形態２のＳ６０５と同様に、イメージ数を表す重畳画像７０２（図７）を生成し、当該重畳画像をアイコン７０１に設定する。Ｓ９０３の後、Ｓ３１３に進む。
Return to FIG.
If it is determined in S901 that the reproduction time is less than 1 second, the process proceeds to S903.
In S903, the
以上、本実施形態の表示装置２０によれば、複数イメージを格納可能なＨＥＩＦイメージファイルを使用する場合、重畳画像１００２が表示されているか重畳画像７０２が表示されているかに基づいて、イメージファイルの長さが分かる。つまり、短時間で連写したイメージ群が含まれるイメージファイルなのか、長時間で連写したイメージ群が含まれるイメージファイル（動画として表示されるイメージファイル）なのかを、ユーザは容易に判断することができる。また、重畳画像１００２に含まれる数字を見れば、当該イメージファイルの再生時間も分かる。重畳画像１００２は再生時間を数字で表し、重畳画像７０２はイメージ数を数字で表すので、いずれの重畳画像であっても、重畳表示される数字を見ると、ユーザは、イメージシーケンスとしての規模を容易に把握することができる。
As described above, according to the
＜実施形態４＞
実施形態４は、実施形態３の変形例である。実施形態３ではＳ３１１でコンテンツ数が２以上の場合に直ちにＳ３１２に進んだが、実施形態４ではＳ３１２に進む前に、グリッド形式の重畳画像を選択できるようにする。つまり、実施形態４は、複数のイメージがグリッド状に配置される合成イメージをＨＥＩＦファイルに格納する場合にも適用できる実施形態である。以下の説明において、実施形態３と同様な処理については、実施形態３と同様な参照符号を用い、詳細な説明は省略する。
以下、実施形態４を図１１および図１２に基づいて説明する。
図１１は実施形態４におけるサムネイルアイコンの描画手順を示すフローチャートである。図８のフローチャート（実施形態３）と図１１のフローチャートを比較すると分かるように、実施形態４では、実施形態３のＳ３１１とＳ３１２の間にＳ１１０１が追加されている。Ｓ１１０１の判定結果がＹｅｓの場合に、Ｓ１１０２が実行され、Ｓ１１０１の判定結果がＮｏの場合には、Ｓ３１２が実行される。Ｓ１１０１とＳ１１０２以外の処理は、図８のフローチャートと同じである。本実施形態では、Ｓ１１０１とＳ１１０２により、グリッドの形（格子形状）をした重畳画像を選択することができる。
<
The fourth embodiment is a modification of the third embodiment. In the third embodiment, when the number of contents is 2 or more in S311, the process immediately proceeds to S312, but in the fourth embodiment, the superimposed image in the grid format can be selected before proceeding to S312. That is, the fourth embodiment is also applicable to the case where a composite image in which a plurality of images are arranged in a grid is stored in a HEIF file. In the following description, the same reference numerals as those in the third embodiment will be used for the same processing as in the third embodiment, and detailed description thereof will be omitted.
Hereinafter, the fourth embodiment will be described with reference to FIGS. 11 and 12.
FIG. 11 is a flowchart showing the drawing procedure of the thumbnail icon in the fourth embodiment. As can be seen by comparing the flowchart of FIG. 8 (Embodiment 3) with the flowchart of FIG. 11, in the fourth embodiment, S1101 is added between S311 and S312 of the third embodiment. If the determination result of S1101 is Yes, S1102 is executed, and if the determination result of S1101 is No, S312 is executed. The processing other than S1101 and S1102 is the same as the flowchart of FIG. In the present embodiment, the superimposed image in the shape of a grid (lattice shape) can be selected by S1101 and S1102.
Ｓ３１１において、ファイル管理部２０５は、イメージシーケンス以外のイメージ（コンテンツ）が複数あるかを判定する。Ｓ３１１の判定結果がＹｅｓの場合、Ｓ１１０１に進む。
Ｓ１１０１において、ファイル管理部２０５は、イメージがグリッドイメージのみか否かを判定する。Ｓ１１０１の判定結果がＮｏの場合、実施形態３と同様に、イメージ数の重畳画像を生成して、当該重畳画像をアイコンに設定する（Ｓ３１２）。この場合、グリッドイメージは、１つの画像であると判定される。
In S311 the
In S1101, the
一方、グリッドイメージのみの場合（Ｓ１１０１：Ｙｅｓ）は、Ｓ１１０２に進む。
Ｓ１１０２において、ファイル管理部２０５は、グリッド形状と当該グリッドに含まれるイメージ数（グリッド表示されるイメージ数）とからなる重畳画像１２０１（図１２）を生成し、当該重畳画像をアイコンに設定する。本実施形態では、グリッドに含まれるイメージ数は１２であるとする。
図１２は、イメージ数である「１２」と、グリッドの形状とを含む重畳画像１２０１を重畳表示したアイコン５０４を示す。
On the other hand, in the case of only the grid image (S1101: Yes), the process proceeds to S1102.
In S1102, the
FIG. 12 shows an
以上、本実施形態の表示装置２０によれば、複数のイメージを格納可能なＨＥＩＦイメージファイルを使用する場合、格納されたイメージがグリッド形式で表示されるイメージであることと、グリッドに含まれるイメージ数とを表現することが可能となる。ユーザは、重畳画像１２０１を見ることにより、アイコン５０４で代表される複数のイメージ（イメージ群）が、グリッド表示されるべきイメージであることと、当該グリッドに含まれるイメージ数とを容易に把握できる。
As described above, according to the
＜実施形態５＞
実施形態５は、実施形態１の変形例である。実施形態１ではＳ３０５の判定結果がＮｏの場合、直ちにＳ３０６に進み、イメージアイテムの特性を解析したが、実施形態５ではＳ３０６に進む前に、当該イメージがネットワーク上のイメージで且つ入手不可能であるかを判定する。以下の説明において、実施形態１と同様な処理については、実施形態１と同様な参照符号を用い、詳細な説明は省略する。
<Embodiment 5>
The fifth embodiment is a modification of the first embodiment. In the first embodiment, when the determination result of S305 is No, the process immediately proceeds to S306 to analyze the characteristics of the image item, but in the fifth embodiment, the image is an image on the network and is not available before proceeding to S306. Determine if there is. In the following description, the same reference numerals as those in the first embodiment will be used for the same processing as in the first embodiment, and detailed description thereof will be omitted.
以下、実施形態５を図１３に基づいて説明する。
図１３は実施形態５におけるサムネイルアイコンの描画手順を示すフローチャートである。図３のフローチャート（実施形態１）と図１３のフローチャートを比較すると分かるように、実施形態５では、実施形態１のＳ３０５とＳ３０６の間にＳ１３０１が追加されている。Ｓ１３０１の判定結果がＮｏの場合に、Ｓ３０６に進み、Ｓ１３０１の判定結果がＹｅｓの場合に、Ｓ３０５に戻る。Ｓ１３０１以外の処理は、図３のフローチャートと同じである。
実施形態５では、イメージが、クラウド３０等ネットワーク上のイメージであり且つ入手可能である場合にのみ、当該イメージをイメージ数に含める。
Hereinafter, the fifth embodiment will be described with reference to FIG.
FIG. 13 is a flowchart showing the drawing procedure of the thumbnail icon in the fifth embodiment. As can be seen by comparing the flowchart of FIG. 3 (Embodiment 1) with the flowchart of FIG. 13, in the fifth embodiment, S1301 is added between S305 and S306 of the first embodiment. If the determination result of S1301 is No, the process proceeds to S306, and if the determination result of S1301 is Yes, the process returns to S305. The processing other than S1301 is the same as the flowchart of FIG.
In the fifth embodiment, the image is included in the number of images only when the image is an image on a network such as cloud 30 and is available.
Ｓ１３０１において、ファイル管理部２０５は、イメージがネットワーク（ＮＷ）上のイメージで、入手不可能であるか否か判定する。入手不可能なネットワーク上のイメージの場合、Ｓ１３０１の判定結果はＹｅｓになり、次のイメージの判定（Ｓ３０５）に進む。つまり、当該イメージは、イメージ数に含めない。
一方、イメージファイルに含まれる、または入手可能なネットワーク上のイメージの場合は、Ｓ１３０１の判定結果はＮｏになり、Ｓ３０６に進み、実施形態１と同様にイメージの解析を行う。
In S1301, the
On the other hand, in the case of an image on the network included in the image file or available, the determination result of S1301 becomes No, the process proceeds to S306, and the image is analyzed in the same manner as in the first embodiment.
以上、本実施形態の表示装置２０によれば、重畳表示するイメージ数に通信障害やリンク切れ等で表示不可能なイメージを含めないようにすることが可能となり、ユーザに誤解を与えることを防ぐことができる。
As described above, according to the
＜実施形態６＞
実施形態６では、イメージファイルの作成者または閲覧者が実施形態１〜５で説明したアイコンの選択（重畳画像の選択）を予め当該イメージファイルのヘッダ領域に保存する例を説明する。
<Embodiment 6>
In the sixth embodiment, an example in which the creator or the viewer of the image file saves the icon selection (selection of the superimposed image) described in the first to fifth embodiments in the header area of the image file in advance will be described.
以下、実施形態６を図１４に基づいて説明する。
図１４はＨＥＩＦファイルのボックス構造を示している。図１４では、ＨＥＩＦファイルのユーザ定義データを格納するｕｕｉｄボックスに、アイコン補助イメージ情報としてボックスタイプｉｃｓｉを格納する例を示している。この例は、サムネイルイメージタイプをｃｏｎｔｅｎｔ＿ｔｙｐｅに格納し、イメージ数または再生時間をｃｏｎｔｅｎｔ＿ ｓｉｚｅに格納するフォーマットを示している。例えば、ｃｏｎｔｅｎｔ＿ｔｙｐｅが「１」ならば、サムネイルイメージがイメージシーケンスであることが分かる。
このように、予めアイコンの表示表現（例えば、イメージシーケンスであること）をイメージファイルに保存することで、イメージファイルの一覧表示を行う際の解析作業を省略または低減することができる。
ｕｕｉｄボックスにアイコン補助イメージ情報（ＨＥＩＦ解析部の解析結果）を格納しているので、ＨＥＩＦ解析部２０６の処理量を低減することができる。
撮影時の状況（連写撮影したか否か）や、かつて表示したときグリッド表示したか動画的に表示したかをＨＥＩＦの拡張領域に保存しておくことで、後に適切なアイコン重畳表示が選択できる。
Hereinafter, the sixth embodiment will be described with reference to FIG.
FIG. 14 shows the box structure of the HEIF file. FIG. 14 shows an example in which the box type icsi is stored as the icon auxiliary image information in the uuid box that stores the user-defined data of the HEIF file. This example shows a format in which the thumbnail image type is stored in content_type and the number of images or playback time is stored in content_size. For example, if content_type is "1", it means that the thumbnail image is an image sequence.
In this way, by saving the icon display expression (for example, being an image sequence) in the image file in advance, it is possible to omit or reduce the analysis work when displaying the list of the image files.
Since the icon auxiliary image information (analysis result of the HEIF analysis unit) is stored in the uuid box, the processing amount of the
By saving the situation at the time of shooting (whether or not continuous shooting was taken) and whether it was displayed as a grid or as a movie when it was displayed in the extended area of HEIF, an appropriate icon overlay display can be selected later. can.
＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この場合のプログラムとは、コンピュータ読取可能であり、実施形態において図に示したフローチャートに対応したプログラムである。
<Other Embodiments>
Although the embodiments have been described in detail above, the present invention can be implemented as, for example, a system, an apparatus, a method, a program, a recording medium (storage medium), or the like. Specifically, it may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or it may be applied to a device composed of one device. good.
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. The program in this case is a computer-readable program that corresponds to the flowchart shown in the figure in the embodiment.
１…システム、１０…撮像装置、２０…表示装置、２１…制御部、２２…記憶部、２４…表示部、２０６…ＨＥＩＦ解析部、２０５…ファイル管理部、２０８…描画部、５０３…重畳表示 1 ... system, 10 ... imaging device, 20 ... display device, 21 ... control unit, 22 ... storage unit, 24 ... display unit, 206 ... HEIF analysis unit, 205 ... file management unit, 208 ... drawing unit, 503 ... superimposed display
Claims (15)
前記判定手段により前記所定の条件を満たすと判定された画像の数に応じた情報を生成する生成手段と、
前記生成手段によって生成された情報を、前記画像ファイルを表す画像に付随させて表示する表示手段と、
を有することを特徴とする画像処理装置。 A determination means for determining whether or not each image in an image file containing at least one image satisfies a predetermined condition, and
A generation means for generating information according to the number of images determined to satisfy the predetermined condition by the determination means, and a generation means.
A display means for displaying the information generated by the generation means along with an image representing the image file, and a display means.
An image processing device characterized by having.
前記判定するステップにより前記所定の条件を満たすと判定された画像の数に応じた情報を生成するステップと、
前記生成するステップによって生成された情報を、前記画像ファイルを表す画像に付随させて表示するステップと、
を有することを特徴とする画像処理方法。 A step of determining whether or not each image in an image file containing at least one image satisfies a predetermined condition, and a step of determining whether or not the image satisfies a predetermined condition.
A step of generating information according to the number of images determined to satisfy the predetermined condition by the determination step, and a step of generating information.
A step of displaying the information generated by the generated step along with an image representing the image file, and a step of displaying the information.
An image processing method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020012219A JP2021118492A (en) | 2020-01-29 | 2020-01-29 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020012219A JP2021118492A (en) | 2020-01-29 | 2020-01-29 | Image processing device and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021118492A true JP2021118492A (en) | 2021-08-10 |
Family
ID=77175404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020012219A Pending JP2021118492A (en) | 2020-01-29 | 2020-01-29 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021118492A (en) |
-
2020
- 2020-01-29 JP JP2020012219A patent/JP2021118492A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9154856B2 (en) | Video segmenting | |
| RU2395856C2 (en) | Data storage medium storing text-based subtitles, and device for processing text-based subtitles | |
| US20080079693A1 (en) | Apparatus for displaying presentation information | |
| US9519624B1 (en) | Displaying previews of content items for electronic works in a target rendering environment | |
| US20190208289A1 (en) | System and method for enhancing human memory recollection and cataloging through an autogenerated video journal | |
| US10356359B2 (en) | Information processing apparatus, method for controlling the information processing apparatus, and recording medium | |
| JP2006279119A (en) | Image reproducing device and program | |
| US11073972B2 (en) | Visual summarization methods for time-stamped images | |
| JP2011101251A (en) | Electronic apparatus and image display method | |
| JP2009225207A (en) | Information processor | |
| KR20120026836A (en) | Method and apparatus for displaying data object, and computer readable storage medium | |
| JP2021118492A (en) | Image processing device and image processing method | |
| CN113946254B (en) | Content display method, device, equipment and medium | |
| KR102113503B1 (en) | Electronic apparatus and method for providing contents in the electronic apparatus | |
| JP2006253984A (en) | Image display control apparatus and program | |
| US20210382931A1 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory computer-readable storage medium | |
| KR101442355B1 (en) | Device and method to create media summary data | |
| JP6037443B2 (en) | Inter-video correspondence display system and inter-video correspondence display method | |
| JP5854232B2 (en) | Inter-video correspondence display system and inter-video correspondence display method | |
| US20140189769A1 (en) | Information management device, server, and control method | |
| JP4674726B2 (en) | File management method and information processing apparatus | |
| KR101648711B1 (en) | Apparatus for processing moving image ancillary information using script and method thereof | |
| JP2015203933A (en) | content extraction device and content extraction method | |
| JP5707567B2 (en) | Image processing apparatus and image processing method | |
| JP2019110353A (en) | Multimedia reproduction device and multimedia generation device |