JP2023016414A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2023016414A
JP2023016414A JP2021120703A JP2021120703A JP2023016414A JP 2023016414 A JP2023016414 A JP 2023016414A JP 2021120703 A JP2021120703 A JP 2021120703A JP 2021120703 A JP2021120703 A JP 2021120703A JP 2023016414 A JP2023016414 A JP 2023016414A
Authority
JP
Japan
Prior art keywords
image
images
deleted
file
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021120703A
Other languages
English (en)
Inventor
俊明 佐藤
Toshiaki Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021120703A priority Critical patent/JP2023016414A/ja
Publication of JP2023016414A publication Critical patent/JP2023016414A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】画像ファイルの構成情報を編集してファイルサイズを最適化する。【解決手段】画像処理装置は、複数の画像と当該複数の画像に関する属性情報を格納する画像ファイルを取得し、ユーザによる第1の操作に基づいて該複数の画像のうちの1つ以上の画像を選択し、該選択された1つ以上の画像に対するユーザの第2の操作に応じて、該画像ファイルに格納される、該複数の画像と該属性情報の一部を削除することにより、該画像ファイルを再構成する。【選択図】図7

Description

本発明は、複数の画像を格納可能な画像ファイルの編集の技術に関する。
複数の画像を格納可能な画像ファイルフォーマットに、近年MPEG(Moving Pictures Experts Group)によって標準化されたMPEG HEIF(High Efficiency Image File Format)フォーマットがある。HEIFは、ISO/IEC23008パート12で「ImageFile Format」として、その定義がされている。
HEIFでは、最新のHEVC符号化を採用して高いデータ圧縮率を実現しつつ、複数の画像をコレクション化、及びシーケンス化してファイル格納する方式を規定している。更に、HEIFでは、当該格納された1以上の画像を基に合成画像(派生画像(Drived Image))を得る表現の記載方法が規定されている。当該合成には、複数の画像をタイル整列する表現や、透過及び重畳させる表現がある。HEIFの再生(表示)側デバイスは、その当該表現の表記に応じて画像を出力する。
ところで、PCやスマートフォンで、多数のHEIFファイルといった画像ファイルを管理、閲覧する際、一般的に各画像ファイルはアイコンや縮小画像のサムネイルで一覧表示される。
HEIFでは、格納された1つ以上の画像から代表画像(Primary Image)を指定可能で、サムネイル表示にも当該代表画像が使用されることが想定されている。サムネイルに対するマウス操作やタッチ操作により、指定された画像ファイルに格納される1つ以上の画像の表示、及びファイル操作を行うことができる。
ここで、例えば画像ファイルに含まれる1つ以上の画像に対する編集も行うことも可能であり、例えば特許文献1には、画像ファイルから主画像データを抜き出して、単画像ファイルを生成する技術が開示されている。
特開2012-178860号公報
HEIFファイルでは、ユーザが意図しない不要な画像を非表示に設定したり元に戻して表示したりすることができる。一方で、このような場合には、HEIFファイルの構成情報では何ら再構成は行われず、ユーザが表示を望む画像以外の画像も含んだ重い(大容量の)データを管理する必要があり、ファイルサイズの最適化ができていなかった。
また、特許文献1においても、画像ファイルの構成情報を編集して再構成する仕組みについては開示されていない。
本発明は上記課題に鑑みてなされたものであり、その目的は、画像ファイルの構成情報を編集してファイルサイズを最適化することが可能な画像処理装置、画像処理方法、およびプログラムを提供することにある。
本発明の目的を達成するために、本発明の一形態による画像処理装置は以下の構成を有する。すなわち、複数の画像と当該複数の画像に関する属性情報を格納する画像ファイルを取得する取得手段と、ユーザによる第1の操作に基づいて前記複数の画像のうちの1つ以上の画像を選択する選択手段と、前記選択された1つ以上の画像に対するユーザの第2の操作に応じて、前記画像ファイルに格納される、前記複数の画像と前記属性情報の一部を削除することにより前記画像ファイルを再構成する再構成手段と、を有する。
本発明によれば、画像ファイルの構成情報を編集してファイルサイズを最適化することが可能となる。
いくつかの実施形態による画像処理システムの構成例を示す図である。 いくつかの実施形態による画像処理装置のハードウェアおよび機能構成の一例を示す図である。 画像処理装置に表示される画像ファイル一覧の例を示す図である。 いくつかの実施形態による画像ファイル編集処理の全体処理のフローチャートである。 HEIFファイル編集処理において表示される画面の一例を示す。 HEIFファイルフォーマットの一例を示す図である。 実施形態1によるHEIFファイルの編集処理のフローチャートである。 HEIFファイル内の一部画像の削除操作に関する操作フローの概略図を示す。 選択アイテムリストの構造体901の例を示す。 HEIFファイル再構成処理のフローチャートである。 画像アイテム削除処理前後のHEIFファイル構造の概要図を示す。 実施形態2によるHEIFファイルの編集処理のフローチャートである。 HEIFファイル内の一部画像の複製操作に関する操作フローの概略図を示す。 新規HEIF生成処理のフローチャートである。 画像アイテム複製処理前後のHEIFファイル構造の概要図を示す。 実施形態3によるHEIFファイルの編集処理のフローチャートである。 HEIFファイル内の一部画像の抜き出し操作に関する操作フローの概略図を示す。 画像アイテム一部抜き出し処理前後のHEIFファイル構造の概略図を示す。
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
<実施形態1>
本実施形態による画像処理装置は、ユーザによる操作に応じて、複数の画像アイテムが格納された画像ファイル内の1つ以上の画像アイテムを削除し、画像ファイルを再構成する。画像処理装置はまた、表示機能を有し、再構成する前と後での画像アイテムを表示することができる。なお、以下の説明において、画像アイテムと画像は同義に使用されうる。
(システムの構成)
図1に、本実施形態による画像処理システムの構成例を示す。画像処理装置102は、撮影装置101やクラウド103のストレージから画像ファイルを取得し、当該画像ファイルを表示する機能を有する。撮影装置101は、例えばデジタルカメラや、カメラ機能を有するスマートフォンであり、撮像処理を行って画像ファイルを生成する。撮影装置101は、生成した画像ファイルをメモリカードや無線/有線通信等を介して、情報処理装置102へ出力することができる。なお、画像ファイルの詳細な作成手順、および画像ファイルの伝送手順については、本件技術と直接関係ないため説明を省略する。
(画像処理装置の構成)
図2は、本実施形態による画像処理装置102のハードウェア構成および機能構成の一例を示す図である。
図2に示す画像処理装置102は、表示部201、メモリ202、メモリカード操作部203、通信部204、ユーザI/F(インタフェース)部、ファイル管理部206、解析部207、復号部208、表示制御部209、制御部210を備え、それらは内部バス211で相互接続される。なお、画像処理装置102は、上記の構成のうち一部の構成を備えていなくともよく、また、図2の構成に加えて追加の構成を備えていてもよい。
表示部201は、表示制御部209による制御により、各種表示処理を行う。表示部201は、例えば、画像処理装置102に搭載された液晶モニター(LCD(Liquid Crystal Monitor))である。
メモリ202は、ROM(Read Only Memory)やRAM(Random Access Memory)を含んで構成されうる。ROMは、後述する各種動作を実行するためのプログラム等を格納する。RAMは、制御部210の主メモリ、ワークエリア等として機能し、後述する各種動作を実行するためのプログラム、各種データ、通信パラメータ等の情報を一時記憶する。
メモリカード操作部203は、撮影装置101により生成された画像ファイルが書き込まれたメモリカードから、画像ファイルを取得する機能を有する。メモリカード操作部203画像処理装置102により再構成された画像ファイルを出力するように構成されてもよい。なお、メモリカード操作部203は、メモリカードに替えて、光ディスク、CD-ROM、CD-R、磁気テープ、不揮発性メモリカード、DVD等の記憶媒体を介して画像ファイルを取得(出力)してもよい。
通信部204は、有線/無線媒体を介してデータの送受信を行う。本実施形態では、通信部204は、撮影装置101により生成され送信された画像ファイルや、クラウド103を介して送信された画像ファイルを受信する機能を有する。通信部204は、画像処理装置102により再構成された画像ファイルを送信(出力)するように構成されてもよい。
ユーザI/F(インタフェース)部205は、例えば、画像処理装置102に格納されている画像ファイルを閲覧するユーザが、画像処理装置102に対して各種設定を指示するインタフェースである。ユーザI/F部205は、例えばキーボード、タッチパッド、マウス等を含んで構成されうる。また、ユーザI/F部205は、表示部201と組み合わせてGUI(グラフィックユーザインタフェース)を構成してもよい。ユーザは、ユーザI/F部205を介して、マウス操作やタッチ操作といったUI(ユーザインタフェース)操作を行うことができる。
ファイル管理部206は、メモリカード操作部203および/または通信部204より取得した1つ以上の画像ファイルをメモリ202に展開・格納する。また、ファイル管理部206は、ユーザI/F205を介したユーザ操作に応じて、画像ファイルの編集(再構成、新規生成を含む)を行うファイル再構成手段として機能する。また、ファイル管理部206は、解析部207による画像ファイルの解析結果を基に、画像ファイルに格納される1つ以上の画像の表示方法を決定し、表示制御部209へ当該表示方法を指示する。
解析部207は、メモリ202に格納された画像ファイルの解析を行う。
復号部208は、画像ファイルに符号化データ(符号化画像)が格納されている場合に、当該符号化データの復号化処理を行う。
表示制御部209は、画像ファイルに格納されている画像(画像アイテム)を表示部201に表示するための制御を行う。例えば、表示制御部209は、ファイル管理部206により指示された表示方法に従って(画像ファイルの情報に従って)、復号部208により復号された画像を基に表示画像を生成し、表示部201に表示する。
制御部210は、1つまたは複数のCPU(Central Processing Unit)等のプロセッサにより構成され、OS、ドライバ、プログラムを実行することにより、画像処理装置102の各構成部の動作を統括的に制御する
なお、図2に示す機能構成206~209は、ハードウェアまたはソフトウェアによって提供され、ソフトウェアによって提供される場合は、各機能構成に対応するプログラムがCPUによって実行されることにより、上記の機能が実現される。ハードウェアによって提供される場合には、ASIC(Application Specific Integrated Circuit)等の回路によって上述の機能が実現される。
(画像ファイル編集処理の全体の流れ)
次に、本実施形態による画像ファイル編集処理の全体の流れについて説明する。
図3は、本実施形態による画像処理装置102の表示部201に表示される画像ファイル一覧の例である。前述のように、ユーザは、ユーザI/F部205を介して、マウス操作やタッチ操作といったUI操作を行うことができる。図3では、一例としてユーザによるUI操作のポインタ301が示されている。
図3に示す画像ファイル一覧において、画像ファイル302~304は、ファイル名に拡張子heicを持つ、HEIFファイルである。一方、画像ファイル305~309は、拡張子jpeg(またはjpg)を持つ、JPEGファイルである。このように、図3では、複数の画像アイテムの格納が可能なHEIFファイルと、単一の画像アイテムが格納されるJPEGファイルが混在した一覧が表示されている。
本実施形態では、HEIFファイル内の画像アイテムのうち、ユーザへの表示対象となっている画像アイテムをコンテンツと称する。HEIFファイルにおいて、iinfボックス605の(図6)ItemInfoEntryボックス(アイテム情報エントリボックス)のFlags(フラグ)をHiddenフラグと呼ぶ。HEIFファイルに格納された画像アイテムのうち、このHiddenフラグが“1”(すなわち、Flags & 1の式で真)となる画像アイテムは、非表示情報を有する画像アイテムとしてコンテンツとして扱わず、ユーザに閲覧されないものとする。
また、画像アイテムの内、Thmbタイプを有する画像アイテム、すなわちサムネイル表示が設定されている画像アイテム(サムネイル画像)をユーザに提示するコンテンツとして扱う。また、派生画像(Drived Image)を複数のコンテンツの集合コンテンツとして扱い、その派生元となる画像をユーザに提示するコンテンツとして扱ってもよい。
図6は、本実施形態によるHEIFファイルフォーマットの一例を示す図である。
HEIFファイルは各種ボックス構造を有するフォーマットで記述された構成情報を有する。構成情報は画像(静止画や動画)のデータと、画像に関する属性情報を含む。
ここでは、本実施形態に関連するボックス構造の概要と、当該ボックスの格納内容の概要を説明する。
まず、データタイプがftypのボックス(ファイルタイプボックス)601内の情報について説明する。HEIFファイルの場合、ftypボックス601は、“mif1”または“msf1”を含むファイルタイプを示す。
次に、主に静止画に関する属性情報(管理情報)を示す、データタイプがmetaのボックス(メタデータボックス)602内の情報について説明する。
iinfボックス(アイテム情報ボックス)605において、画像アイテムがエントリとして定義される。具体的には、iinfボックス605において、各エントリにアイテムの識別子となるアイテムID(ItemID)、アイテムの種別を示すアイテムタイプ等の情報が記述される。
また、前述のように、iinfボックス605のitemInfoEntryボックス(アイテム情報エントリボックス)のFlags(フラグ)をHiddenフラグと呼ぶ。本実施形態では、Hiddenフラグ=1にセットされている画像アイテムは、非表示情報を有する画像としてコンテンツ(ユーザへの表示対象となる画像)として扱わず、ユーザに閲覧されないものとする。
ilocボックス(アイテムロケーションボックス)604は、mdatボックス612における、各画像アイテムに対応する符号化データ(メディアデータ)の格納位置の情報を設定する。具体的には、ilocボックス604のitemLocationEntryボックス(アイテムロケーションエントリボックス)には、符号化データのバイナリの先頭からのオフセットをextent_offsetとして、データ長をextent_lengthとして記述されている。
irefボックス(アイテム参照ボックス)606には、各画像アイテムの参照関係が記述される。サムネイル画像の場合、irefボックス606では、ItemReferenceType=“Thmb”がセットされる。
またHEIFでは、pitmボックス(プライマリアイテムボックス)603に第一優先画像(代表画像)を示すためのアイテムIDが記述される。画像に関連付けられたプロパティを指定するためのデータ構造が定義されている。より一般的にはアイテムのプロパティを指定するためのいくつかのメカニズムが用意されている。
iprpボックス(アイテムプロパティボックス)607内にipcoボックス(アイテムプロパティコンテナボックス)608で画像のサイズや符号化に関する情報などのプロパティが順番に格納される。
ipmaボックス(アイテムプロパティ関連ボックス)609には、画像アイテムが関連するプロパティ情報が記述される。ipmaボックス609には、アイテムIDが示す画像アイテムとプロパティの関連付けを、アイテムIDと、関連するプロパティのipcoボックス608におけるインデックスの配列の形式で格納される。
grplボックス(グループリストボックス)610は、アイテムまたはトラックを参照する「エンティティ」のグループ化を指定するためのメタデータ構造を有する。ISOBMFFおよびHEIF標準では、アイテムまたはトラックをグループ化として意味のある単位で扱うことを可能とするためメタデータ構造が存在する。
データタイプがmoovのmoovボックス(ムービーボックス)611は、主に動画に関する属性情報(管理情報)を格納するボックスである。
次に、データタイプがmdatのmdatボックス(メディアデータボックス)612内の情報について説明する。mdatボックス612には、画像アイテムのバイナリ(binary)データ(符号化HEVCデータ)が配置されている。
ilocボックス604には、各アイテムIDについて、符号化データのバイナリの先頭からのオフセットを、extent_offsetとして、データ長をextent_lengthとして記述されている。データ613は、各アイテムIDが指し示す符号化データを示している。
図4に、本実施形態による画像処理装置102により実行される画像ファイル編集処理の全体処理のフローチャートを示す。具体的には、図4は、図3に示す画像ファイル一覧の際に、ユーザによる選択操作(マウス操作やタッチ操作等のUI操作)により検索・選択された一つの画像ファイルに含まれる画像を展開表示する全体の処理のフローチャートである。
まず、画像ファイルに対する選択操作が行われると(S401でYes)、解析部207は、当該画像ファイルの画像ファイルフォーマットを解析し、当該画像ファイルがHEIFファイルか否か確認する(S402)。例えば解析部207は、画像ファイルの拡張子を確認して、選択操作された画像ファイルがHEIFファイルか否かを確認する。
図3の画像ファイル305~309のように、画像ファイルがJPEGファイル等の単一の画像アイテムが格納された画像ファイルである場合(S402でNo)、画像処理装置102は、当該画像ファイルの編集処理を行う(S404)。当該画像ファイルの編集処理のために、例えば、表示制御部209は表示部201に編集画面を表示する。S404の処理については、本件技術と直接関係はないため、説明を省略する。
一方、図3の画像ファイル302~304のように、画像ファイルがHEIFファイルである場合(S402でYes)、処理はS403へ進む。
解析部207は、HEIFファイルのファイルタイプを示すftypボックス601に “mif1”または“msf1”が含まれるかを確認する。ftypに“mif1”または“msf1”が含まれる場合(S403でYes)処理はS405へ進み、それ以外の場合は(S403でNo)、処理はS404へ進む。
次に、解析部207は、metaボックス602を解析し、HEIFファイルに含まれる画像アイテムのうち、表示するコンテンツを取得する。本実施形態では、非表示設定されておらず、サムネイル画像表示が設定されている画像アイテムを、表示するコンテンツとする。すなわち、非表示設定され、サムネイル画像表示が設定されている画像アイテムは表示するコンテンツではない。よって、解析部207は、画像アイテム毎にiinfボックス606とirefボックス607を参照し、その画像アイテムについて、非表示設定されており、かつ、画像サムネイル画像であるかを確認する(S405)。具体的には、解析部207は、iinfボックス605においてHiddenフラグが“1”にセットされているか、および、irefボックス606においてItemReferenceTypeに“Thmb”がセットされているかを確認する。
非表示設定かつサムネイル画像の場合(S405でYes)、すでに非表示設定されているコンテンツとして扱われるため、解析部207は、その画像アイテムのアイテムIDを選択アイテムリストへ登録する。図9に、選択アイテムリストの構造体901の例を示す。
一方、非表示設定とサムネイル画像の少なくとも一方を満たさない場合(S405でNo)、解析部207は、HEIFファイルに格納されている全画像アイテムに対して、S405の確認を行う。全ての画像アイテムに対してS405の確認を完了後、処理はHEIFファイルの編集処理(S407)へ移行する。当該HEIFファイルファイルの編集処理のために、例えば、表示制御部209は表示部201に編集画面を表示し、HEIFファイルに対する編集を行う。
HEIFファイルの編集処理の後に、表示制御部209は編集後のHEIFファイルの表示を行う(S408)。
(HEIFファイルの編集処理)
続いて、本実施形態によるHEIFファイル編集処理(S407)について説明する。
図5に、HEIFファイル編集処理の開始において、表示制御部209により表示部201に表示される画像ファイル編集画面の一例を示す。図5において、画像ファイル編集画面501は、例えば図3において、画像ファイル303(HEIFファイル)がユーザにより選択されたことに応じて表示部201に表示される画面である。
画像ファイル編集画面501において、画像502は、HEIFファイルに含まれる複数の画像アイテムよるプレビュー画面502を示している。画像503~506は、HEIFファイルに格納される複数の画像アイテムを表しており、画像503はHEIFファイルにおける第一優先画像(代表画像)を示している。図5では、第一優先画像である画像503が、プレビュー画面502にメイン画像(カバー画像)として表示される。
画像ファイル編集画面501にはまた、HEIFファイルに格納される複数の画像アイテム(画像503~506)に対する編集のための第1操作ウィンドウ507と第2操作ウィンドウ508が表示されている。
第1操作ウィンドウ507には、画像503~506が表示されており、ユーザは、例えばタッチ操作により、第1操作ウィンドウ507において画像503~504のうちの1つ以上を選択することができる。ここで、選択された画像は、選択されていない画像と比べて濃淡が変わるなど、異なる表示態様で表示されてもよい。
第2操作ウィンドウ508は、チェックボタン511、UNDO(取り消し)ボタン512、CANCEL(取り消し)ボタン513、DELETE(削除)ボタン514、COPY(複製)ボタン515、CUT(抜き出し)ボタン516、OK(承諾)ボタン517を含む。
次に、本実施形態による編集処理として、HEIFファイル内の一部画像の削除操作が行われた場合のHEIFファイルの編集処理(図4のS407)を説明する。図7は、本実施形態によるHEIFファイルの編集処理のフローチャートである。図7の説明のために図8と図5を参照する。図8は、HEIFファイル内の一部画像の削除操作に関する操作フローの概略図を示す。
まず、図5に示す画像503~506が表示部201に表示された状態とする(図8の状態801)。ファイル管理部206は、ユーザによりユーザI/F部205を介して、1つ以上の画像アイテムが選択された上でチェック操作が行われたか(チェックボタン511が選択されたか)を確認する(S701)。チェック操作が行われた場合(S701でYes)、ファイル管理部206は、チェック操作の対象の画像アイテムのアイテムIDを選択アイテムリスト(図9に示す選択アイテムリストの構造体901)へ登録する。図8の例では、画像505~506が選択された上でチェック操作が行われた画像505~506は、選択されていない画像503~504と異なる表示態様となっている(状態802)。
当該状態において、ユーザにより削除操作が行われた(DELETEボタン514が選択された)場合(S703でYes)、表示制御部209は表示部201に、削除操作に対する警告表示を行う(S706、図8の状態803)。当該警告表示に対して、ユーザにより承諾を示すOK操作が行われた(OKボタン517が選択された)場合(S707でYes)、処理はS708へ進む。
S708では、ファイル管理部206は、選択アイテムリストを入力として、HEIFファイルの再構成処理を行う。すなわち、ファイル管理部206は、選択アイテムリストを削除対象アイテムリストとして用いて、HEIFファイルの再構成処理を行う。当該HEIFファイルの再構成処理については、図10を用いて後述する。HEIFファイルの再構成処理が完了すると、表示制御部209は、再構成処理後のHEIFファイルに含まれる画像を表示する(図4のS408、図8の状態804)。
S706で表示された警告表示に対して、ユーザによりキャンセル操作が行われた(CANCALボタン513が選択された)場合(S707でNo)、表示制御部209は、選択操作された状態における画像アイテムを表示部201へ表示する(図8の状態802)。
また、S703の後に、ユーザにより削除操作が行われずに取り消し操作が行われた(UNDOボタン512が選択された)場合(S704でNo、S704でYes)、処理はS705へ進む。S705では、ファイル管理部206は、S702の処理で選択アイテムリストに登録されたアイテムIDを選択アイテムリストから削除する。そして、元の状態に戻り、画像503~506が表示される(図8の状態805)。
次に、図7のS708のHEIFファイル再構成処理について説明する。図10は、HEIFファイル再構成処理のフローチャートである。ファイル管理部206は、HEIFファイルの各ボックス(図6参照)に対する編集を行う。S1001~S1008の各種ボックス編集処理は、選択アイテムリストを入力とし、ファイル管理部206により実行される。以下の説明において、選択アイテムリストに含まれるアイテムIDは、削除対象のアイテムID(削除対象画像)とも称する。
pitmボックス603の編集(S1001):pitmボックス603に削除対象のアイテムIDが含まれていた場合に、pitmに含めるアイテムID(すなわち第一優先画像を示すアイテムID)を変更する。pitmボックス603にaltrグループが設定され、かつ代替アイテムIDが削除対象では無い場合、altrグループのアイテムIDでpitmボックス603を変更することができる。pitmボックス603にaltrグループが設定されていない場合、削除後に残るアイテムIDのうちの先頭のアイテムIDで、pitmボックス603を変更することができる。
irefボックス606の編集(S1002):削除対象のアイテムIDの画像アイテムに参照関係のあるアイテムが存在した場合、そのようなアイテムも選択アイテムリストへ含める。そして当該リストに含まれる削除対象のアイテムIDのirefボックス606のデータを取得して削除する。
なお、S1001とS1002の処理の順序は逆であってもよい。
ilocボックス604の編集(S1003):削除対象のアイテムIDを持つItemLocationEntryを取得して削除する。ここで削除するitemLocationEntryのextent_offsetとextent_lengthをdata属性として保持しておき、削除するアイテムIDのextent_lengthの合計値を算出する。
そして、もし削除するItemLocationEntryボックスのextent_offsetの最小値が、削除対象ではないitemLocationEntryのextent_offsetよりも小さい場合、符号化データ(データ612)の先頭から削除(前半部分の削除)となったものと判断する。そして、削除対象ではないItemLocationEntryのextent_offsetから、すでに算出した削除対象のextent_lengthの合計値を差し引くことで、削除したバイナリデータ分をオフセットする。
一方、もし削除したItemLocationEntryボックスのextent_offsetの最小値が削除せずに残すitemLocationEntryのextent_offsetよりも大きい場合、符号化データの後方から削除(後半部分の削除)となったものと判断する。そして、削除せずに残すItemLocationEntryのextent_offsetから差し引く処理は行わない。
iinfボックス605の編集(S1004):削除対象のアイテムIDを持つitemInfoEntryボックスを取得して削除する。
iprpボックス607の編集(S1005):ipcoボックス608から、不要なプロパティを削除し、ipmaボックス609から、削除対象のアイテムIDのAssociationEntryを削除する。
不要なプロパティの決定は、削除対象のアイテムIDのipmaボックス609に記述されるプロパティインデックス番号から、削除可能なプロパティ番号をフィルタして削除対象のアイテムのみが関連するプロパティのインデックス番号を決定する。そして、ipcoボックス608から該当するインデックス順のプロパティボックスを削除する。
具体的には、全ipmaボックス609の削除対象のアイテムIDに関連するプロパティインデックス番号を取得し、削除対象ではないプロパティインデックス番号のみを残すようにフィルタする。ここで検出するフィルタ方法には、非限定的な例として、プロパティインデックス番号に対応するビットマスクによるビット演算で削除対象を検出する方法や、インデックス番号を文字列として扱い文字列フィルタで削除対象のインデックス番号を検出する方法がある。次に、検出したプロパティインデックス番号を削除可能なプロパティインデックスとして、ipcoボックス608から該当するプロパティを削除し、代わりにダミーの空プロパティを挿入する。すなわち、プロパティを削除してしまうとインデックスがずれてしまうため、情報のみ削除して空のダミープロパティを挿入することでプロパティインデックスのズレを直さずに済むようにする。ここで、ダミープロパティを挿入せずにプロパティを削除したインデックス番号に応じてそれ以降のプロパティインデックス番号を詰めるようにipmaボックス609におけるインデックス番号を編集してもよい。最後に削除対象のアイテムlDを持つipmaボックス609を取得して削除する。
grplボックス610の編集(S1006):削除対象のアイテムIDを含むグループから削除対象のアイテムIDを削除し、グルーピング対象のアイテムが存在しなくなったグループを削除する。
moovボックス611の編集(S1007):削除対象のアイテムIDに関連するデータがmoovボックス611に存在する場合それらを全て削除する。
mdatボックス612の編集(S1008):ilocボックス604の編集(S1003)で削除したアイテムのデータ属性情報を元に、mdatボックス612内のバイナリデータを削除し、削除したアイテムのデータサイズ分(extent_lengthの合計値)をmdatボックス612のデータサイズ値から引いた値をデータサイズ値に上書きする。
このような処理により、irefボックス606、iinfボックス605、iprpボックス607、およびgrplボックス610において削除対象画像に関する属性情報は削除される。また、ilocボックス604では、削除対象画像に関する属性情報が削除され、当該削除に応じて、HEIFファイルにおける画像のデータの格納位置に関する情報が修正される。
以上に説明したHEIFファイルの再構成処理(S708)により、ユーザが選択した画像アイテムに関連する情報を、編集対象のHEIFファイルから削除することができる。これによって、ユーザが所望するデータのみをHEIFファイル内に格納しておくことができ、管理すべきデータサイズが最適化され、すなわち、当該データサイズを少なくすることができるようになる。
図11に、本実施形態によるHEIF再構成処理(S708)による再構成前後のHEIFファイル構造の概略図を示す。ここで、HEIFファイル1101とHEIFファイル1102はそれぞれ、削除処理前後のHEIFファイルを示す。
図11の例では、アイテムID=4、5が削除対象のアイテムIDとする(点線1103)。アイテムID=4、5が登録された選択アイテムリストが入力されて、HEIFファイルの再構成処理(S708)が行われると、再構成後のHEIFファイル1102では、ilocボックス1105からID=4、5のItemLocationEntryボックスが削除され、iinfボックス1106からアイテムID=4、5のItemInfoEntryボックスが削除される。その他、mdatボックスからItemID=4、5のextent_offsetおよびextent_lengthが示すバイナリデータが削除され、削除処理後のHEIFファイル1102のサイズが縮小化される(点線1104、1107)。
このように、本実施形態によれば、複数の画像を格納可能なHEIFファイルに対して、内包する画像を選択的に削除操作することによってHEIFファイル内の不要な画像データおよび属性情報を削除できるようになる。これにより、HEIFファイルのデータサイズを最適化することが可能となる。
<実施形態2>
本実施形態による画像処理装置は、ユーザによる操作に応じて、複数の画像アイテムが格納された画像ファイル内の1つ以上の画像アイテムを複製し、画像ファイルを再構成する。画像処理装置はまた、表示機能を有し、再構成する前と後での画像アイテムを表示することができる。
以下、実施形態1と共通の点については説明を省略し、異なる点について説明する。
本実施形態による画像処理装置102により実行される画像ファイル編集処理の全体処理は、図4に示した通りである。
図12は、本実施形態によるHEIFファイルの編集処理(S407)のフローチャートである。図12の説明のために図13と図5を参照する。図13は、HEIFファイル内の一部画像の複製操作に関する操作フローの概略図を示す。
図12において、削除操作に関するS1201~S1203、S1206~1208の処理は、図7のS701~S703、S706~S708とそれぞれ同様のため、説明を省略する。
本実施形態による複製操作の説明のために、S1202の処理が終えた状態とする。すなわち、図13を参照すると、図5に示す画像503~506が表示部201に表示された状態(図13の状態1301)において、ユーザが複製対象として画像503~504を選択してチェック操作を行った状態とする(状態1302)。
ここで、ユーザにより複製操作が行われた(COPYボタン515が選択された)場合(S1203でNo、S1204でYes)、処理はS1205へ進む。S1205では、ファイル管理部206は、複製操作に対して新規ファイル生成用のメモリの取得を試行する(S1205)。メモリの取得に成功した場合は(S1205でYes)、ファイル管理部206は、選択アイテムリストを入力として、新規HEIFファイル生成処理(S1209)を行う。当該新規HEIFファイル生成処理については、図14を用いて後述する。新規HEIFファイル生成処理が完了すると、表示制御部209は、当該処理後のHEIFファイルに含まれる画像を表示する(図4のS408、図13の状態1303)。
一方、メモリの取得に成功しなかった場合は(S1205でNo)、エラー処理(S1210)されてS1201へ戻る。S1210では、例えば、表示制御部209が表示部201にエラー表示を行う。
なお、図12の処理において、S1204でNoの場合に、図7のS704とS705の処理(取り消しに関する処理)を行うように構成されてもよい。
次に、図12のS1209の新規HEIFファイル生成処理について説明する。図14は、新規HEIFファイル生成処理のフローチャートである。当該処理は、ファイル管理部206が、S1201で選択操作された画像アイテムで構成されるHEIFファイルを新規生成する処理に相当する。
まず、ファイル管理部206は、Hiddenフラグが“1”にセットされているアイテムIDを、選択アイテムリストから削除する(S1401)。すなわち、非表示設定されている画像のアイテムIDが、選択アイテムリストから削除される。
次に、ファイル管理部206は、選択アイテムリストに登録されているアイテムID以外のアイテムID(選択された1つ以上の画像以外の画像)を、削除アイテムリストに登録する(S1402)。ここで、削除アイテムリストは、選択アイテムリスト(図9を参照)を継承して生成したものであり、構造は選択アイテムリストと同様である。
続いて、ファイル管理部206は、編集元のHEIFファイルを複製し、HEIFファイル再構成処理を行う。HEIFファイル再構成処理は、図10を用いて説明した通りであり、削除対象のアイテムIDは、S1402の後に削除アイテムリストに登録されているアイテムIDとなる。
S1404の処理により、S1201で選択操作された画像アイテムで構成されるHEIFファイルが新たに生成される。
図15に、本実施形態による新規HEIFファイル生成処理(S1209)による複製処理前後のHEIFファイル構造の概略図を示す。ここで、HEIFファイル1501は、複製処理前のHEIFファイルであり、HEIFファイル1502は、複製処理後のHEIFファイルを示す。HEIFファイル1503は編集元のHEIFファイル1501と同じである。
図15の例では、アイテムID=4、5が複製対象のアイテムIDとする(点線1504)。当該アイテムIDが示すバイナリデータ(点線1505)を複製データとして一部複製されたHEIFファイル1502が新規HEIF生成処理(S1209)にて生成される。
このように、本実施形態によれば、複数の画像を格納可能なHEIFファイルに対して、内包する画像を選択的に一部複製操作することによってHEIFファイル内の所望の画像データおよび属性情報を複製してHEIFファイルを生成することができるようになる。このような複製に必要なデータのみを含むHEIFファイルの生成によりデータサイズの最適化が実現される。
<実施形態3>
本実施形態による画像処理装置は、ユーザによる操作に応じて、複数の画像アイテムのデータが格納された画像ファイル内の1つ以上の画像アイテムを抜き出し、画像ファイルを再構成する。画像処理装置はまた、表示機能を有し、再構成する前と後での画像アイテムを表示することができる。
以下、実施形態1、2と共通の点については説明を省略し、異なる点について説明する。
本実施形態による画像処理装置102により実行される画像ファイル編集処理の全体処理は、図4に示した通りである。
図16は、本実施形態によるHEIFファイルの編集処理(S407)のフローチャートである。図16の説明のために図17と図5を参照する。図17は、HEIFファイル内の一部画像の抜き出し操作(分割操作)に関する操作フローの概略図を示す。
図16において、削除操作に関するS1601~S1603、S1606~1608の処理は、図7のS701~S703、S706~S708とそれぞれ同様のため、説明を省略する。
本実施形態による抜き出し処理の説明のためにS1602の処理が終えた状態とする。すなわち、図17を参照すると、図5に示す画像503~506が表示部201に表示された状態(図17の状態1701)において、ユーザが抜き出し対象として画像503~504を選択してチェック操作を行った状態とする(状態1702)。
ここで、ユーザにより抜き出し操作が行われた(CUTボタン516が選択された)場合(S1603でNo、S1604でYes)、処理はS1605へ進む。S1605、SS1609、S1610の処理は、図12のS1205、S1209、S1210とそれぞれ同様のため、説明を省略する。また、S1609において新規HEIFファイル生成処理が行われた場合は、処理はS1606へ進む(S1611でYes)。
S1611からS1606に進んだ場合は、表示制御部209は表示部201に、抜き出し操作に対する警告表示を行う(図17の状態1703)。当該警告表示に対して、ユーザにより承諾を示すOK操作が行われた(OKボタン517が選択された)場合(S1606でYes)、処理はS1608へ進む。S1608におけるHEIFファイル再構成処理は、図10を用いて説明した通りであり、削除対象のアイテムIDは、S1602で選択アイテムリストに登録されているアイテムIDとなる。
S1608とS1611の処理により、S1601で選択操作された画像アイテムで構成されるHEIFファイルと、1601で選択操作された画像アイテム以外の画像アイテムで構成されるHEIFファイルが新たに生成される。これに応じて、表示制御部209は、当該処理後のHEIFファイルに含まれる画像を表示する(図4のS408、図17の状態1704)。
なお、図16の処理において、S1604でNoの場合に、図7のS704とS705の処理(取り消しに関する処理)を行うように構成されてもよい。
図18に、本実施形態による新規HEIFファイル生成処理(S1609)とHEIF再構成処理(S1608)による一部抜き出し処理前後のHEIFファイル構造の概略図を示す。ここで、HEIFファイル1801は、一部抜き出し処理前のHEIFファイルであり、HEIFファイル1802、1803は、一部抜き出し処理後のHEIFファイルである。
図18の例では、アイテムID=4、5が抜き出し対象のアイテムIDとする(点線1804)。当該アイテムIDが示すバイナリデータ(点線1805)を一部抜き出しデータとして抜き出したHEIFファイル1803が新規HEIFファイル生成処理(S1609)にて生成される。さらに、アイテムID=4、5が抜き出された残りのアイテムIDを含むHEIFファイル1802が、HEIFファイル再構成処理(S1608)により生成される。
このように、本実施形態によれば、複数の画像を格納可能なHEIFファイルに対して、内包する画像を選択的に一部抜き出し操作することによってHEIFファイル内の所望の画像データおよび属性情報を抽出できるようになる。これにより、HEIFファイルのデータサイズを最適化することが可能となる。
上記実施形態によれば、HEIFファイルといった画像ファイルが展開表示された際のユーザによる操作に応じて、当該画像ファイルの構成情報を編集して、そのファイルサイズを最適化することが可能となる。
なお、上記実施形態ではサムネイル表示される画像を処理対象としているが、これに限定されない。また、上記実施形態では主に画像データが静止画データである場合について説明したが、動画データである場合にも基本的に同様の説明を適用可能であり、moovボックスも編集されうる。
<変形例>
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、本発明は、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:撮影装置、102:画像処理装置、103:クラウド、201:表示部、202:メモリ、203:メモリカード操作部、204:通信部、205:ユーザI/F部、206:ファイル管理部、207:解析部、208:復号部、209:表示制御部、210:制御部、211:内部バス

Claims (13)

  1. 複数の画像と当該複数の画像に関する属性情報を格納する画像ファイルを取得する取得手段と、
    ユーザによる第1の操作に基づいて前記複数の画像のうちの1つ以上の画像を選択する選択手段と、
    前記選択された1つ以上の画像に対するユーザの第2の操作に応じて、前記画像ファイルに格納される、前記複数の画像と前記属性情報の一部を削除することにより前記画像ファイルを再構成する再構成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第2の操作が、前記選択された1つ以上の画像の削除のための操作である場合、
    前記再構成手段は、前記選択された1つ以上の画像を削除対象画像と設定し、当該削除対象画像と、当該削除対象画像に関する属性情報を、前記画像ファイルから削除することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像ファイルにおいて非表示情報を含む属性情報を有する画像がある場合、前記再構成手段は、前記選択された1つ以上の画像と前記非表示を含む属性情報を含む画像を削除対象画像と設定し、当該削除対象画像と、当該削除対象画像に関する属性情報を、前記画像ファイルから削除することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第2の操作が、前記選択された1つ以上の画像の複製のための操作である場合
    前記再構成手段は、前記画像ファイルを複製し、前記複数の画像のうち前記選択された1つ以上の画像以外の画像を削除対象画像と設定し、当該削除対象画像と、当該削除対象画像に関する属性情報を、当該複製した画像ファイルから削除することを特徴とする請求項1に記載の画像処理装置。
  5. 前記第2の操作が、前記選択された1つ以上の画像の抜き出しのための操作である場合、
    前記再構成手段は、前記画像ファイルを複製し、削除対象画像として第1の削除対象画像と第2削除対象の画像を設定し、ここで、前記第1の削除対象画像は、前記選択された1つ以上の画像であり、前記第2の削除対象画像は、前記複数の画像のうち前記選択された1つ以上の画像以外の画像であり、
    前記第1の削除対象画像と、前記第1の削除対象画像に関する属性情報のデータを、前記画像ファイルから削除し、
    前記画像ファイルを複製し、前記第2の削除対象画像と、前記第2の削除対象画像に関する属性情報を、当該複製した画像ファイルから削除することを特徴とする請求項1に記載の画像処理装置。
  6. 前記画像ファイルのファイルフォーマットは、ISO/IEC23008パート12で定義されるHEIF(High Efficiency Image File Format)であることを特徴とする請求項2から5のいずれか1項に記載の画像処理装置。
  7. 前記再構成手段は、irefボックス(アイテム参照ボックス)、iinfボックス(アイテム情報ボックス)、iprpボックス(アイテムプロパティボックス)、およびgrplボックス(グループリストボックス)において前記削除対象画像に関する属性情報を削除することを特徴とする請求項6に記載の画像処理装置。
  8. pitmボックス(プライマリアイテムボックス)に削除対象画像の情報が含まれる場合、前記再構成手段は、当該ボックスに含める情報を変更することを特徴とする請求項7に記載の画像処理装置。
  9. 前記再構成手段は、ilocボックス(アイテムロケーションボックス)において、前記削除対象画像に関する属性情報を削除し、当該削除に応じて、前記画像ファイルにおける画像のデータの格納位置に関する情報を修正することを特徴とする請求項7または8に記載の画像処理装置。
  10. 前記画像は、静止画または動画を含むことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記再構成手段により再構成された画像ファイルを出力する出力手段をさらに有することを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
  12. 複数の画像と当該複数の画像に関する属性情報を格納する画像ファイルを取得する取得工程と、
    ユーザによる第1の操作に基づいて前記複数の画像のうちの1つ以上の画像を選択する選択工程と、
    前記選択された1つ以上の画像に対するユーザの第2の操作に応じて、前記画像ファイルに格納される、前記複数の画像と前記属性情報の一部を削除することにより前記画像ファイルを再構成する再構成工程と、
    を有することを特徴とする画像処理方法。
  13. コンピュータを、請求項1から請求項11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2021120703A 2021-07-21 2021-07-21 画像処理装置、画像処理方法、およびプログラム Pending JP2023016414A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021120703A JP2023016414A (ja) 2021-07-21 2021-07-21 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021120703A JP2023016414A (ja) 2021-07-21 2021-07-21 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2023016414A true JP2023016414A (ja) 2023-02-02

Family

ID=85131495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021120703A Pending JP2023016414A (ja) 2021-07-21 2021-07-21 画像処理装置、画像処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2023016414A (ja)

Similar Documents

Publication Publication Date Title
JP6566330B2 (ja) 映像編集方法
JP4458040B2 (ja) 画像蓄積装置及びプログラム
JP2005309995A (ja) 情報管理装置、情報管理方法、及びプログラム
JP2008123495A (ja) ファイル管理装置、ファイル管理装置の制御方法、及びプログラム
US7836024B2 (en) File generating method and file retrieving method
JP2008502985A (ja) プリントまたは表示の制御情報伝送/保存装置及び方法とその方法を行うためのコンピュータプログラムが保存された記録媒体
JP2007047959A (ja) 情報編集表示装置、情報編集表示方法、サーバ、情報処理システムおよび情報編集表示プログラム
JP2005327257A (ja) マルチメディア応用機器における資産の制御のためのファイル管理方法、ファイル管理装置及び情報保存媒体
US8823833B2 (en) Imager that adds visual effects to an image and records visual effects information in an image file
KR20040042612A (ko) MPV(MultiPhotoVideo) 환경하에서자산이 위치하는 경로와 파일 이름을 나타내는 라스트유알엘 복구 방법
JP2023016414A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2005189982A (ja) データ保存装置及びデータ保存方法
JP2003317447A (ja) 画像表示用プログラム及び該プログラムが記録された情報記録媒体
JP4834339B2 (ja) データ共有方法、クライアント装置、及びサーバ装置
JP2006215811A (ja) ファイリング装置、検索管理方法、及びプログラム
JP2005244614A (ja) 電子カメラ装置、及び記録媒体
JP5089353B2 (ja) プログラム、ファイル管理装置及びファイル管理方法
JP2023035052A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5153054B2 (ja) ファイル生成方法及びファイル検索方法
JP2013118510A (ja) 画像処理装置及び画像処理方法
US20040217984A1 (en) Digital imaging system
JP4693735B2 (ja) 静止画ファイル記録編集装置
JP2005159902A (ja) 画像管理装置及び画像管理方法
JP2005010950A (ja) ファイル管理装置、ファイル管理方法、プログラム及び記録媒体
JP2009098734A (ja) 情報処理装置、情報処理方法及び情報処理プログラム