JP2010250612A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2010250612A
JP2010250612A JP2009100174A JP2009100174A JP2010250612A JP 2010250612 A JP2010250612 A JP 2010250612A JP 2009100174 A JP2009100174 A JP 2009100174A JP 2009100174 A JP2009100174 A JP 2009100174A JP 2010250612 A JP2010250612 A JP 2010250612A
Authority
JP
Japan
Prior art keywords
image
image data
unit
panoramic
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009100174A
Other languages
English (en)
Other versions
JP2010250612A5 (ja
Inventor
Hideyoshi Nakashio
英良 中塩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009100174A priority Critical patent/JP2010250612A/ja
Priority to US12/758,327 priority patent/US8442354B2/en
Publication of JP2010250612A publication Critical patent/JP2010250612A/ja
Publication of JP2010250612A5 publication Critical patent/JP2010250612A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】パノラマ撮影で撮影された画像ファイルを記録する際、画像ファイル内には複数枚の画像データが記録されている為、ファイルサイズが大きくなる問題がある。また、JPEG等でさらに高圧縮な処理を施すことによりファイルサイズを小さくすることは可能であるが、画像劣化が顕著に現れてしまう問題がある。
【解決手段】入力された画像ファイルに関してパノラマ撮影されたものか否かを判定し、記録時には一方のオーバーラップ領域を削除し、もう一方のオーバーラップ領域の位置情報を付加する。その後、送信または印刷時には付加された位置情報を元に、オーバーラップ領域を復元する。このようにして、画像劣化させずに記録時のファイルサイズを低減する。
【選択図】図9

Description

本発明は、画像処理装置及び画像処理方法に関し、特にパノラマ撮影により得られた画像ファイルの送受信及び記録が可能な画像処理装置及び画像処理方法に関する。
近年、デジタルカメラのように記録媒体に静止画像や動画像を記録する電子機器が増えている。従来のデジタルカメラでは、連続して静止画記録を行う連写撮影、撮影条件を変えて複数回撮影を行うオートブラケット撮影、または広い範囲を複数のショットに分けて撮影を行うパノラマ撮影機能等の複数の記録動作モードを有する場合が多い。これら複数の記録動作モードにおいて記録された各画像ファイルは、記録媒体のディレクトリエントリで管理されファイル単位で再生、消去等の動作が行われる。動画の場合は、1ファイル内に複数のフレーム画像を有し、フレーム単位の消去動作等による編集機能を実現することもある。
複数枚の入力画像を重ね合わせることでパノラマ画像を作成する場合には、複数枚の画像ファイルが必要になるため、ファイルサイズが大きくなる。このため、画像処理装置内の記憶容量の肥大化やネットワーク転送、FAX送信の速度低下が発生する問題がある。このような問題に対し、電子カメラ装置などの画像記録装置において、複数枚の入力画像を重ね合わせてパノラマ画像を合成する際に、合成の重み付けを工夫することで画像メモリとなるキャンバスのメモリ量を削減する提案がなされている。(例えば特許文献1参照)
特開2006−293851号公報
しかしながら、特許文献1の技術はパノラマ合成の際に必要となる画像メモリ(キャンパスメモリ)を削減する技術に過ぎない。複数の画像を重ね合わせてパノラマ画像を合成する場合には、複数の画像を記録媒体に記録したり、あるいはこれらの画像を転送したりする技術が必要となる。しかしながら、特許文献1ではこれらのパノラマ画像を形成するための複数の画像の保存または転送を効率的に行なう技術に関しては何ら言及がなされていない。また、JPEG等でさらに高圧縮な処理を施すことによりファイルサイズを小さくすることは可能であるが、画像劣化が顕著に現れてしまう問題がある。
本発明は上記の問題を鑑みてなされたものであり、複数枚の画像を合成してパノラマ画像を生成する画像処理装置において、画像劣化をさせずにファイルサイズを小さくすることを目的とする。
上記目的を達成するために、本発明に係る画像処理装置は、複数の画像データを受信する受信部と、前記受信した画像データの種別がパノラマ画像群の画像データであるか否かを判定するパノラマ画像判定手段と、前記パノラマ画像判定手段の判定結果がパノラマ画像群の画像データである場合、前記複数の画像データの重複する領域であるオーバーラップ領域を抽出するオーバーラップ領域抽出手段と、前記複数の画像データの一方に対して、前記オーバーラップ領域抽出手段によって抽出されたオーバーラップ領域を削除する削除手段と、前記削除手段によってオーバーラップ領域が削除された画像データに対して、前記重複する領域を有する他方のオーバーラップ領域を示す位置情報を付加する位置情報付加手段と、前記画像データを記録した画像ファイルを保存する記録手段とを備えることを特徴とする。
本発明によれば、パノラマ画像を記憶したり転送する際のスプールに関して、画像劣化をさせずにファイルサイズを小さくすることが可能となる。
画像処理装置の構成を説明するシステムブロック図である。 画像処理装置のコントローラソフトウェアの全体構成を説明するブロック図である。 実施例1におけるオーバーラップ削減部202の内部構成を説明するブロック図である。 実施例1におけるオーバーラップ復元部204の内部構成を説明するブロック図である。 本実施形態において入力される画像ファイルのフォーマットの例を示す図である。 個別情報IFDに関する、個別画像の種別に固有のフォーマットの例を示す図である。 個別情報IFDに関する、個別画像の種別に固有のフォーマットのパノラマ方向と配置例を示す図である。 実施例1の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。 実施例1の受信部201、オーバーラップ削除部202、記録部203に関する概略図である。 実施例1の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。 実施例1の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関するに関する概略図である。 実施例2におけるオーバーラップ削減部202の内部構成を説明するブロック図である。 実施例2におけるオーバーラップ復元部204の内部構成を説明するブロック図である。 実施例2の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。 実施例2の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。 実施例3におけるオーバーラップ削減部202の内部構成を説明するブロック図である。 実施例3におけるオーバーラップ復元部204の内部構成を説明するブロック図である。 実施例3の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。 実施例3の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。
以下、本発明を実施するための最良の形態について図面を用いて説明する。
なお、本発明の実施するための最良の形態として以下に複合機の場合を用いて説明するが、その主旨を逸脱しない範囲で、本発明はこれに限られるものではない。
また、以下の説明においては、マルチピクチャフォーマット(MPF)と呼ばれる技術に関連して説明を行なうことにする。
MPFは、上述したパノラマ撮影などの複数の動作モードで記録媒体に記録された記録画像データを管理するための技術である。具体的には、MPFは、複数の画像データを1ファイルで構成することを特徴とする画像データ構造に関する技術(規格)である。MPFは、Exif規格をベースとした技術であり、先頭画像データおよび関連する静止画像データ(「個別画像」と呼ぶ)を同一のファイルに記録する。このMPFによれば、Exif規格との下位互換性を確保しながら、機能拡張が可能で、将来の技術進歩や新しいニーズに対応して記録データ種別を追加してバージョンアップすることができる。なお、Exif規格とは、画像ファイルの規格の1つであり、画像データのほかに画像についての情報や撮影日時等の付加情報を記録するものである。
Exif規格には、1つの画像ファイルの中には1つの画像データが含まれる。これに対して、MPFでは、1つの画像ファイルの中に複数の画像データが含まれる点が特徴である。このようなMPFでは、従来の画像ファイルよりもファイルサイズが大きくなるために、ファイルサイズの記憶容量を削減してネットワーク転送速度を低下させないようにする要請がより一層大きくなる。
以下では、このようなMPFを用いる実施形態について説明を行なう。
<実施形態1>
図1は、本発明の一実施形態を示す画像処理装置の基本的な構成を説明するシステムブロック図である。装置例としては、画像処理装置は例えばデジタル電子写真複写機、レーザープリンタ、ファクシミリといったカラーまたはモノクロの画像処理装置に対応する。本発明の一実施形態を示す画像処理装置は、CPU101、ROM102、RAM103、HDD104、表示部105、操作部106、エンジンI/F107、ネットワークI/F108、外部I/F109、システムバス110を備えている。
上述構成を詳述すると、CPU101は、装置全体の制御及び演算処理等を行う中央処理装置であり、ROM102に格納されたプログラムに基づき後述に示す各処理を実行する。ROM102は、読み出し専用メモリであり、システム起動プログラムやプリンタエンジンの制御を行うプログラム及び文字データや文字コード情報等の記憶領域である。RAM103は、ランダムアクセスメモリであり、使用制限のないデータ記憶領域で、ダウンロードにより追加登録されたフォントデータが記憶されたり、様々な処理毎にプログラムやデータがロードされ実行される。また、RAM103は、受信した画像ファイルのデータ記憶領域として利用することも可能である。HDD104は、例えばハードディスク等から構成されており、データをスプールしたり、プログラムや各情報ファイル・画像データ等を格納したり、作業用領域として利用されたりする。表示部105は、例えば液晶等による表示を行うものであり、装置の設定状態や、現在の装置内部の処理、エラー状態などの表示に使用される。操作部106は、設定の変更やリセットを行うために使用されるものであり、印刷する際のトナー削減率の設定も表示部105に表示されたUI画面等より操作を可能とする。エンジンI/F107は、実際にプリンタエンジンを制御するコマンド等をやり取りする部分である。ネットワークI/F108は、該ネットワークI/F108を介して本装置をネットワークに接続するためのものである。外部I/F109は、パラレル(またはシリアル)などのインターフェースを介して外部装置と接続されるものである。システムバス110は、上述の構造要素間のデータ通路となるべきものである。
図2は本発明の一実施形態を示す画像処理装置のコントローラソフトウェアの概略的な構成を説明するブロック図である。
201は画像ファイルを受信する受信部であり、図では示されない撮像装置により撮影された画像データ及び画像データを撮影した時の撮影情報からなる画像ファイルがここより入力される。なお、本実施形態において入力される画像ファイルを記録する撮像装置には、通常の撮影機能と共に、パノラマ撮影機能を少なくとも含む。ここでパノラマ撮影機能とは、極端に広い横幅(画角)をレンズの方向を変えながら連続的もしくは複数回に分けて撮影し、後にPC上で複数枚の画像データを継ぎ合わせることでパノラマ画像を作成するものである。なお、パノラマ撮影機能には、横幅のみならず縦幅をレンズの方向に変えながら連続的に撮影する機能も含まれる。あるいは、パノラマ撮影機能には、縦幅および横幅の両方向をレンズの方向に変えながら連続的に撮影する機能も含まれる。複数枚の画像データを継ぎ合わせる際、画像データと画像データの間にオーバーラップ領域が必要になる。オーバーラップ領域とは、画像データが示す画像が重複する領域のことを意味する。オーバーラップ領域が多いほどパノラマ画像が多角形になり、円に近くなることが可能となる。画像ファイルの受信方法は、PC上でドライバ等を用いてネットワークI/F108を通じて受信する方法であっても、デジタルカメラ等を用いて外部I/F109を通じて直接得る方法であっても、その手段は問わない。これより入力された画像データはRAM103に保存される。なおここで入力される画像ファイルは単一もしくは複数の画像データを含むものであるとする。
202はオーバーラップ削減部であり、受信部201で受信された画像ファイルに含まれる一方の画像データのオーバーラップ領域を削減し、他方の画像データのオーバーラップ領域の位置情報を付加することで、記録時のファイルサイズを小さくする。詳細な説明は後述する。
203は記録部であり、オーバーラップ削減部202で画像処理が施された画像ファイルをHDD104に記録する。以上の処理により、デジタルカメラなどの撮像装置から受信した画像ファイルが、その容量を削減させた状態でHDD104に書き込みがなされて記憶されることになる。
204はオーバーラップ復元部であり、オーバーラップ削減部202でオーバーラップ削除が施された画像ファイルに対して、付加された位置情報を元に削除されたオーバーラップ領域を復元する。詳細な説明は後述する。
205は画像ファイルを送信する送信部であり、画像ファイルに記録されている各画像データを合成してパノラマ画像を生成・送信してもよいし、合成せずに各画像データ群を送信してもよい。ここで、画像ファイルの送信方法は、ネットワークI/F108を通じてPCや他の画像処理装置に送る方法であっても、外部I/F109を通じて外部記録装置等に送る方法であっても、その手段は問わない。
206は画像ファイルを印刷する印刷部であり、所定の画像処理を施して出力する。この時、画像ファイルに記録されている各画像データを結合してパノラマ画像を生成・出力してもよいし、各画像データを単独で出力してもよい。
以上説明した図2の例においては、オーバーラップを削除する処理と、オーバーラップを復元する処理とが同一の画像処理装置において行なわれる例を示した。しかしながら、オーバーラップを削除する処理と、オーバーラップを復元する処理とが別々の画像処理装置において行なわれてもよい。
図3は本発明の一実施形態を示すオーバーラップ削減部202の詳細な構成を説明するブロック図である。
301はデコード部であり、受信して入力された画像ファイルであってエンコードされた画像ファイルをデコードする部分である。
302はパノラマ画像判定部(第1のパノラマ画像判定部)であり、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像群の画像データか否かを判定する。具体的な判定方法については後述する。
303は位置検出部であり、パノラマ画像判定部302でパノラマ画像と判定された場合、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる継ぎ合わせ位置を検出する。
304はオーバーラップ領域抽出部であり、位置検出部303で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
305は削除部であり、オーバーラップ領域抽出部304で抽出された一方の画像データのオーバーラップ領域を削除する。
306は位置情報付加部であり、削除部305でオーバーラップ領域が削除された画像データに対して、他方の画像データのオーバーラップ領域の位置情報を付加する。
307はエンコード部であり、一連の処理を施された画像ファイルに対してエンコードを行う。
図4は本発明の一実施形態を示すオーバーラップ復元部204の詳細な構成を説明するブロック図である。
401はデコード部であり、エンコードされた画像ファイルをデコードする部分である。このエンコードされた画像ファイルは、オーバーラップ削減部202による処理によってオーバーラップ部分が削除された画像データを含む画像ファイルに対してエンコード部307によるエンコード処理を経て、記録部203に記録されている画像ファイルである。
402はパノラマ画像判定部(第2のパノラマ画像判定部)であり、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。パノラマ画像か否かの判定は、オーバーラップ削減部202のパノラマ画像判定部302における判定処理と同一の処理を行なうことができる。
403は出力形式選択部であり、デコードされた画像ファイルに対し、出力形式を選択する。ここでいう出力形式選択とは、入力された画像ファイルがパノラマ撮影による複数枚の画像データであった場合、パノラマ画像を合成して送信または出力するか、パノラマ画像を合成せずに複数枚の画像データを個々に送信または出力するかを選択することである。さらには、パノラマ画像を合成して送信または出力し、かつパノラマ画像の合成元である複数枚の画像データを送信または出力することを選択することができる。
404は合成方法選択部であり、出力選択部403でパノラマ画像を合成して送信または出力すると選択された場合、パノラマの合成方法を選択する部分である。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、従来から周知の「位置のみ」、「円筒法」、「遠近法」などがある。
405はパノラマ合成部であり、合成方法選択部404で選択された合成方法に基づいて、複数枚の画像データを継ぎ合わせることでパノラマ画像を生成する。
406は復元部であり、出力形式選択部403で画像データを個々に送信または出力すると選択された場合、オーバーラップ領域が削除された画像データであれば、付加された他方の画像データのオーバーラップ領域の位置情報を元にオーバーラップ領域を復元する。
407はエンコード部であり、一連の処理を施された画像ファイルに対してエンコードを行う。
本実施の形態において入力される画像ファイルのフォーマット例を図5に示す。図5の画像ファイルは複数の画像データ及び撮影情報を含んでおり、これらを関連付けて1つのファイルで構成するものとなっている。すなわち、図5は先に説明したMPFのフォーマット例を示している。
画像ファイルを構成する個別画像は、1組の画像の開始を示すSOIマーカ(501、506、510)から画像の終端を示すEOIマーカ(505、509、513)に挟まれた領域に存在する画像データとなる。ここで画像データを構成する個別画像のうち、特にファイルの先頭部に記録されている個別画像を先頭画像504と呼び、先頭画像が記録されている領域を先頭画像領域と呼ぶ。表示や印刷を行う場合、通常先頭画像がその対象になる。
画像ファイルのフォーマットは、図5に示すようにデータの先頭に先頭画像領域が記録され、続いて単一または複数の個別画像が記録されている。ここで各個別画像のヘッダ(502、507、511)には、Exif(EXchangeable Image File format)で規定されたタグがそれぞれ記録されている。Exifとは先に説明したように、撮像された画像データと合わせて撮影時の撮影情報を付加したファイル形式を規定したものであり、ファイルシステム規格DCFと合わせて世界中のデジタルカメラに採用されている。
なおヘッダには画像を特定する画像ユニークID514、それぞれの画像データの撮影条件等を保持した撮影情報515、サムネイル516がそれぞれ記録されている。
先頭画像領域中には先頭画像に対するヘッダ502とは他に、画像ファイルに関する付属情報503が記録されている。付属情報にはまず複数画像データから構成される画像ファイルであるかの識別コード521、先頭IFD(Image File Directory)へのオフセット522が記録されている。先頭IFDは、先頭画像に関するIFDのことである。IFDは、画像データの各種のパラメータや、画像関連データ、カラーマップ、イメージデータへのポイントを格納したデータエントリの集まり(ファイルディレクトリに類似する)のことである。ここでIFDのリンク構造は、先頭IFDへのオフセット522から1つのインデックスIFD517、続いて1以上の各個別情報IFD(519、520)と続く。IFD間はリンク元IFD中のNext IFD(526、529、531)でポイントされていく。ここで、個別情報IFD(519、520)に記録される個別情報には、個別情報の種別に関係なく共通のもの(ダミータグ535、個別画像ユニークID/先頭画像ラベルID536)と、個別画像の種別に固有のもの(537)がある。ここで、共通のもの一つであるダミーフラグ535は、本来は、個別画像に固有の情報を持たない空のMP(multi picture)の個別情報IFDを作成する際に使用される。しかしながら、本発明では、位置情報付加部306、復元部406で使用される位置情報を格納する場所として使用する。個別画像の種別に固有のものについては、本発明に密接に関係するので後述する。
なお画像データフォーマットにおいて、個別画像の全体構成を示すタグの集まりとして、インデックスIFD517が規定されている。インデックスIFD517では画像ファイルの記録画素数523、記録されている画像の枚数であるエントリ数524、エントリ525から構成される。またエントリ自身は個別画像の種別532、画像サイズ533、画像データへのオフセット534を格納する1つのデータ構造(この構造をエントリ要素と呼ぶ)であり、データ部518にエントリ数で表される数(527、528)だけ記録される。
エントリ要素に含まれる個別画像の種別530には個別画像の種別を管理するための情報が格納されている。表1に管理される個別画像の種別情報の例を示す。
Figure 2010250612
本実施の形態では対象となる個別画像がモニタ表示用画像・マルチビュー画像・連射画像・ブラケット画像・パノラマ画像であるのかの情報が保持されている。上記で説明されたフォーマットを持つ入力画像ファイルに対し、パノラマ画像判定部302、402では、入力された画像ファイルがパノラマ画像であるか否か判定を行う。特にエントリ要素に含まれる個別画像の種別532に着目することで、入力された画像がパノラマ撮影機能を用いて撮影されたものかどうかを判別可能である。
なお、本実施形態では上述のように複数の画像データ及び撮影情報を関連付けて1つの画像ファイルとして管理されているものを入力画像ファイルとすることをあげているが、それぞれの画像データが別ファイルとして記録されていることも考えられる。この場合、それら複数画像データ及び撮影条件の関連を別途管理する方法、例えばそれぞれの画像データに関連する画像データのファイル名を合わせて書き込む、別管理ファイルを作成する等でも本発明は適用可能である。また、この場合、管理ファイルに上述した付属情報503が含まれることになる。この場合には、上述した各部の処理においては、「画像ファイル内に記憶された画像データ群」を、「管理ファイルによって管理対象とされる画像データ」と置き換えて同等の処理を行うことができる。また、図5で示すデータ構造についても一例を示すものに過ぎず、別個のデータ構造を用いても良い。
本実施の形態において入力される画像ファイルの個別情報IFD(519、520)に関する、個別画像の種別に固有のフォーマット(537)の例を図6に示す。ここで、パノラマ画像ID(601、606、611、616)には、パノラマ画像の識別IDが記録されている。また、パノラマ方向ID(602、607、612、617)には、パノラマ写真の撮影方向(配置方法)が記録されている(図7参照)。図7を参照しながら説明すると、一方向に撮影した場合の配置方法に関して、同時指定(例えば、「右から左」と「上から下」などを同時に指定すること)は不可とし、また利用されていない配置方法は「0」無効とする。二方向に撮影した場合の配置方法に関して、画像の開始位置(右上、左上、左下、右下)、及び1行に配置される画像の数が必要(1行に配置される画像の数は同じとする)である。また、配置方法がジグザグである場合、画像の開始位置(右上、左上、左下、右下)、及び行と列に配置されている画像の数が必要である。例えば、図7(a)の例では、「左から右」へと配置され、また、1行に配置されている画像の枚数は「3」であるため、これらを示すIDが付されていることがわかる。また、図7(b)の例では、二方向に撮影した場合の時計回りを示す「1」が付され、パノラマを構成する最初の画像の開始位置は左上である「2」が付されている。そして、1行に配置されている画像は3枚であり、また1列に配置されている画像は3枚であるため、それぞれ「3」が付されていることがわかる。
図6に戻って、配置順番ID(603、608、613、618)には、パノラマ用画像の配置方向に沿った順番番号を記録する。なお、各パノラマ画像をスティッチング(結合)した後の統合画像の配置順番番号はFFFFFFFF.Hとする。オーバーラップ領域タグIDには、パノラマを構成する際に、各画像の位置調整に役立つガイダンスとして利用することを目的に、水平オーバーラップと垂直オーバーラップが以下のとおり規定されている。これらのタグの値は、その単位(%)を除き、正確さ、計算方法、利用の有無などを厳密に規定されているものではない。水平オーバーラップID(604、609、614、619)は、スティッチング(結合)の際に必要となる、2つの画像データの水平オーバーラップ幅が記録されている。オーバーラップ幅の指定可能レンジは0〜10000であり、10000は100%を表す。垂直オーバーラップID(605、610、615、620)は、スティッチング(結合)の際に必要となる、2つの画像データの垂直オーバーラップ幅が記録されている。オーバーラップ幅の指定可能レンジは0〜10000であり、10000は100%を表す。
図8は、実施例1の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。概略図を図9に示す。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs801において、受信部201を用いて、図では示されない撮像装置により撮影された画像データ及び画像データを撮影した時の撮影情報からなる画像ファイルがここより入力される。この撮影情報には、先に説明したように、パノラマ画像であるかを示す情報や、パノラマ画像を形成するためのパノラマ画像固有情報が含まれる。取り込んだ画像ファイルは図1のRAM103上に保持しておく。
ステップs802において、デコード部301を用いて、エンコードされた画像ファイルをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs803において、パノラマ画像判定部302を用いて、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データフォーマットにおいて、個別画像の種別530を参照することで判定することが可能である。
ステップs804において、パノラマ画像判定部302でパノラマ画像でないと判定された場合は通常の処理を行う。
一方、パノラマ画像判定部302でパノラマ画像であると判定された場合は、ステップs805において、位置検出部303を用いて、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる、継ぎ合わせ位置を検出する。継ぎ合わせ位置の検出方法に関しては、既存の技術を用いて検出するものとする。例えば、特徴点を抽出して、アフィン変換によるパラメータ変換や平面投影変換による相関計算によって位置合わせがされる。
ステップs806において、オーバーラップ領域抽出部304を用いて、位置検出部303で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
ステップs807において、削除部305を用いて、オーバーラップ領域抽出部304で抽出された一方のオーバーラップ領域が既に削除されているか判定する。既に一方のオーバーラップ領域が削除されている場合は、双対となるもう一方のオーバーラップ領域の削除は行わず画像データを保持する。
ステップs808において、削除部305を用いて、ステップs807でオーバーラップ領域を削除すると判定された画像データに対して削除処理を実行する。ここで、オーバーラップ領域の削除に関して、画像データを単に切り捨てるのではなく、白色で埋める処理や、フィルタによるぼかしを施す処理、画素データの間引き処理、明度(濃度)情報に変換する処理を施してもよい。ただし、データサイズがオリジナルに比べて削減されるものとする。
ステップs809において、位置情報付加部306を用いて、削除部305でオーバーラップ領域が削除された画像データに対して、双対となるもう一方のオーバーラップ領域の位置情報をヘッダーに付加する。ここでいうヘッダーとは、入力画像ファイルのデータフォーマットに準ずるものであり、本実施形態においては図5に示したダミータグ535を使用する。また、本発明の画像処理装置にのみ使用されるローカルヘッダーを作成し、これに記載しておいてもよい。位置情報として記録するデータは、双対となるもう一方のオーバーラップ領域を持つ画像データの画像ユニークID、水平オーバーラップ、垂直オーバーラップである。あるいはまた、位置情報として、双対となるもう一方のオーバーラップ領域の3点位置情報(画像データの始点、横の終点 縦の終点)を記載しておいても良い。これらの位置情報は、オーバーラップ部分の画像データよりもはるかにデータ容量が少ないため、オーバーラップ部分の画像データを削除して位置情報を付加することで、全体としてのデータ容量を削減できる。
ステップs810において、画像ファイルに記録された複数枚の画像データに関して、未処理のものがあるか否か判定する。未処理のものがある場合は、上記ステップs805〜s809の処理を行う。
ステップs811において、エンコード部307を用いて、一連の処理を施された画像ファイルに対してエンコードを行う。なお、複数の画像データが単一の画像ファイル内に格納されないケースにおいては、オーバーラップ部分を削除した画像データを含む各画像データが記憶される各画像ファイルに対してエンコードを行う。
ステップs812において、記録部203を用いて、エンコード部307でエンコードされた画像ファイルをHDD104に記録する。 図10は、実施例1の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。概略図を図11に示す。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs1001において、デコード部401を用いて、エンコードされた画像ファイルをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs1002において、パノラマ画像判定部402を用いて、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データフォーマットにおいて、個別画像の種別530を参照することで判定することが可能である。
ステップs1003において、パノラマ画像判定部402でパノラマ画像でないと判定された場合は通常の処理を行う。
パノラマ画像判定部402でパノラマ画像であると判定された場合は、ステップs1004において、出力形式選択部403を用いて処理をする。すなわち、デコードされた画像ファイルに対し、パノラマ画像を合成して送信または出力するか、複数枚の画像データを個々に送信または出力するかを選択する。ここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。また、図10の例ではパノラマ画像または分割画像かを択一的に選択する例を示しているが、両方を選択するように設定値を設けることも可能である。
ステップs1005において、合成方法選択部404を用いて、出力形式選択部403でパノラマ画像を合成して送信または出力すると選択された場合、パノラマの合成方法を選択する。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、「位置のみ」、「円筒法」、「遠近法」などがある。なおここで用いる判定材料は、ステップs1004と同様に画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関しても、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。
ステップs1006において、パノラマ合成部405を用いて、合成方法選択部404で選択された合成方法に基づいて、複数枚の画像データを継ぎ合わせることでパノラマ画像を生成する。
出力形式選択部403で複数枚の画像データ(分割画像)を個々に送信または出力すると選択された場合、ステップs1007において、復元部406を用いて、対象画像データが削除部305でオーバーラップ領域が削除された画像データであるか否かを判定する。オーバーラップ領域が削除されていない場合は、次のステップs1008の処理は行わない。オーバーラップ領域が削除された画像データであるか否かは、例えばヘッダーに削除フラグが立っているかどうかで判定できる。
ステップs1007でオーバーラップ領域が削除された画像データであると判定された場合、ステップs1008において、復元部406を用いて、付加されたもう一方の画像データのオーバーラップ領域の位置情報を元に、オーバーラップ領域を復元する。例えば、もう一方の画像データのオーバーラップ領域の画像データを、復元しようとする画像データの削除した領域にコピーすることでオーバーラップ領域を復元する。
ステップs1009において、画像ファイルに記録された複数枚の画像データに関して、未処理のものがあるか否か判定する。未処理のものがある場合は、上記ステップs1007〜s1008の処理を行う。
ステップs1010において、エンコード部407を用いて、一連の処理を施された画像ファイルに対してエンコードを行う。
ステップs1011において、送信の場合においては、送信部205を用いて、所定の画像処理を適用し、作成された送信データをネットワークI/F108を通じてPCや他の画像処理装置への送信や、外部I/F109を通じて外部記録装置等への送信を行う。出力の場合においては、出力部206を用いて、所定の画像処理を適用し、作成された印刷データをエンジンI/F107を通じて画像処理装置に送ることで出力する。
なお、本実施形態においては、ステップs801において、受信部201を用いて画像ファイルが入力された際に、本発明の処理を適用するか否かを判定し、その判定結果が否である場合は本発明の処理を適用せずに、記録部203を用いてそのまま記録してもよい。ここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。
以上のように実施形態1によれば、一方のオーバーラップ領域を削除し、もう一方のオーバーラップ領域の位置情報を付加することで、画像劣化させずにファイルサイズを小さくすることが可能となる。また、送信または印刷時には付加された位置情報に基づいてオーバーラップ領域を復元することで、画像ファイルを元に戻したり、パノラマ画像を生成したりすることが可能となる。また、このようにオーバーラップ領域を削除した画像データを含む画像ファイルを他の画像処理装置に送信した場合においても、その送信先の画像処理装置にて、オーバーラップ領域を復元して任意のパノラマ合成方法で合成することも可能となる。
<実施形態2>
実施形態1では、入力された画像ファイルがパノラマ撮影による複数枚の画像データである場合、一方のオーバーラップ領域を削除し、もう一方のオーバーラップ領域の位置情報を付加することで、記録時のファイルサイズを小さくする例について説明した。
実施形態2では、画像ファイルを受信した段階でパノラマ合成までを行い、重複しているオーバーラップ領域を合成という形で削除し、またパノラマ合成の元となる画像データを削除することで、記録時のファイルサイズを小さくする。実施形態2においても実施形態1で説明した図2と同様の構成を有することができる。
図12は本発明の実施形態2におけるオーバーラップ削除部202の詳細な構成を説明するブロック図である。
1201はデコード部であり、エンコードされた画像ファイルをデコードする部分である。
1202はパノラマ画像判定部であり、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。
1203は位置検出部であり、パノラマ画像判定部302でパノラマ画像と判定された場合、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる継ぎ合わせ位置を検出する。
1204はオーバーラップ領域抽出部であり、位置検出部303で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
1205は合成方法選択部であり、パノラマの合成方法を選択する部分である。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、「位置のみ」、「円筒法」、「遠近法」などがある。なお、実施形態2においては、パノラマ画像は後に元の画像に分割される場合があるので、パノラマ合成方法は単純に複数枚の画像データを継ぎ合わせるものが望ましい。
1206はパノラマ合成部であり、複数枚の画像データを継ぎ合わせることでパノラマ画像を生成する。
なお、図示していないが、パノラマ画像を合成した後に、パノラマ画像の元となる画像データを削除する画像データ削除部を有することができる。
このように、実施形態2においては、実施形態1と異なりオーバーラップ削除部202においてパノラマ画像を合成する処理まで行うことが特徴である。
1207はエンコード部であり、画像データに対してエンコードを行う。
図13は本発明の実施形態2におけるオーバーラップ復元部204の詳細な構成を説明するブロック図である。
1301はデコード部であり、エンコードされた画像データをデコードする部分である。
1302はパノラマ画像判定部であり、デコードされた画像データに対し、パノラマ画像か否かを判定する。
1303は出力形式選択部であり、デコードされた画像データに対し、出力形式を選択する。ここでいう出力形式選択とは、入力された画像データがパノラマ画像であった場合、パノラマ画像をそのまま送信または出力するか、パノラマ画像を複数枚の画像データに分割し送信または出力するかを選択することである。
1304は分割画像生成部であり、出力形式選択部1303でパノラマ画像を分割して送信または出力すると選択された場合、任意の分割方法によりパノラマ画像を複数枚の画像データに分割する部分である。実施形態2においては、パノラマ画像を生成した時点においてオーバーラップ領域は既に削除された状態となっている。このため、生成した分割画像については、オーバーラップ領域は発生しないことになる。
1305はパッケージ部であり、分割画像生成部1304で分割された複数枚の画像データを図5で示すような画像ファイルのフォーマットにしたがってパッケージ化する。あるいは、分割画像を生成した場合に、各分割画像を管理するための管理ファイルを別途生成することでパッケージ化を行ってもよい。
1306はエンコード部であり、一連の処理を施された画像データに対してエンコードを行う。
図14は、実施例2の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs1401において、受信部201を用いて、図では示されない撮像装置により撮影された画像データ及び画像データを撮影した時の撮影情報からなる画像ファイルがここより入力される。取り込んだ画像ファイルは図1のRAM103上に保持しておく。
ステップs1402において、デコード部1201を用いて、エンコードされた画像ファイルをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs1403において、パノラマ画像判定部1202を用いて、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データフォーマットにおいて、個別画像の種別530を参照することで判定することが可能である。
ステップs1404において、パノラマ画像判定部1202でパノラマ画像でないと判定された場合は通常の処理を行う。
ステップs1405において、位置検出部1203を用いて、パノラマ画像判定部1202でパノラマ画像と判定された場合、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる、継ぎ合わせ位置を検出する。継ぎ合わせ位置の検出方法に関しては、既存の技術を用いて検出するものとする。
ステップs1406において、オーバーラップ領域抽出部1204を用いて、位置検出部1203で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
ステップs1407において、合成方法選択部1205を用いて、パノラマの合成方法を選択する。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、「位置のみ」、「円筒法」、「遠近法」などがある。なおここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に現れても良い。また、次のステップで作成するパノラマ画像は後に分割される場合があるので、パノラマ合成方法は単純に複数枚の画像データを継ぎ合わせるものが望ましい。
ステップs1408において、パノラマ合成部1206を用いて、合成方法選択部1205で選択された合成方法に基づいて、オーバーラップ領域抽出部1204で抽出されたオーバーラップ領域を元に、画像データを継ぎ合わせることでパノラマ画像を生成する。なお、パノラマ画像を生成した際に、パノラマ画像の合成元となった画像データを削除することができる。
ステップs1409において、エンコード部1207を用いて、一連の処理を施された画像データに対してエンコードを行う。
ステップs1410において、記録部203を用いて、エンコード部1207でエンコードされた画像データをHDD104に記録する。
以上説明したように、実施形態2の処理は、実施形態1の場合と比べてオーバーラップ領域を抽出した後にパノラマ画像の生成する処理まで実行して、その結果のパノラマ画像をHDD104に記録する点で相違する。
図15は、実施例2の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs1501において、デコード部1301を用いて、エンコードされた画像データをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs1502において、パノラマ画像判定部1302を用いて、デコードされた画像データに対し、画像データがパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データのヘッダーに記載されている画像サイズを参照することで判定することが可能である。
ステップs1503において、パノラマ画像判定部1302でパノラマ画像でないと判定された場合は通常の処理を行う。
ステップs1504において、出力形式選択部1303を用いて、コードされた画像ファイルに対し、パノラマ画像をそのまま送信または出力するか、パノラマ画像を複数枚の画像データに分割し送信または出力するかを選択する。ここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に設定値を入力する画面表示が対話的に現れても良い。
分割画像を送信または出力する場合には、ステップs1505において、分割画像生成部1304を用いて、次のステップs1506でパノラマ画像を複数枚の画像データに分割する際の分割方法を指定する。例えば、図5で示すような画像ファイルのフォーマットにしたがい、主画像としてパノラマ画像の最も特徴を表す部分を分割し(パノラマ画像の中心部等)、その他の部分を個別画像として分割する。ここで分割方法の指定の仕方としては、画像処理装置内の表示部105を利用して操作部106から入力した値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。また、特に分割方法を指定しない場合は、画像処理装置内に予め設定されているデフォルトの分割方法に従って分割する。
ステップs1506において、分割画像生成部1304を用いて、ステップs1505で決定された分割方法に従い、パノラマ画像を分割する。
なお、図15の例では、パノラマ画像か分割画像かを択一的に選択したが、両方を送信または出力する選択を行って各処理を行うこともできる。
ステップs1507において、エンコード部1306を用いて、一連の処理を施された画像ファイルに対してエンコードを行う。
ステップs1508において、送信の場合においては、送信部205を用いて、所定の画像処理を適用し、作成された送信データをネットワークI/F108を通じてPCや他の画像処理装置への送信や、外部I/F109を通じて外部記録装置等への送信を行う。出力の場合においては、出力部206を用いて、所定の画像処理を適用し、作成された印刷データをエンジンI/F107を通じて画像処理装置に送ることで出力する。
以上のように本発明の実施形態2によれば画像データを受信した段階でパノラマ合成までを行い、重複しているオーバーラップ領域を合成という形で削除することで、画像劣化させずにファイルサイズを小さくすることが可能となる。また送信または印刷時には、パノラマ画像である場合はそのまま送信または出力し、分割画像である場合は、指定された任意の方法でパノラマ画像を分割して分割画像を送信または出力する。実施形態2の分割画像はパノラマ画像を分割した画像である。パノラマ画像は既にオーバーラップ領域が削除されているため、分割画像についてもオーバーラップ領域は発生しないことになる。これにより、パノラマ画像または分割画像のいずれの送信または出力時においてもオーバーラップ領域が削除されているため、パノラマ画像の合成方法は固定となるものの、ファイルサイズが小さくなり、転送速度や出力速度を向上させることができる。
<実施形態3>
実施形態3では、受信した段階でパノラマ合成を行い、重複しているオーバーラップ領域を合成という形で削除する。その後、生成したパノラマ画像に対して、指定された分割方法で複数枚の画像データに再分割する。そして、この分割された画像データを記録部に記録する。これにより、画像劣化させずに記録時のファイルサイズを小さくする。実施形態3においても実施形態1で説明した図2と同様の構成を有することができる。
図16は本発明の実施形態3におけるオーバーラップ削除部202の詳細な構成を説明するブロック図である。
1601はデコード部であり、エンコードされた画像ファイルをデコードする部分である。
1602はパノラマ画像判定部であり、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。
1603は位置検出部であり、パノラマ画像判定部302でパノラマ画像と判定された場合、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる継ぎ合わせ位置を検出する。
1604はオーバーラップ領域抽出部であり、位置検出部303で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
1605は合成方法選択部であり、パノラマの合成方法を選択する部分である。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、「位置のみ」、「円筒法」、「遠近法」などがある。実施形態3においては、パノラマ画像は後に分割されるので、パノラマ合成方法は単純に複数枚の画像データを継ぎ合わせるものが望ましい。
1606はパノラマ合成部であり、複数枚の画像データを継ぎ合わせることでパノラマ画像を生成する。また、実施形態3においてはパノラマ画像を生成した後に、合成元となる画像データを削除する。
1607は分割画像生成部であり、任意の分割方法によりパノラマ画像を複数枚の画像データに分割する部分である。実施形態3においては、一旦パノラマ画像を生成してオーバーラップ領域を削除してから、分割画像を生成することになる。
1608はパッケージ部であり、分割画像生成部1607で分割された複数枚の画像データを図5で示すような画像ファイルのフォーマットにしたがってパッケージ化する。
1609はエンコード部であり、パッケージ部1608でパッケージ化された画像ファイルに対してエンコードを行う。
図17は、実施形態3の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
1701はデコード部であり、エンコードされた画像ファイルをデコードする部分である。
1702はパノラマ画像判定部であり、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。なお、実施形態3においては、合成されたパノラマ画像を分割した分割画像がデコード部1701にてデコードされることになる。このパノラマ画像を分割した分割画像の場合においても、画像データの属性は「パノラマ画像」である点に留意されたい。
1703は出力形式選択部であり、デコードされた画像ファイルに対し、出力形式を選択する。ここでいう出力形式選択とは、入力された画像ファイルがパノラマ撮影による複数枚の画像データであった場合、パノラマ画像を合成して送信または出力するか、複数枚の画像データを個々に送信または出力するかである。すなわち、合成されたパノラマ画像を分割した分割画像の画像データの場合についての出力形式を選択することになる。
1704はパノラマ合成部であり、合成方法選択部1605で選択された合成方法に基づいて、複数枚の画像データを継ぎ合わせることで再度パノラマ画像を生成する。実施形態3におけるパノラマ合成部1704は、複数枚の画像データに分割される元となったパノラマ画像の合成方法と同じ合成方法で再度の合成が可能である。
1705はエンコード部であり、一連の処理を施された画像ファイルに対してエンコードを行う。
図18は、実施形態3の受信部201、オーバーラップ削除部202、記録部203に関する例示的な処理フローチャートである。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs1801において、受信部201を用いて、図では示されない撮像装置により撮影された画像データ及び画像データを撮影した時の撮影情報からなる画像ファイルがここより入力される。取り込んだ画像ファイルは図1のRAM103上に保持しておく。
ステップs1802において、デコード部1601を用いて、エンコードされた画像ファイルをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs1803において、パノラマ画像判定部1602を用いて、デコードされた画像ファイルに対し、画像ファイル内に記憶された画像データ群がパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データフォーマットにおいて、個別画像の種別530を参照することで判定することが可能である。
ステップs1804において、パノラマ画像判定部1602でパノラマ画像でないと判定された場合は通常の処理を行う。
パノラマ画像判定部1602でパノラマ画像と判定された場合、ステップs1805において、位置検出部1603を用いて、画像ファイル内に記録されている複数枚の画像データを継ぎ合わせる際に必要となる、継ぎ合わせ位置を検出する。継ぎ合わせ位置の検出方法に関しては、既存の技術を用いて検出するものとする。
ステップs1806において、オーバーラップ領域抽出部1604を用いて、位置検出部1603で検出された継ぎ合わせ位置を元に、画像データと画像データを重ね合わせるオーバーラップ領域を抽出する。
ステップs1807において、合成方法選択部1605を用いて、パノラマの合成方法を選択する。パノラマの合成方法は既存の技術を用いて合成するものとする。たとえば、合成方法として、「位置のみ」、「円筒法」、「遠近法」などがある。なおここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。また、実施形態3においては、次のステップで作成するパノラマ画像は後に分割されるので、パノラマ合成方法は単純に複数枚の画像データを継ぎ合わせるものが望ましい。
ステップs1808において、パノラマ合成部1606を用いて、合成方法選択部1605で選択された合成方法に基づいて、抽出されたオーバーラップ領域を元に、複数枚の画像データを継ぎ合わせることでパノラマ画像を生成する。
ステップs1809において、分割画像生成部1607を用いて、次のステップs1810でパノラマ画像を複数枚の画像データに分割する際の分割方法を指定する。例えば、図5で示すような画像ファイルのフォーマットにしたがい、主画像としてパノラマ画像の最も特徴を表す部分を分割し(パノラマ画像の中心部等)、その他の部分を個別画像として分割する。ここで分割方法の指定の仕方としては、画像処理装置内の表示部105を利用して操作部106から入力した値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。また、特に分割方法を指定しない場合は、画像処理装置内に予め設定されているデフォルトの分割方法に従って分割する。
ステップs1810において、分割画像生成部1607を用いて、ステップs1809で決定された分割方法に従い、パノラマ画像を分割する。
ステップs1811において、エンコード部1609を用いて、一連の処理を施された画像データに対してエンコードを行う。
ステップs1812において、記録部203を用いて、エンコード部1609でエンコードされた画像データをHDD104に記録する。
以上説明したように、実施形態3の例においては、オーバーラップ領域を削除してパノラマ画像を一旦生成する。そして、生成したパノラマ画像を複数の画像データ(分割画像)に分割し、この分割された画像データをHDD104に記録することが特徴である。
図19は、実施形態3の記録部203、オーバーラップ復元部204、送信部205および印刷部206に関する例示的な処理フローチャートである。以下の処理はROM102に格納されたプログラムに基づき、CPU101により実行される。
ステップs1901において、デコード部1701を用いて、エンコードされた画像データをデコードする。エンコード方式に関しては、JPEG,JBIG,JPEG2000等、多岐に渡り考えられるがその手法は問わない。
ステップs1902において、パノラマ画像判定部1702を用いて、デコードされた画像データに対し、画像データがパノラマ画像か否かを判定する。パノラマ画像か否かの判定方法は、画像データのヘッダーに記載されている画像サイズを参照することで判定することが可能である。
ステップs1903において、パノラマ画像判定部1702でパノラマ画像でないと判定された場合は通常の処理を行う。
ステップs1904において、出力形式選択部1703を用いて、デコードされた画像ファイルに対し、パノラマ画像を送信または出力するか、パノラマ画像を複数枚の画像データに分割した分割画像をそのまま送信または出力するかを選択する。ここで用いる判定材料は、画像処理装置内の表示部105を利用して操作部106から入力した判定条件に対する設定値である。なおこの場合に関して、実行タイミングとは関係なく印刷環境設定項目の一つとして、常に設定値を保持していても良いし、ウォーミングアップ中に印刷ボタンが押された場合に対話的に設定値を入力する画面表示が現れても良い。
ステップs1905において、合成方法選択部1605で選択された合成方法に基づいて、複数枚の画像データを継ぎ合わせることで再度パノラマ画像を生成する。
ステップs1906において、エンコード部1705を用いて、一連の処理を施された画像ファイルに対してエンコードを行う。
ステップs1907において、送信の場合においては、送信部205を用いて、所定の画像処理を適用し、作成された送信データをネットワークI/F108を通じてPCや他の画像処理装置への送信や、外部I/F109を通じて外部記録装置等への送信を行う。出力の場合においては、出力部206を用いて、所定の画像処理を適用し、作成された印刷データをエンジンI/F107を通じて画像処理装置に送ることで出力する。
以上のように本発明の実施形態3によれば、受信した段階でパノラマ合成を行い、重複しているオーバーラップ領域を合成という形で削除する。その後、生成したパノラマ画像に対して、指定された分割方法で複数枚の画像データに再分割する。そして、この再分割した画像データを含む画像ファイルを記憶媒体に記憶する。これにより、画像劣化させずに記録時のファイルサイズを小さくすることが可能となる。また送信または印刷時には、分割画像である場合はそのまま送信または出力し、パノラマ画像である場合は、一度パノラマ合成した方法で、再度パノラマ合成を行い送信または出力する。これにより、送信または出力時においてもオーバーラップ領域は削除されているため、パノラマ画像の合成方法は固定となるが、ファイルサイズを小さくなり、転送速度や出力速度を向上させることができる。
<その他の実施形態>
本発明は、複数の機器(例えばコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用することも、1つの機器からなる装置(複合機、プリンタ、ファクシミリ装置など)に適用することも可能である。また、以上説明した例においては、画像処理装置は、デジタル電子写真複写機、レーザープリンタ、ファクシミリといったカラーまたはモノクロの画像処理装置を例に挙げて説明したが、汎用のコンピュータを画像処理装置として用いてもよい。
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。

Claims (12)

  1. 複数の画像データを受信する受信手段と、
    前記受信した画像データの種別がパノラマ画像群の画像データであるか否かを判定するパノラマ画像判定手段と、
    前記パノラマ画像判定手段の判定結果がパノラマ画像群の画像データである場合、前記複数の画像データの重複する領域であるオーバーラップ領域を抽出するオーバーラップ領域抽出手段と、
    前記複数の画像データの一方に対して、前記オーバーラップ領域抽出手段によって抽出されたオーバーラップ領域を削除する削除手段と、
    前記削除手段によってオーバーラップ領域が削除された画像データに対して、前記重複する領域を有する他方のオーバーラップ領域を示す位置情報を付加する位置情報付加手段と、
    前記画像データを記録した画像ファイルを保存する記録手段と
    を備えることを特徴とする画像処理装置。
  2. 前記パノラマ画像判定手段の判定結果が前記パノラマ画像群の画像データである場合に、前記各画像データに対して、画像データの継ぎ合わせ位置を検出する位置検出手段を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記各手段による処理を適用するか否かを選択する選択手段を備えることを特徴とする請求項1に記載の画像処理装置。
  4. 記録手段に保存された画像ファイルの種別がパノラマ画像であるかを判定するパノラマ画像判定手段と、
    前記画像ファイルに付加されている、複数の画像データの重複する領域であるオーバーラップ領域を示す位置情報に基づいて、前記オーバーラップ領域が削除された画像データに対して、当該オーバーラップ領域を復元する復元手段と、
    画像ファイルを送信する送信手段、および画像ファイルを印刷する印刷手段の少なくとも1つと
    を備えることを特徴とする画像処理装置。
  5. 記録手段に保存された画像ファイルの種別がパノラマ画像であるかを判定するパノラマ画像判定手段と、
    前記画像ファイル内に記録されている、複数の画像データの重複する領域であるオーバーラップ領域が削除された画像データと、前記削除された画像データに付加された前記オーバーラップ領域を示す位置情報によって特定される領域を有する画像データと、を合成してパノラマ画像を生成するパノラマ合成手段と、
    を備えることを特徴とする画像処理装置。
  6. 画像ファイルを送信する送信手段、および画像ファイルを印刷する印刷手段の少なくとも1つをさらに備えることを特徴とする請求項5に記載の画像処理装置。
  7. パノラマの合成方法を選択する合成方法選択手段をさらに備えることを特徴とする請求項5に記載の画像処理装置。
  8. パノラマ画像を合成して送信または出力するか、複数枚の画像データを個々に送信または出力するかを選択する出力形式選択手段を備えることを特徴とする請求項4または7に記載の画像処理装置。
  9. 複数の画像データを受信する受信ステップと、
    前記受信した画像データの種別がパノラマ画像群の画像データであるか否かを判定するパノラマ画像判定ステップと、
    前記パノラマ画像判定ステップの判定結果がパノラマ画像群の画像データである場合、前記複数の画像データの重複する領域であるオーバーラップ領域を抽出するオーバーラップ領域抽出ステップと、
    前記複数の画像データの一方に対して、前記オーバーラップ領域抽出ステップによって抽出されたオーバーラップ領域を削除する削除ステップと、
    前記削除ステップによってオーバーラップ領域が削除された画像データに対して、前記重複する領域を有する他方のオーバーラップ領域を示す位置情報を付加する位置情報付加ステップと、
    前記画像データを記録した画像ファイルを記録部に書き込む書き込みステップと
    を備えることを特徴とする画像処理方法。
  10. 記録部に保存された画像ファイルの種別がパノラマ画像であるかを判定するパノラマ画像判定ステップと、
    前記画像ファイルに付加されている、複数の画像データの重複する領域であるオーバーラップ領域を示す位置情報に基づいて、前記オーバーラップ領域が削除された画像データに対して、当該オーバーラップ領域を復元する復元ステップと、
    画像ファイルを送信する送信ステップ、および画像ファイルを印刷する印刷ステップの少なくとも1つと
    を備えることを特徴とする画像処理方法。
  11. 記録部に保存された画像ファイルの種別がパノラマ画像であるかを判定するパノラマ画像判定ステップと、
    前記画像ファイル内に記録されている、複数の画像データの重複する領域であるオーバーラップ領域が削除された画像データと、前記削除された画像データに付加された前記オーバーラップ領域を示す位置情報によって特定される領域を有する画像データと、を合成してパノラマ画像を生成するパノラマ合成ステップと、
    を備えることを特徴とする画像処理方法。
  12. 請求項9乃至11に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
JP2009100174A 2009-04-16 2009-04-16 画像処理装置及び画像処理方法 Pending JP2010250612A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009100174A JP2010250612A (ja) 2009-04-16 2009-04-16 画像処理装置及び画像処理方法
US12/758,327 US8442354B2 (en) 2009-04-16 2010-04-12 Image processing apparatus and image processing method capable of transmission/reception and recording of image file obtained by panoramic image shot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009100174A JP2010250612A (ja) 2009-04-16 2009-04-16 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2010250612A true JP2010250612A (ja) 2010-11-04
JP2010250612A5 JP2010250612A5 (ja) 2012-05-31

Family

ID=42980699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009100174A Pending JP2010250612A (ja) 2009-04-16 2009-04-16 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US8442354B2 (ja)
JP (1) JP2010250612A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205395A (ja) * 2010-03-25 2011-10-13 Casio Computer Co Ltd 撮像装置、及びプログラム
JP2012114617A (ja) * 2010-11-24 2012-06-14 Canon Inc 画像処理装置、方法およびプログラム
JP2019080194A (ja) * 2017-10-25 2019-05-23 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP7382632B2 (ja) 2019-11-27 2023-11-17 国立研究開発法人宇宙航空研究開発機構 動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
JP2012105145A (ja) * 2010-11-11 2012-05-31 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
JP2015156051A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US9025906B2 (en) * 2012-12-19 2015-05-05 Lifetouch Inc. Generating an assembled group image from subject images
JP6354195B2 (ja) * 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
US9241103B2 (en) * 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US9686466B1 (en) 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
US9343043B2 (en) * 2013-08-01 2016-05-17 Google Inc. Methods and apparatus for generating composite images
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US10306267B2 (en) * 2015-08-31 2019-05-28 International Business Machines Corporation System, method, and recording medium for compressing aerial videos
CN106056537B (zh) * 2016-05-20 2019-05-17 东软医疗系统股份有限公司 一种医学图像拼接方法及装置
CN111831751A (zh) * 2020-07-14 2020-10-27 深圳移动互联研究院有限公司 一种基于区块链的全景数据密钥处理方法及处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191894A (ja) * 2003-12-25 2005-07-14 Casio Comput Co Ltd カメラ装置及びプログラム
JP2005223518A (ja) * 2004-02-04 2005-08-18 Seiko Epson Corp 画像供給装置、画像保存装置、自動保存システムおよび画像保存方法
JP2008288798A (ja) * 2007-05-16 2008-11-27 Nikon Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
US6424752B1 (en) * 1997-10-06 2002-07-23 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US7009638B2 (en) * 2001-05-04 2006-03-07 Vexcel Imaging Gmbh Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems
EP1538562A4 (en) * 2003-04-17 2005-08-10 Seiko Epson Corp GENERATING A STILL IMAGE FROM MULTIPLE INDIVIDUAL IMAGES
US7606441B2 (en) * 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
WO2006092961A1 (ja) * 2005-03-02 2006-09-08 Matsushita Electric Industrial Co., Ltd. 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
JP2006293851A (ja) 2005-04-13 2006-10-26 Sony Corp 画像合成装置及び方法、撮像装置並びに記録媒体
US8107769B2 (en) * 2006-12-28 2012-01-31 Casio Computer Co., Ltd. Image synthesis device, image synthesis method and memory medium storage image synthesis program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191894A (ja) * 2003-12-25 2005-07-14 Casio Comput Co Ltd カメラ装置及びプログラム
JP2005223518A (ja) * 2004-02-04 2005-08-18 Seiko Epson Corp 画像供給装置、画像保存装置、自動保存システムおよび画像保存方法
JP2008288798A (ja) * 2007-05-16 2008-11-27 Nikon Corp 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205395A (ja) * 2010-03-25 2011-10-13 Casio Computer Co Ltd 撮像装置、及びプログラム
JP2012114617A (ja) * 2010-11-24 2012-06-14 Canon Inc 画像処理装置、方法およびプログラム
JP2019080194A (ja) * 2017-10-25 2019-05-23 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP6991830B2 (ja) 2017-10-25 2022-01-13 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP7382632B2 (ja) 2019-11-27 2023-11-17 国立研究開発法人宇宙航空研究開発機構 動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラム

Also Published As

Publication number Publication date
US20100265314A1 (en) 2010-10-21
US8442354B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
JP2010250612A (ja) 画像処理装置及び画像処理方法
US7379097B2 (en) Method and apparatus for providing live view and instant review in an image capture device
JP4487775B2 (ja) 複数の画像データのパノラマ合成処理
US8265394B2 (en) Multi-image file editing apparatus and multi-image file editing method
JPH11127323A (ja) 画像メモリ装置およびデジタルカメラおよび画像処理システムおよび画像処理システムのデータ処理方法およびコンピュータが読み出し可能なプログラムを格納した記憶媒体
KR20080058779A (ko) 화상형성장치 및 그 연사촬영 이미지의 제어방법
JP4502392B2 (ja) 画像処理装置及びその制御方法
JP2005142799A (ja) デジタルカメラ、プリンタ、プリントシステム及びプログラム
JP6270555B2 (ja) 画像処理システム、撮像装置及びその制御方法
US8395675B2 (en) Camera
JP5264155B2 (ja) プログラム、ファイル管理装置及びファイル管理方法
JP5849177B2 (ja) 画像情報処理システム
JP5021546B2 (ja) マルチ画像ファイル作成装置、マルチ画像ファイル作成プログラム、マルチ画像ファイル作成方法
JP3845865B2 (ja) 画像処理装置および方法、並びに、記録媒体
JP2010103692A (ja) 画像出力装置、画像出力方法、及び制御プログラム
JP2006287588A (ja) 画像処理装置、画像処理方法、データファイル構造、コンピュータプログラム及び記憶媒体
JP7437914B2 (ja) 画像ファイル作成装置、画像ファイル作成方法、及びプログラム
JP2007094973A (ja) プリント処理システム
JP3382557B2 (ja) 画像指定方法、画像指定装置、印刷システム、印刷方法及び装置
US20120026552A1 (en) Image processing apparatus and method for controlling the same
JP5909734B2 (ja) 画像表示方法
JP2005103836A (ja) 画像印刷制御装置及びプログラム
JP2009164768A (ja) 画像ファイル作成装置、画像ファイル作成方法、画像ファイル修復装置
JP2004266359A (ja) 電子カメラ
JP5245953B2 (ja) プレゼンテーション画像の生成方法および装置並びに画像形成装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130611