JP2009176164A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2009176164A
JP2009176164A JP2008015544A JP2008015544A JP2009176164A JP 2009176164 A JP2009176164 A JP 2009176164A JP 2008015544 A JP2008015544 A JP 2008015544A JP 2008015544 A JP2008015544 A JP 2008015544A JP 2009176164 A JP2009176164 A JP 2009176164A
Authority
JP
Japan
Prior art keywords
image
position information
feature position
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008015544A
Other languages
English (en)
Inventor
Asuka Murata
明日香 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008015544A priority Critical patent/JP2009176164A/ja
Publication of JP2009176164A publication Critical patent/JP2009176164A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像中の特徴部分が複数ある場合でも、それぞれの特徴部分を所定時間間隔で順次拡大・トリミングを行って表示することができるようにする。さらに、外部からの画像取り込みに際して特徴部分の抽出も並行的に行うことにより、画像を取り込んだ後に直ちに特徴部分を中心とした拡大・トリミングを行うことができるようにする。
【解決手段】画像の特徴部分の画像内における位置を示す情報を取得する手段と、取得した特徴位置情報を画像情報と関連付けて記録する手段と、記録した画像情報に基づいて画像を表示する手段とを有する画像処理装置であって、表示手段は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する手段などを有することを特徴とする画像処理装置を提供する。
【選択図】図1

Description

本発明は、画像処理装置に関し、特に、画像の一部を中心として拡大・トリミングを行うことが可能な画像処理装置に関する。
デジタルカメラで撮影した写真の画像データなどをパソコンなどに取り込んで、ディスプレイに拡大したりトリミングしたりして表示する場合、写真内の特徴部分(例えば顔など)の位置を考慮せず中心を基点に拡大やトリミングを行うと、拡大・トリミング時に特徴部分が表示領域外となってしまい、表示されないことがある。そこで、これを避けて特徴部分が表示領域内に表示されるようにするため、予め画像内の特徴部分を抽出しておき、この部分を中心に拡大やトリミングを行うといったことが行われていた。例えば、特許文献1においては、画像中の主要被写体領域を抽出する手段と、主要被写体領域を中心に画像を拡大表示する手段を有する画像処理装置が開示されている(特許文献1参照)。また、特許文献2においては、画像中から選択された被写体(キー被写体)の画像特徴量を抽出し、予め記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することを特徴とする画像処理方法が開示されている(特許文献2参照)。
さらに、一の画像中に特徴部分が複数存在する場合も考えられるが(例えば複数の顔など)、前出の特許文献1では、主要被写体領域の位置・大きさ、主要被写体の向きなどを用いて主要被写体の確度を定め、この確度の順に順次拡大して表示する技術も開示されている。
特開2003‐209683号公報 特開2004‐289706号公報
しかし、従来のような、予め画像内の特徴部分を抽出しておきこの部分を中心に拡大やトリミングを行う方法の場合、画像を取り込んでから特徴部分の抽出を行うため、特徴部分の抽出に時間がかかり、画像を取り込んですぐに特徴部分を中心に拡大・トリミングを行うことが困難であるといった問題があった。特に、一の画像中に特徴部分が複数存在する場合に、従来のように特徴部分の位置・大きさなどを用いて確度を定めて拡大等の順序を決める方法を用いたのでは、確度及びその順序を決定するための処理に時間がかかり、迅速な拡大・トリミングを行う上で難点があった。
そこで、本発明の解決すべき課題は、画像中の特徴部分が複数ある場合でも、確度を定めて拡大表示やトリミングを行うといった時間のかかる処理を行うことなく、それぞれの特徴部分を所定時間間隔で順次拡大・トリミングを行って表示することができるようにすることにある。さらに、外部からの画像取り込みに際して特徴部分の抽出も並行的に行うことにより、画像を取り込んだ後に直ちに特徴部分を中心とした拡大・トリミングを行うことができるようにすることにある。
以上の課題を解決するため、本発明のうち、第一の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、表示部は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する順次拡大表示手段を有することを特徴とする画像処理装置を提供する。
また、第二の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、表示部は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示する順次トリミング表示手段を有することを特徴とする画像処理装置を提供する。
また、第三の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、表示部は、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示する同一サイズトリミング表示手段を有することを特徴とする画像処理装置を提供する。
また、第四の発明は、第一から第三のいずれか一の発明を基礎とし、画像データを外部から取り込む外部取込部を有し、前記特徴位置情報取得部は外部取込部からの取込中データを利用して特徴位置情報を算出する第一算出手段を有する画像処理装置を提供する。
また、第五の発明は、第一から第四のいずれか一の発明を基礎とし、画像データからサムネイル画像を生成するサムネイル画像生成部を有し、前記特徴位置情報取得部はサムネイル画像生成部でのサムネイル生成中データを利用して特徴位置情報を算出する第二算出手段を有する画像処理装置を提供する。
また、第六の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、表示ステップは、表示した画像を、表示した画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する順次拡大表示サブステップを有することを特徴とする画像処理方法を提供する。
また、第七の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、表示ステップは、表示した画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示する順次トリミング表示手段を有することを特徴とする画像処理方法を提供する。
また、第八の発明は、画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、表示ステップは、表示した画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示する同一サイズトリミング表示サブステップを有することを特徴とする画像処理方法を提供する。
本発明により、画像中の特徴部分が複数ある場合でも、確度を定めて拡大表示やトリミングを行うといった時間のかかる処理を行うことなく、それぞれの特徴部分を所定時間間隔で順次拡大・トリミングを行って表示することができるようになる。さらに、外部からの画像取り込みに際して特徴部分の抽出も並行的に行うことにより、画像を取り込んだ後に直ちに特徴部分を中心とした拡大・トリミングを行うことができるようになる。
以下に、本発明の実施例を説明する。実施例と請求項の相互の関係は以下のとおりである。実施例1は主に請求項1、請求項6などに関し、実施例2は主に請求項2、請求項7などに関し、実施例3は主に請求項3、請求項8などに関し、実施例4は主に請求項4などに関し、実施例5は主に請求項5などに関する。なお、本発明はこれら実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
<概要>
本実施例の画像処理装置は、一の画像中に特徴部分(顔など)が複数ある場合に、所定の時間間隔で順次それぞれの特徴部分を中心に拡大して表示することができるようにした点に特徴を有する。
図1は、本実施例の画像処理装置の概要を示すための概念図である。本図の画像0100は例えばデジタルカメラからパソコンに取り込んでパソコンのディスプレイに表示した写真の画像であって、画像中に特徴部分である顔を含む4個の領域0101〜0104が存在するものである。そこで、本実施例の画像処理装置を用いることにより、それぞれの特徴部分を所定の時間間隔で順次拡大して表示することが可能となる。本図の例では、はじめに第一の特徴部分である左端の人物の顔を含む領域0105をディスプレイの全画面に表示し、5秒後に第二の特徴部分である左から二番目の人物の顔を含む領域0106を全画面表示するといったように、4個の領域を5秒間隔でスライドショーのように順次表示することができる。
<構成>
(全般)
図2は、本実施例の画像処理装置の機能ブロックの一例を示す。本図に示すように、「画像処理装置」0200は、「特徴位置情報取得部」0210と、「特徴位置情報記録部」0220と、「表示部」0230とを有する。また、「表示部」は「順次拡大表示手段」0231を有する。
なお、本明細書に記載する画像処理装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPUや主メモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDどの記憶メディアとそれらメディアの読取ドライブなど)、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のI/Oポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザーインターフェースなどが挙げられる。
そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、インターフェースを介して入力されメモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。また、この発明は画像処理装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
(特徴位置情報取得部)
「特徴位置情報取得部」は、画像の特徴部分の画像内における位置を示す情報である「特徴位置情報」を取得するように構成されている。特徴部分は、人物写真の顔とか、静物写真の花といったように画像中の特徴的な要素を示す部分である。画像中どの部分が特徴部分であるかについては、例えば、ユーザの判断に基づいて位置を指定するための画像処理装置のキー操作等の入力を受け付けることにより特定される。あるいは、画像内の部分の色、明度、形状等に基づいて演算処理を行うことによりこの特徴部分を特定するようにしてもよい。さらには、この演算処理を外部からの画像データの取込み中に行うようにしてもよい。最後の例については別の実施例にて説明する。
また、これらの方法によって特定された特徴部分の位置を示す情報である特徴位置情報は、例えば、画像を表示するためのディスプレイのピクセル座標位置で表現される。
図3は、特徴位置情報の一例を示す図であり、当該情報をXML(eXtensible Markup Language)フォーマットで示したものである。本図の例では、特徴位置情報として、画像ID及び複数の特徴位置情報が保持されている。このうち画像IDは、当該特徴情報がどの画像の情報であるかを識別するためのものである。また、個々の特徴位置情報は、特徴位置のセンターのピクセル座標位置と、そこを中心に上下左右に含まれるエリアの組合せによって表現される。例えば特徴位置情報1の例でいえば、ピクセル座標位置(680,853)をセンターとして、そこから左右にそれぞれ60ピクセル、上下に48ピクセルのエリアが特徴位置であることが示されている。このエリアの上下のピクセル数と左右のピクセル数の比は、拡大表示したときにディスプレイの全画面に過不足なく表示されるようにディスプレイ全体の上下のピクセル数と左右のピクセル数の比に等しくなるようにすることが望ましい。なお、特徴位置情報のフォーマットはXMLフォーマットに限られず、他のフォーマットであってもよい。
次に、特徴位置情報の抽出要領について説明する。
図4は、特徴情報の抽出要領の一例を示す図であって、画像内の部分の色、明度、形状等に基づいて演算処理を行うことによりこの特徴部分を特定する場合の抽出要領を示す。本図(a)に示した人物の写真のうち顔を特徴部分としてその特徴情報を抽出する例で説明する。この場合、本図(b)に示すように、例えば右目の領域を「A」、左目の領域を「B」、鼻の領域を「C」、口の領域を「D」として特徴部分を構成する要素として抽出する。例えば明度が周囲と比較して一定度数以上低く、かつその明度の低い部分の面積が一定面積以下である領域がある場合に、当該領域は「目」と判断される。さらに、かかる領域が一定の距離間隔を置いて左右に並んでいる場合に、当該各領域は「左目」及び「右目」であると判断される。このため、画像処理装置には、画像内の部分の色、明度、形状等と当該領域がいかなる特徴部分要素であるかを関連付けたルールが保持され、当該ルールに基づいて演算が行われるようにしてもよい。
このようにして特徴部分を構成する要素が抽出されると、これらの位置に基づいて特徴部分が特定される。本図に示す例では、上記A〜Dの位置を包含する所定の範囲が特徴部分である「顔」が特定される。この所定の範囲をどのように定めるかについても、例えば予めルールとして保持される。本図では破線Eで囲んだ部分が特徴情報として抽出されることとなる。
(特徴位置情報記録部)
図2に戻り、「特徴位置情報記録部」0220は、上記の特徴位置情報取得部が取得した特徴位置情報を画像情報と関連付けて記録するように構成されている。この画像情報との関連付けは、例えば図3に一例を示したように、特徴位置情報中に画像を識別するための画像IDが含まれていれば、かかる画像IDにより識別される画像情報と当該画像IDを含む特徴位置情報とを関連付ける形で行うことができる。
(表示部)
「表示部」0230は、上記の特徴位置情報記録部が記録した画像情報に基づいて画像を表示するように構成されている。この表示は、例えば画像処理装置に備えられたディスプレイを用いて行われる。
(順次拡大表示手段)
本実施例の画像処理装置の特徴は、この表示部が「順次拡大表示手段」0231を有する点にある。「順次拡大表示手段」は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示するように構成されている。
「所定の時間間隔」は、例えば「5秒間隔」というように一定の間隔を予めルールとして定めておけばよい。あるいは、特徴合致度(確度)に応じて、例えば特徴合致度が高いものは表示時間が長くなるように異なる時間間隔を設定したり、特徴合致度の低いものは表示しないように設定したりしてもよい。この特徴合致度に応じた表示は、例えば、図4に示したような要領で特徴情報の抽出を行う場合に、右目の領域「A」、左目の領域「B」、鼻の領域「C」、口の領域「D」のすべてが検出された場合を「合致度4」、「A」、「B」、「C」だけが検出された場合を「合致度3」などとランク付けするとともに、「合致度4」の特徴位置部分に係る表示時間を「合致度3」のときの表示時間より長く設定するといったルールを予め定めておくことにより実行可能である。さらに、この特徴合致度の設定をユーザの選択に基づく入力操作により行うようにしてもよい。
(ハードウェア構成)
次に、本実施例の画像処理装置のハードウェア構成について説明する。
図5は本実施例の画像処理装置のハードウェア構成の一例を示す概略図である。本図に示すように、本実施例の画像処理装置の特徴位置情報取得部は、「記憶装置(記録媒体)」0501と、「メインメモリ」0502と、「CPU」0503とからなる。また、特徴位置情報記録部は、「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」と、「I/O」0504とからなる。また、表示部は、「記憶装置(記録媒体)」と、「メインメモリ」と、「CPU」と、「I/O」と、I/Oを介して接続されている「ディスプレイ」0505とからなる。これらは「システムバス」0506などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。記憶装置はCPUによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがCPUによって実行される際の作業領域であるワーク領域を提供する。また、このメインメモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、CPUで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。本例では特徴位置情報取得プログラムと、特徴位置情報記録プログラムと、表示プログラムとが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐する。
次に、各部に係るハードウェア構成について具体的に説明する。まず、特徴位置情報取得部に係るハードウェア構成について説明する。特徴位置情報取得プログラムは、自身の定める手順に従い、画像の特徴部分の画像内における位置を示す特徴位置情報を取得する。このため、当該プログラムはまず画像情報を取得するが、この画像情報の取得は、パソコン、デジタルカメラなどのハードディスクやICカード、DVD、CD、フラッシュメモリ等のリムーバルな記録媒体からI/Oを介して取得するものであってもよいし、これらの記録媒体などから画像処理装置自身の記憶装置に記録した画像情報を取得するものであってもよい。また、画像情報から特徴部分を抽出する要領は、既に図4を用いて説明したとおりである。
次に、特徴位置情報記録プログラムは、上記の処理によって取得した特徴位置情報を画像情報と関連付けて記録する。この関連付けは、例えば特徴位置情報中に画像を認識するための画像IDが含まれている場合に、かかる画像IDによって識別される画像情報を検索することにより処理可能である。
次に、表示プログラムは、上記の処理により記録した画像情報に基づいて画像を画像処理装置に備えられたディスプレイなどに表示する。表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合には、表示プログラムは所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示するように構成されている。この所定の時間間隔をどれだけにするか、また順次拡大して表示する順序をどうするか等は、所定のルールに基づいて決められる。このため、記憶装置には予めこれらを決定するためのルール(所定時間ルール、表示順序ルール等)が記憶されており、これを表示プログラムがメインメモリに読み出すことで、このルールに基づく拡大表示処理を行うようにしてもよい。また、この所定時間を計時するためには例えば内蔵する時計機能を利用すればよい。
<処理の流れ>
図6は、本実施例の画像処理装置における処理の流れの一例を示す図であって、全体的な処理の流れの大要を説明するためのものである。
本図に示すように、まず、特徴位置情報取得ステップS0601において、画像処理装置は、特徴位置情報を取得する。この取得は、例えば、外部装置から取得した画像から特徴部分を抽出ことにより行われる。
次に、特徴位置情報記録ステップS0602において、画像処理装置は、前記ステップS0601にて取得した特徴位置情報を画像情報と関連付けて記録する。
次に、表示ステップS0603において、画像処理装置は、前記ステップS0602にて記録した特徴位置情報に基づいて画像を表示する。その場合、本実施例では、表示ステップは順次拡大表示サブステップS0604を有する点に特徴があり、当該ステップS0604において、画像処理装置は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する。
次に、図7は、本実施例の画像処理装置における詳細な処理の流れを示す図である。本図に示す処理の流れは、大別して、左側に示した特徴位置情報の取得及び記録に係る処理の流れと、右側に示した画像情報の拡大表示に係る処理の流れとに区別される。
はじめに、本図の左側に示す特徴位置情報の取得及び記録に係る処理の流れについて説明する。まず、画像情報の取得ステップS0701において、画像処理装置は、画像情報を取得する。この取得は、例えば、パソコン等の外部装置から取得し、あるいは画像処理装置自身の記憶装置に記録された画像情報を取得することにより行われる。
次に、画像処理装置は、上記ステップS0701により取得した画像情報から特徴位置情報を生成して取得する(ステップS0702)。この生成(取得)は、例えば図4を用いて説明した要領で画像中の特徴部分を抽出することにより行われる。
次に、画像処理装置は、上記ステップS0702により生成(取得)した特徴位置情報を画像情報と関連付けて記録する(ステップS0703)。この関連付けは、例えば特徴位置情報中に含まれる画像IDを利用して行われる。
次に、画像処理装置は、処理を終了するか否かの判断ステップS0704で当該判断を行い、処理を終了しないと判断した場合にはステップS0701に戻って当該ステップからステップS0703までの処理を繰り返す。この場合、特徴位置情報は、ディスプレイのピクセル座標位置の例で説明したように通例は複数の特徴位置情報から構成されるため、例えば特徴位置情報に含まれるピクセル座標位置の数だけ順次この処理を繰り返すことになる。一方、上記ステップS0704にて処理を終了すると判断した場合には、画像処理装置は処理を終了する。
次に、本図の右側に示す画像情報の拡大表示に係る処理の流れについて説明する。まず、画像処理装置は、画像情報及びそれに関連付けられた特徴位置情報を取得する(ステップS0705)。これは上述の本図左側に示した処理の流れにおけるステップS0703で記録した画像情報及び特徴位置情報を取得するものである。従って、ステップS0701からステップS0703までの処理が繰り返し行われる場合には、これに応じて当該ステップS0705における処理が複数回行われることになる。
次に、画像処理装置は、上記ステップS0705にて取得した一番目の特徴位置情報を用いて画像情報の拡大処理を行い(ステップS0706、S0707)、拡大処理した画像情報を自身が備えるディスプレイなどに表示する(ステップS0708)。
次に、画像処理装置は所定時間が経過したか否か判断を行い(ステップS0709)、経過したと判断した場合には当該画像の表示を終了するとともに、次に表示すべき画像があるか否かを判断する(ステップS0710)。既述のように、通例特徴位置情報は複数の情報から構成され、これが複数回にわたって繰り返し取得されるので、これに応じて二番目以降の特徴位置情報を用いた画像の拡大処理及び所定時間間隔での表示が、次に表示すべき画像があると判断される限り繰り返し行われることとなる(ステップS0711、S0707、S0708、S0709、S0710)。そして、当該判断ステップS0710において、もはや次に表示すべき画像がないと判断されると、画像処理装置は処理を終了する。
<効果>
本実施例の発明により、画像中の特徴部分が複数ある場合でも、確度を定めて拡大表示を行うといった時間のかかる処理を行うことなく、それぞれの特徴部分を所定時間間隔で順次拡大して表示することができるようになる。
<概要>
本実施例の画像処理装置は、一の画像中に特徴部分が複数ある場合に、所定の時間間隔で順次それぞれの特徴部分を中心にトリミングして表示することができるようにした点に特徴を有する。
<構成>
(全般)
図8は、本実施例の画像処理装置の機能ブロックの一例を示す。本図に示すように、「画像処理装置」0800は、「特徴位置情報取得部」0810と、「特徴位置情報記録部」0820と、「表示部」0830とを有する。また、「表示部」は「順次トリミング表示手段」0832を有する。このうち、特徴位置情報取得部と、特徴位置情報記録部の構成は、実施例1の画像処理装置のこれら各部の構成と共通するので、ここでは説明を省略する。
一方、表示部は、記録した画像情報に基づいて画像を表示するように構成されており、この点ではやはり実施例1の画像処理装置の表示部の構成と共通する。しかし、本実施例では、表示部が順次トリミング表示手段を有する点に特徴があるので、以下この点を中心に説明する。
(表示部:順次トリミング表示手段)
「順次トリミング表示手段」は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示するように構成されている。このため、このトリミングに利用するための特徴位置情報は、トリミングの中心となるべき位置が分かるように、例えばディスプレイのピクセル座標位置によってトリミング範囲の左上端、右上端、左下端、右下端を特定するように表現される。
図9は、かかる特徴位置情報の一例を示す図であり、実施例1で図3に示した特徴位置情報と同様、XMLフォーマットで示したものである。本図の例の特徴位置情報も画像ID及び複数の特徴位置情報によって構成されている(ただし、便宜上2個目以降の特徴位置情報の記載を省略した)。このうち画像IDの目的は実施例1で述べたところと同様である。一方、個々の特徴位置情報の一つである特徴位置情報1は、ディスプレイのピクセル座標位置によって示されており、具体的は左下端の座標(X,Y)が(590,608)、右下端の座標(X,Y)が(673,608)、左上端の座標(X,Y)が(590,645)、右上端の座標(X,Y)が(673,645)であることが示されている。
順次トリミング表示手段は、上述の例ようにトリミングの中心が明らかとなる形で表現されている特徴位置情報が示す位置を中心にトリミング処理を行う。そこで次に、この特徴位置情報が示す位置を中心としたトリミング処理の要領について説明する。
図10は、特徴位置情報が示す位置を中心にトリミング処理を行うための演算プログラムの一例を示す。本例は、図10(b)に示したような画像Aのうち特徴位置情報によって特定されるエリアBを、図10(c)に示すように当該特徴位置情報が示す位置を中心にトリミング処理を行う場合のプログラムを示したものである。
この場合に、図10(a)に示すように、当該プログラムは、まず行番号「10」において、画像情報を取得する。この画像情報は図10(b)でいえば画像Aに係るものである。次に、行番号「20」において、当該プログラムは、特徴位置情報を取得する。この特徴位置情報は図10(b)でいえばエリアBに係るものである。次に、行番号「30」において、当該プログラムは、ディスプレイの特性(傾向)として例えば縦横比を取得する。次に、行番号「40」において、当該プログラムは、上で取得したディスプレイの特性に合わせて、かつ特徴位置情報で示されるエリアの中心がトリミングの中心となるように切り取った後の特徴部分の画像を取得する。次に、行番号「50」において、当該プログラムは、トリミングされた画像を得るために、どれだけのエリアを切り取ればよいかを計算する。次に、行番号「60」において、当該プログラムは、トリミングされた画像を表示する。
次に、以上の処理のうち、特徴位置情報で示されるエリアの中心がトリミングの中心となるように切り取るための具体的な処理要領について説明する。
図11は、上で示した処理のうち、かかる特徴位置情報が示す位置を中心としたトリミングのための演算プログラムの一例を示す。本例は、図9、図10に示したような特徴位置情報によって特定されるエリアとして図11(b)に示す線分A1、2.1.で囲まれたエリアを対象に、かかる特徴位置情報が示す位置を中心として上下部分又は左右部分を切り取る形でトリミングを行う場合のプログラムを示したものである。
この場合に、本図(a)に示すように、当該プログラムは、まず行番号「100」において、トリミングの中心を計算する処理を行う。この中心は、特徴位置情報において左下端、右下端、左上端、右上端の座標位置が示されているので、この数値に基づいて算出可能である。
次に、行番号「110」において、当該プログラムは、トリミングのためにA、Bどちらのサイドを切り取るかを識別する処理を行う。これは、例えばトリミング後のエリアの縦横比とディスプレイの縦横比が同じになるように切り取るとのルールが予め保持されており、これに基づいて切り取るべきサイドが識別される。
次に、行番号「120」において、当該プログラムは、切り取るべき長さ取得する処理を行う。この長さは、特徴位置情報で示されるエリアの縦横比とディスプレイの縦横比を用いて演算を行うことで取得可能である。
次に、行番号「130」において、当該プログラムは、上記行番号「120」における処理にて取得した長さの半分の長さを取得する。
次に、行番号「140」において、当該プログラムは、切り取るべきサイドとして識別されたサイドの一方から、上記行番号「130」における処理にて取得した当該半分の長さを切り取る処理を行う。同様に、行番号「150」において、当該プログラムは、切り取るべきサイドとして識別されたサイドの残りの一方から、上記行番号「130」における処理にて取得した当該半分の長さを切り取る処理を行う。
以上の行番号「130」から「150」までの処理は、トリミング前の特徴位置情報が示す中心位置とトリミング後の中心との一致が保たれるようにするためのものである。
例えば、図11(b)に示すエリアの場合であれば、特徴位置情報が示すエリアの形がディスプレイの形よりも横長であるため、上記行番号「110」における処理の結果、プログラムが行う切り取るべきサイドとしてBのサイドが識別される。そこで、特徴位置情報が示す位置を中心として左右から切り取るべき長さの半分ずつの長さを取得して破線の位置で切り取ることで、特徴位置情報の中心からトリミングされたエリアの中心がずれることなく、かつディスプレイの縦横比に一致するような形状のエリアとして、A、A並びに両破線で囲まれたエリアがトリミング後のエリアとして得られることになる。
(ハードウェア構成)
次に、本実施例の画像処理装置のハードウェア構成について説明する。
図12は本実施例の画像処理装置のハードウェア構成の一例を示す概略図である。本図に示すように、本実施例の画像処理装置の特徴位置情報取得部、特徴位置情報記録部、表示部の基本的な構成は、実施例1で図5を用いて説明した画像処理装置のハードウェア構成と共通する。また、各部に係る具体的なハードウェア構成についても、特徴位置情報取得部、特徴位置情報記録部に係るハードウェア構成は実施例1と共通する。そこで、これらについては説明を省略し、ここでは本実施例の画像処理装置の特徴である表示部が行う順次トリミング表示に係る構成について説明する。なお、本例でも特徴位置情報取得プログラムと、特徴位置情報記録プログラムと、表示プログラムとが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐するとともに、これらのプログラムが以下の処理を実行する。
ここで、表示プログラムは、実施例1で述べたのと同様の特徴位置情報の取得及び記録処理によって記録した画像情報に基づいて画像を画像処理装置に備えられたディスプレイなどに表示する。その際、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合には、表示プログラムは所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示するように構成されている。この所定の時間間隔をどれだけにするか、また順次拡大して表示する順序をどうするか等は、実施例1で説明したところと同様の所定のルールに基づいて決められる。
また、それぞれの特徴位置情報に係る個々のトリミング処理は、具体的には、特徴位置情報から得られる特徴部分の特性(縦横比など)を画像を表示するディスプレイの特性(縦横比など)と比較してトリミングのために切り取るべきサイドや切り取るべき長さを演算によって求めることで行われるが、この演算処理のための具体的なプログラムの内容は、図10、図11を用いて説明したとおりである。
<処理の流れ>
図13は、本実施例の画像処理装置における処理の流れの一例を示す図であって、全体的な処理の流れの大要を説明するためのものである。
このうち、特徴位置情報取得ステップS1301、特徴位置情報記録ステップS1302における処理の流れは、実施例1で図6を用いて説明した処理の流れと共通する。
次に、表示ステップS1303において、画像処理装置は、前記ステップS1302にて記録画像情報に基づいて画像を表示する。その場合、本実施例では、表示ステップは順次トリミング表示サブステップS1304を有する点に特徴があり、当該ステップS1304において、画像処理装置は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示する。
次に、図14は、本実施例の画像処理装置における詳細な処理の流れを示す図である。本図に示す処理の流れは、大別して、左側に示した特徴位置情報の取得及び記録に係る処理の流れと、右側に示した画像情報の拡大表示に係る処理の流れとに区別される。このうち、左側に示した処理の流れは、実施例1で図7の左側に示した処理の流れと共通するので、説明を省略し、ここでは専ら右側に示した処理の流れについて説明する。
まず、画像処理装置は、画像情報及びそれに関連付けられた特徴位置情報を取得する(ステップS1405)。これは本図左側に示した処理の流れにおけるステップS1403で記録した画像情報及び特徴位置情報を取得するものであり、実施例1の場合と同様、当該ステップS1405における処理が複数回行われることになる。
次に、画像処理装置は、上記ステップS1405にて取得した一番目の特徴位置情報を用いて画像情報のトリミング処理を行い(ステップS1406、S1407)、トリミング処理した画像情報を自身が備えるディスプレイなどに表示する(ステップS1408)。
次に、画像処理装置は所定時間が経過したか否か判断を行い(ステップS1409)、経過したと判断した場合には当該画像の表示を終了するとともに、次に表示すべき画像があるか否かを判断する(ステップS1410)。既述のように、通例特徴位置情報は複数の情報から構成され、これが複数回にわたって繰り返し取得されるので、これに応じて二番目以降の特徴位置情報を用いた画像のトリミング処理及び所定時間間隔での表示が、次に表示すべき画像があると判断される限り繰り返し行われることとなる(ステップS1411、S1407、S1408、S1409、S1410)。そして、当該判断ステップS1410において、もはや次に表示すべき画像がないと判断されると、画像処理装置は処理を終了する。
<効果>
本実施例の発明により、画像中の特徴部分が複数ある場合でも、確度を定めてトリミング表示を行うといった時間のかかる処理を行うことなく、それぞれの特徴部分を所定時間間隔で順次トリミングして表示することができるようになる。
<概要>
本実施例の画像処理装置は、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミンしたり拡大・縮小したりて表示することができるようにした点に特徴を有する。
<構成>
(全般)
図15は、本実施例の画像処理装置の機能ブロックの一例を示す。本図に示すように、「画像処理装置」1500は、「特徴位置情報取得部」1510と、「特徴位置情報記録部」1520と、「表示部」1530とを有する。また、「表示部」は「同一サイズトリミング表示手段」1533を有する。このうち、特徴位置情報取得部と、特徴位置情報記録部の構成は、実施例1などの画像処理装置のこれら各部の構成と共通するので、ここでは説明を省略する。
一方、表示部は、記録した画像情報に基づいて画像を表示するように構成されており、この点ではやはり実施例1などの画像処理装置の表示部の構成と共通する。しかし、本実施例では、表示部が同一サイズトリミング表示手段を有する点に特徴があるので、以下この点を中心に説明する。
(表示部:同一サイズトリミング表示手段)
「同一サイズトリミング表示手段」は、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示するように構成されている。
このように本実施例では、「有意情報」という概念を用いてトリミングや拡大・縮小を行うようにしているので、まず「有意情報」の概念について説明する。
図16は、有意情報の概念について説明するための図である。本図では、(a)に示す人物の画像の中から顔の部分を抽出する際に、目、鼻、口や顔の輪郭に係る情報を有意情報として利用することで、最終的に(e)に示す領域Cを有意情報に係る領域として抽出する例で説明する。
まず、(b)に示すように、(a)の画像の中から、目、鼻、口の部分を特定する。この特定は、実施例1で説明したのと同様、例えば画像内の部分の色、明度、形状等に基づいて演算処理を行うによって可能である。また、これによって特定された目、鼻、口などから、有意情報に係る領域の中心となるべき点も特定する。この特定も、例えば左右の目の中間点を中心とするといった予め定められたルールに基づいて行うことが可能である。
次に、(c)に示すように、上記処理によって特定された中心を利用して顔の輪郭を特定する。この特定も、中心に対する輪郭線の位置関係を予めルールとして定めておくことで実行可能である。
次に、(d)に示すように、上記処理によって特定された輪郭を利用して有意情報として特定すべき範囲を特定する。これも、例えば輪郭が内接する四角形の領域を、同一の中心から上下左右に1.2倍した領域とするといったルールを予め定めておくことにより特定することができる。このようにして特定された範囲が、即ち(e)に示す有意情報に係る領域Cとなる。なお、領域Bは、参考までに特徴位置情報が示す位置を示す。本図の例は、このように有意情報に係る領域が特徴位置情報が示す位置の中に完全に包含される場合であるが、これと異なり有意情報に係る領域が特徴位置情報が示す位置と一致していてもよい。しかし、次項に述べるように、トリミングや拡大によって有意情報が一部切り取られて表示されることがあり得る。そこで、特徴位置情報に含まれる位置の中から特にその一部を有意情報を特定し、これを中心にトリミング、拡大等を行うようにすることで、単に特徴位置情報を基準にトリミング等を行う場合に比べて、特徴位置情報中特に表示したい有意情報をできるだけ多く表示することが可能となる。
そして、本実施例の同一サイズトリミング表示手段は、この有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示するように構成される。そこで次に、この「同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小」する具体的な内容について説明する。
図17は、かかる同一もしくは類似のサイズとなるような一定の画角比でのトリミング等の内容の一例を示す。例えば、(a)に示したのは、上欄に示す有意情報の左右が下欄に太線で示すディスプレイ一杯に収まるように拡大するとともに、この結果ディスプレイから上下にはみ出す部分を切り取るトリミング処理を内容とするものである。また、(b)に示したのも同様に、上欄に示す有意情報の上下が下欄に示すディスプレイ一杯に収まるように拡大するとともに、この結果ディスプレイから左右にはみ出す部分を切り取るトリミング処理を内容とするものである。また、(e)に示す有意情報は(b)に示す有意情報と同じものであるが、このように拡大割合を相対的に小さくして、左右の切り取る部分を少なくするとともに、上下に空白部分が生じるような拡大及びトリミングの処理を行ってもよい。これは、拡大して見やすくするよりも有意情報を多く含めてトリミングする方を優先したい場合に有用である。さらに、(d)に示すように、トリミングだけを行って拡大・縮小を行わないとの処理内容であってもよいし、本図には示されていないがトリミングと縮小を組み合わせるようにしてもよい。これらも(e)と同様の場合に有用である。なお、(c)に示すように、何も処理しないもの(厳密には切り取り部分を設けないトリミングを行って1倍に拡大するもの)も、本実施例における処理内容に含まれ得る。
このように、トリミング、拡大・縮小して表示される有意情報がすべて同一もしくは類似のサイズとなるように、一定の画角比でこれらの処理を行うようにしたのは、ディスプレイの縦横比などに合わせてそれぞれの有意情報が最も効果的に表示されるようにするための構成である。従って、一定の画角比は通例はディスプレイの縦横比に合わせて決められる。なお、類似のサイズとなる場合を含めているのは、図17(d)、(e)に示した例のように、有意情報の領域の形状などによっては、ディスプレイに最小限度の空白部分が生じることがやむを得ない場合があるためである。
(ハードウェア構成)
次に、本実施例の画像処理装置のハードウェア構成について説明する。
図18は本実施例の画像処理装置のハードウェア構成の一例を示す概略図である。本図に示すように、本実施例の画像処理装置の特徴位置情報取得部、特徴位置情報記録部、表示部の基本的な構成は、実施例1で図5を用いて説明した画像処理装置のハードウェア構成と共通する。また、各部に係る具体的なハードウェア構成についても、特徴位置情報取得部、特徴位置情報記録部に係るハードウェア構成は実施例1と共通する。そこで、これらについては説明を省略し、ここでは本実施例の画像処理装置の特徴である表示部が行う同一サイズトリミング表示に係る構成について説明する。なお、本例でも特徴位置情報取得プログラムと、特徴位置情報記録プログラムと、表示プログラムとが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐するとともに、これらのプログラムが以下の処理を実行する。
ここで、表示プログラムは、実施例1で述べたのと同様の特徴位置情報の取得及び記録処理によって記録した画像情報に基づいて画像を画像処理装置に備えられたディスプレイなどに表示する。その際、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示するように構成されている。
このうち、まず表示プログラムは、自身の定める手順に従い、まず有意情報の特定を行うが、この特定は、例えば図16を用いて説明した要領で行われる。
次に、表示プログラムは、このようにして特定した有意情報を、一定の画角比でトリミング、拡大・縮小する処理を行うが、この一定の画角比をどのようにするかは、予め定められたルールに従って決められる。また、トリミング、拡大・縮小のしかたには、図17、図18に示したようにいくつかのパターンが考えられるが、これらのどのパターンによるかも予め定められたルールに従えばよい。そこで、記憶装置には、これらのルールが記憶され、これらをメインメモリに読み出してこれらルールに従った処理が行われるようにしてもよい。
<処理の流れ>
図19は、本実施例の画像処理装置における処理の流れの一例を示す図であって、全体的な処理の流れの大要を説明するためのものである。
このうち、特徴位置情報取得ステップS1901、特徴位置情報記録ステップS1902における処理の流れは、実施例1で図6を用いて説明した処理の流れと共通する。
次に、表示ステップS1903において、画像処理装置は、前記ステップS1902にて記録した画像情報に基づいて画像を表示する。その場合、本実施例では、表示ステップは同一サイズトリミング表示サブステップS1904を有する点に特徴があり、当該ステップS1904において、画像処理装置は、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示する。
次に、図20は、本実施例の画像処理装置における同一サイズトリミング表示に係る詳細な処理の流れを示す図である。
まず、画像処理装置は、最初の画像を取得し(ステップS2001)、それに関連付けられた特徴位置情報を取得する(ステップS2002)。
次に、画像処理装置は、上記ステップS2002にて取得した特徴位置情報を用いて有意情報の領域を取得する(ステップS2003)。次に、画像処理装置は、画像が同一又は類似のサイズとなるようにするための表示共通サイズを取得する(ステップS2004)。次に、画像処理装置は、取得した共通サイズと有意情報の領域の比較を行い(S2005、S2006)、同一でないと判断された場合には、トリミング量が最小となるような拡大・縮小処理を計算し(S2007)、その演算結果に従って求められたトリミング、拡大・縮小処理を実行する(S2008)。そして、処理された画像を保持する(S2009)。なお、判断ステップにおいて同一であると判断された場合には、処理はなされずそのままその画像が保持される。さらに、次に表示すべき画像があるかどうかの判断ステップS2010において、画像ありと判断された場合には、次の画像を取得してステップS2002以下の処理を、次の画像があると判断される限り繰り返し行われることとなる。そして、当該判断ステップS2010において、もはや次に表示すべき画像がないと判断されると、画像処理装置は処理を終了する。
<効果>
本実施例の発明により、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミンしたり拡大・縮小したりて表示することが可能となる。
<概要>
本実施例の画像処理装置は、実施例1から3のいずれか一の画像処理装置と基本的に共通するが、画像データを外部から取り込む手段を有するとともに、この取込中のデータを利用して特徴位置情報を算出することができるようにした点に特徴を有する。
<構成>
(画像処理装置)
図21は、本実施例の画像処理装置の機能ブロックの一例を示す。本図に示すように、「画像処理装置」2100は、「特徴位置情報取得部」2110と、「特徴位置情報記録部」2120と、「表示部」2130と、「外部取込部」2140を有する。また、「特徴位置情報取得部」は「第一算出手段」2111を有する。「表示部」は「順次拡大表示手段」2131を有する。なお、本図の例と異なり、「表示部」が「順次拡大表示手段」に代えて「順次トリミング表示手段」または「同一サイズトリミング表示手段」を有するものであってもよい。このうち、特徴位置情報記録部、表示部の構成は、実施例1などの画像処理装置のこれら各部の構成と共通するので、説明を省略し、ここでは、外部取込部と、特徴位置情報取得部の第一算出手段の構成について説明する。
(外部取込部)
「外部取込部」は、画像データを外部から取り込むように構成されている。取込み元である外部の装置には特に限定はない。例えばパソコン、デジタルカメラなどのハードディスクやICカード、DVD、CD、フラッシュメモリ等のリムーバルな記録媒体から取り込むことが考えられる。
(特徴位置情報取得部:第一算出手段)
「特徴位置情報取得部」の「第一算出手段」は、外部取込部からの取込中データを利用して特徴位置情報を算出するように構成されている。
図22は、外部取込部からの取込中データを利用して特徴位置情報を算出する要領の一例を示す機能図である。本図に示すように、外部装置2201に記録されている画像に関するデジタルデータを外部取込部2240がダウンロード処理により取り込み、これを取込中に順次特徴位置情報取得部2210に送付する。そこで、特徴位置情報取得部(第一算出手段)は、当該取込中データを利用して特徴位置情報を抽出する演算処理を行う。この特徴位置情報の抽出要領は実施例1で説明した要領によって実行可能である。このように抽出された特徴位置情報は、特徴位置情報記録部2220に順次記録するとともに、これを表示部2230に送付して画像処理装置に備えられたディスプレイなどに表示するするようにしてもよい。さらに外部装置の画像蓄積部2202などに送信して画像情報として蓄積させるようにしてもよい。
(ハードウェア構成)
次に、本実施例の画像処理装置のハードウェア構成について説明する。
図23は本実施例の画像処理装置のハードウェア構成の一例を示す概略図である。本実施例の画像処理装置の特徴位置情報取得部、特徴位置情報記録部、表示部の基本的な構成は、実施例1で図5を用いて説明した画像処理装置のハードウェア構成と共通する。また、外部取込部は、「記憶装置(記録媒体)」2301と、「メインメモリ」2302と、「CPU」2303と、「I/O」2304とからなる。各部に係る具体的なハードウェア構成についても、特徴位置情報記録部、表示部に係るハードウェア構成は実施例1などと共通する。そこで、これらについては説明を省略し、ここでは本実施例の画像処理装置の特徴である画像データを外部から取込中に当該取込中データを利用して特徴位置情報を算出するための構成について説明する。なお、本例では特徴位置情報取得プログラムと、特徴位置情報記録プログラムと、表示プログラムのほか、外部取込プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐するとともに、これらのプログラムが以下の処理を実行する。
外部取込プログラムは、パソコン等の外部装置からI/Oを介して当該外部装置に記録されている画像に係るデータを取り込む。
また、特徴位置情報取得プログラムは、外部からの上記データの取込中に、当該データを利用して、特徴位置情報を抽出する。この抽出処理のための構成は、実施例1で説明したとおりである。
また、このようにして抽出された特徴位置情報は、I/Oを介して外部装置に送信して当該外部装置に画像情報として蓄積するようにしてもよい。
<処理の流れ>
図24は、本実施例の画像処理装置における処理の流れの一例を示す図である。
まず、画像処理装置は、画像データを外部から取込中であるか否かを判断し(ステップS2401)、取込中であると判断した場合には、当該取込中データを利用して特徴位置情報を算出し(ステップS2402)、算出した特徴位置情報を取得する(ステップS2403)。その余の処理の流れは実施例1などで説明したところと同様であるので説明を省略する。一方、上記判断ステップS2401にて外部取込中でないと判断された場合は、画像処理装置は直ちに処理を終了する。
<効果>
本実施例の発明により、外部からの画像取り込みに際して特徴部分の抽出も並行的に行うことにより、画像を取り込んだ後に直ちに特徴部分を中心とした拡大・トリミングを行うことができるようになる。
<概要>
本実施例の画像処理装置は、実施例1から4のいずれか一の画像処理装置と基本的に共通する。ただし、本実施例の画像処理装置は、画像データからサムネイル画像を生成する手段と、サムネイル生成中データを利用して特徴位置情報を算出する手段を有する点に特徴がある。サムネイル画像は画像が小さいため、画像全体のサムネイル画像としたのでは画像の特徴が分かりにくいことが多い。そこで、画像の特徴部分を抽出して拡大などを行ったものをサムネイル画像をすることで、画像の特徴をわかりやすく表示できるとともに、これの特徴部分の抽出をサムネイル画像の生成中に行うことで、多くのサムネイル画像についてかかる表示を短時間に行うことができるようになる。
<構成>
(全般)
図25は、本実施例の画像処理装置の機能ブロックの一例を示す。本実施例の画像処理装置の構成は基本的に実施例1から4のいずれか一の画像処理装置と共通する。ただし、本実施例の「画像処理装置」2500は、「サムネイル画像生成部」2550を有する。また、「特徴位置情報取得部」2510は、「第二算出手段」2511を有する。このうち、特徴位置情報記録部、表示部の構成は、実施例1などの画像処理装置のこれら各部の構成と共通するので、説明を省略し、ここでは、サムネイル画像生成部と、特徴位置情報取得部の第二算出手段の構成について説明する。
(サムネイル画像生成部)
「サムネイル画像生成部」は、画像データからサムネイル画像を生成するように構成されている。サムネイル画像の生成は、公知技術を利用して行う。ただし、次に述べるように、本実施例の画像処理装置の特徴位置情報取得部(第二算出手段)は、サムネイル生成中のデータを利用して特徴位置情報を算出するように構成されるので、サムネイル画像生成部は、生成中のデータを逐次特徴位置情報取得部に送付するように構成される。
(特徴位置情報取得部:第二算出手段)
「特徴位置情報取得部」の「第二算出手段」は、サムネイル画像生成部でのサムネイル生成中データを利用して特徴位置情報を算出するように構成されている。
図26は、本実施例の画像処理装置の概要を示す概念図である。本図では、サムネイル画像生成部2650でサムネイル画像を生成中であり、現在20枚目のサムネイル画像が生成中であるとする。この場合、生成中のサムネイル画像は、併行して特徴位置情報を抽出するために特徴位置情報取得部に転送される。本図でも、当該サムネイル画像生成中の20枚目の生成中データが転送中である。そして、転送中にこれと併行して特徴位置情報の抽出のための演算が行われる。本図でも、転送中の20枚目のサムネイル画像を利用して特徴位置情報を抽出するための演算中である。演算の結果得られた特徴位置情報はその都度記録される。本図では、既に19枚目までのサムネイル画像を利用した特徴位置情報が記録され、次に20枚目のサムネイル画像を利用した特徴位置情報が記録される状態であることが示されている。なお、このようにして記録された特徴位置情報は、記録の都度これをディスプレイなどに表示するようにしてもよい。
(ハードウェア構成)
次に、本実施例の画像処理装置のハードウェア構成について説明する。
図27は本実施例の画像処理装置のハードウェア構成の一例を示す概略図である。本実施例の画像処理装置の特徴位置情報取得部、特徴位置情報記録部、表示部の基本的な構成は、実施例1で図5を用いて説明した画像処理装置のハードウェア構成と共通する。また、サムネイル画像生成部は、「記憶装置(記録媒体)」2701と、「メインメモリ」2702と、「CPU」2703と、「I/O」2704とからなる。各部に係る具体的なハードウェア構成についても、特徴位置情報記録部、表示部に係るハードウェア構成は実施例1などと共通する。そこで、これらについては説明を省略し、ここでは本実施例の画像処理装置の特徴であるサムネイル画像を生成中にに当該生成中データを利用して特徴位置情報を算出するための構成について説明する。なお、本例では特徴位置情報取得プログラムと、特徴位置情報記録プログラムと、表示プログラムのほか、サムネイル画像生成プログラムが記憶装置に記憶されており、これらのプログラムは例えば電源投入とともに自動的に記憶装置から読み出されてメインメモリに常駐するとともに、これらのプログラムが以下の処理を実行する。
サムネイル画像生成プログラムは、例えばパソコン等の外部装置に記録されている画像データをI/Oを介して取り込み、当該データを利用してサムネイル画像を生成する。
また、特徴位置情報取得プログラムは、サムネイル画像生成中に、当該生成中データを利用して、特徴位置情報を抽出する。この抽出処理のための構成は、実施例1で説明したとおりである。
<処理の流れ>
図28は、本実施例の画像処理装置における処理の流れの一例を示す図である。
まず、画像処理装置は、サムネイル画像を生成中であるか否かを判断し(ステップS2801)、生成中であると判断した場合には、当該生成中データを利用して特徴位置情報を算出し(ステップS2802)、算出した特徴位置情報を取得する(ステップS2803)。その余の処理の流れは実施例1などで説明したところと同様であるので説明を省略する。一方、上記判断ステップS2801にて外部取込中でないと判断された場合は、画像処理装置は直ちに処理を終了する。
<効果>
本実施例の発明により、画像の特徴をわかりやすくサムネイル表示できるとともに、これの特徴部分の抽出をサムネイル画像の生成中に行うことで、多くのサムネイル画像についてかかる表示を短時間に行うことができるようになる。
実施例1の画像処理装置の概要を示すための概念図 実施例1の画像処理装置の機能ブロックの一例を示す図 特徴位置情報の一例を示す図 特徴位置情報の抽出要領の一例を示す図 実施例1の画像処理装置のハードウェア構成の一例を示す概略図 実施例1の画像処理装置における処理の流れの一例を示す図 実施例1の画像処理装置における詳細な処理の流れの一例を示す図 実施例2のの機能ブロックの一例を示す図 特徴位置情報の一例を示す図 特徴位置情報が示す位置を中心にトリミング処理を行うための演算プログラムの一例を示す図 特徴位置情報が示す位置を中心としたトリミングのための演算プログラムの一例を示す図 実施例2の画像処理装置のハードウェア構成の一例を示す概略図 実施例2の画像処理装置における処理の流れの一例を示す図 実施例2の画像処理装置における詳細な処理の流れの一例を示す図 実施例3の画像処理装置の機能ブロックの一例を示す図 有意情報の概念について説明するための図 同一もしくは類似のサイズとなるような一定の画角比でのトリミング等の内容の一例を示す図 実施例3の画像処理装置のハードウェア構成の一例を示す概略図 実施例3の画像処理装置における処理の流れの一例を示す図 実施例4の画像処理装置における詳細な処理の流れの一例を示す図 実施例4の画像処理装置の機能ブロックの一例を示す図 外部取込部からの取込中データを利用して特徴位置情報を算出する要領の一例を示す機能図 実施例4の画像処理装置のハードウェア構成の一例を示す概略図 実施例4の画像処理装置における処理の流れの一例を示す図 実施例5の画像処理装置の機能ブロックの一例を示す図 実施例5の画像処理装置の概要を示す概念図 実施例5の画像処理装置のハードウェア構成の一例を示す概略図 実施例5の画像処理装置における処理の流れの一例を示す図
符号の説明
0100 画像
0101〜0108 特徴部分を含む領域
0200 画像処理装置
0210 特徴位置情報取得部
0220 特徴位置情報記録部
0230 表示部
0231 順次拡大表示手段
0832 順次トリミング表示手段
1533 同一サイズトリミング表示手段

Claims (8)

  1. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、
    記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、
    表示部は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する順次拡大表示手段を有することを特徴とする画像処理装置。
  2. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、
    記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、
    表示部は、表示する画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示する順次トリミング表示手段を有することを特徴とする画像処理装置。
  3. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得部と、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録部と、
    記録した画像情報に基づいて画像を表示する表示部とを有する画像処理装置であって、
    表示部は、表示する画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示する同一サイズトリミング表示手段を有することを特徴とする画像処理装置。
  4. 画像データを外部から取り込む外部取込部を有し、
    前記特徴位置情報取得部は外部取込部からの取込中データを利用して特徴位置情報を算出する第一算出手段を有する請求項1から3のいずれか一に記載の画像処理装置。
  5. 画像データからサムネイル画像を生成するサムネイル画像生成部を有し、
    前記特徴位置情報取得部はサムネイル画像生成部でのサムネイル生成中データを利用して特徴位置情報を算出する第二算出手段を有する請求項1から4のいずれか一に記載の画像処理装置。
  6. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、
    記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、
    表示ステップは、表示した画像を、表示した画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心に拡大して表示する順次拡大表示サブステップを有することを特徴とする画像処理方法。
  7. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、
    記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、
    表示ステップは、表示した画像のうち一の画像に係る画像情報に関連付けられた特徴位置情報が複数ある場合に、所定の時間間隔で順次それぞれの特徴位置情報が示す位置を中心にトリミングして表示する順次トリミング表示手段を有することを特徴とする画像処理方法。
  8. 画像の特徴部分の画像内における位置を示す情報である特徴位置情報を取得する特徴位置情報取得ステップと、
    取得した特徴位置情報を画像情報と関連付けて記録する特徴位置情報記録ステップと、
    記録した画像情報に基づいて画像を表示する表示ステップとを有する画像処理方法であって、
    表示ステップは、表示した画像が複数のサイズの異なる画像である場合に、各画像に係る画像情報に関連付けられた特徴位置情報が示す位置に含まれる有意情報が同一もしくは類似のサイズとなるように一定の画角比でトリミング又はこれに加え拡大もしくは縮小して表示する同一サイズトリミング表示サブステップを有することを特徴とする画像処理方法。
JP2008015544A 2008-01-25 2008-01-25 画像処理装置及び画像処理方法 Pending JP2009176164A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008015544A JP2009176164A (ja) 2008-01-25 2008-01-25 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008015544A JP2009176164A (ja) 2008-01-25 2008-01-25 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2009176164A true JP2009176164A (ja) 2009-08-06

Family

ID=41031155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015544A Pending JP2009176164A (ja) 2008-01-25 2008-01-25 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP2009176164A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899831A (zh) * 2015-06-09 2015-09-09 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统
JP2020150364A (ja) * 2019-03-12 2020-09-17 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269563A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2006293782A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007041866A (ja) * 2005-08-03 2007-02-15 Canon Inc 情報処理装置及び情報処理方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269563A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 画像処理装置及び画像再生装置
JP2006293782A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007041866A (ja) * 2005-08-03 2007-02-15 Canon Inc 情報処理装置及び情報処理方法並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899831A (zh) * 2015-06-09 2015-09-09 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统
CN104899831B (zh) * 2015-06-09 2019-05-24 天津航天中为数据系统科技有限公司 一种无人机影像数据实时处理方法及系统
JP2020150364A (ja) * 2019-03-12 2020-09-17 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム
JP7310178B2 (ja) 2019-03-12 2023-07-19 富士フイルムビジネスイノベーション株式会社 情報処理システム、情報処理装置およびプログラム

Similar Documents

Publication Publication Date Title
CN108985241B (zh) 图像处理方法、装置、计算机设备及存储介质
JP4782105B2 (ja) 画像処理装置及び画像処理方法
JP4881034B2 (ja) 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
EP3065079A1 (en) Terminal and method for managing video file
JP2006079220A (ja) 画像検索装置および方法
JP2009169768A (ja) 情報処理装置及びプログラム
JP2007164453A5 (ja)
US10885689B2 (en) System and method for augmented reality overlay
JP5739623B2 (ja) 編集装置、およびプログラム
US20170186207A1 (en) Information processing method and terminal, and computer storage medium
JP2006303707A (ja) 画像処理装置及び画像処理方法
JP2003150617A (ja) 画像処理装置およびプログラム
JP2009176164A (ja) 画像処理装置及び画像処理方法
JP2009031937A (ja) 帳票画像処理装置及び帳票画像処理プログラム
JP6558339B2 (ja) 画像処理装置及び画像処理プログラム
EP3379430A1 (en) Mobile device, operating method of mobile device, and non-transitory computer readable storage medium
JP7310178B2 (ja) 情報処理システム、情報処理装置およびプログラム
JP6194781B2 (ja) 画像処理装置及びプログラム
JP6168872B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20120087232A (ko) 증강 현실 기반의 콘텐츠 표현 시스템 및 그 방법
JP6481204B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP6795770B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP2007226315A (ja) 画像ブラウザシステム
US20130104014A1 (en) Viewer unit, server unit, display control method, digital comic editing method and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120131