JP2010067186A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2010067186A
JP2010067186A JP2008235198A JP2008235198A JP2010067186A JP 2010067186 A JP2010067186 A JP 2010067186A JP 2008235198 A JP2008235198 A JP 2008235198A JP 2008235198 A JP2008235198 A JP 2008235198A JP 2010067186 A JP2010067186 A JP 2010067186A
Authority
JP
Japan
Prior art keywords
image
images
user
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008235198A
Other languages
English (en)
Other versions
JP5300387B2 (ja
JP2010067186A5 (ja
Inventor
Manabu Yamazoe
学 山添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008235198A priority Critical patent/JP5300387B2/ja
Priority to US12/549,972 priority patent/US8417068B2/en
Publication of JP2010067186A publication Critical patent/JP2010067186A/ja
Publication of JP2010067186A5 publication Critical patent/JP2010067186A5/ja
Application granted granted Critical
Publication of JP5300387B2 publication Critical patent/JP5300387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/418External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4184External card to be used in combination with the client device, e.g. for conditional access providing storage capabilities, e.g. memory stick
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像群から複数の画像を自動抽出する際に、ユーザーにとっての満足度が高い画像を優先的に抽出する画像処理装置を提供する。
【解決手段】ユーザーは、画像群の中から抽出する画像枚数を指定する。画像群は、ユーザー満足度が高い第1の画像群と、ユーザー満足度が低い第2の画像群に分類される。第1の画像群から抽出した画像の枚数が指定枚数に達しない場合に、第2の画像群の中から、ユーザーが許容可能な不満足要因のみを有する画像を追加抽出する。
【選択図】図5

Description

本発明は、複数の画像を集めてアルバム作成やインデックス印刷を行う際に、当該複数の画像の中からユーザー満足度が高い画像を必要枚数抽出する画像処理装置に関する。
デジタルスチルカメラの普及と記録媒体の大容量化によって、大量の写真を手軽に撮影し、それらを画像として記録媒体に保存できるようになった。これによって、一般のユーザーであっても、保存された画像を加工し、画像のレイアウトを調整することができ、アルバムやインデックス印刷などの複葉印刷等の高度なレイアウト印刷を行うことができる。一方、このような高度なレイアウト印刷を実現可能とするために様々な手法が提案されている。例えば、特許文献1には、所定のレイアウトに対して、ユーザーが抽出した画像の枚数がレイアウト可能な画像の枚数に達しなかった場合に、最後に抽出された画像に続く画像を自動抽出し、画像が未配置の領域に配置する方法が提案されている。また、特許文献2には、ユーザーが抽出した画像の枚数がアルバム作成に必要な枚数に達しなかった場合、入力された複数の画像の情報を解析し、解析結果に基づいて、追加抽出する画像を画像データベースから取得するアルバム作成システムが提案されている。
特開平11−232007号公報 特開2007−249434号公報
しかしながら、特許文献1記載の方法では、ユーザーが抽出した良質画像(ユーザにとって満足のいく画像)の枚数がレイアウト可能な画像の枚数に達しなかった場合に、良質画像が引き続いて抽出されるとは限らない。すなわち、ユーザーにとって明らかに満足のいかない画像(失敗画像)が自動的に抽出される場合がある。ここで、「失敗画像」とは、露出不足、色バランス、ぶれ・ぼけ、構図不良等の「不満足要因」を少なくとも1つ含む画像とする。また、特許文献2のアルバム作成システムにおいても、画像データベースの中に、失敗画像が数多く含まれている場合には、明らかな失敗画像が追加画像として抽出されるおそれがある。
そこで、本発明は、ユーザーが抽出した良質画像の枚数が、ユーザーが指定した枚数(以下、「ユーザー指定枚数」と称す。)に達しなかった場合に、失敗画像であっても、失敗の内容・程度が軽微な画像を選択されるようにすることによって、良質な画像又は比較的良質な画像を抽出する画像処理装置を提供することを目的とする。
本発明の画像処理装置は、複数の画像からなる画像群を、ユーザー満足度が設定基準よりも高い第1の画像群と、ユーザー満足度が当該設定基準よりも低い第2の画像群とに分類する手段と、第1の画像群に含まれる画像の枚数が指定枚数に達しない場合、当該指定枚数に達するまで、第2の画像群の中からユーザー満足度が高い画像を抽出する手段とを備えることを特徴とする。
本発明の画像処理方法は、複数の画像からなる画像群を、ユーザー満足度が設定基準よりも高い第1の画像群と、ユーザー満足度が当該設定基準よりも低い第2の画像群とに分類するステップと、第1の画像群に含まれる画像の枚数が指定枚数に達しない場合、当該指定枚数に達するまで、第2の画像群の中からユーザー満足度が高い画像を抽出するステップとを含むことを特徴とする。
本発明のコンピューター読み取り可能な記録媒体は、コンピューターに、上記方法を実行させるためのプログラムを記録することを特徴とする。
本発明のプログラムは、コンピューターに、上記方法を実行させることを特徴とする。
本発明では、画像群をユーザー満足度が比較的高い画像と比較的低い画像に分類する。次いで、ユーザー満足度が比較的高い画像の抽出枚数がユーザー指定枚数に達していない場合、ユーザー満足度が比較的低い画像の中から不満足要因の内容・程度が軽微な画像を抽出する。すなわち、不満足要因の程度がユーザーにとって許容可能と判断できる画像を追加抽出する。したがって、本発明によれば、ユーザー満足度が明らかに低い画像は抽出されず、ユーザー満足度が比較的高い画像だけを抽出することができる。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
図1は、本発明を適用可能な画像抽出システムの一例を示す図である。
画像抽出システム100は、例えば、メモリカード101、カードリーダ102、パーソナルコンピューター103、プリンタ104、ルータ105、インターネット106、画像データベース107を含む。
メモリカード101は、デジタルスチルカメラ等で用いられる記録媒体(フラッシュメモリ・カード等)である。
カードリーダ102は、メモリカード101に記録されている画像データを読み取り、パーソナルコンピューター103に送る。
パーソナルコンピューター103は、カードリーダ102から受け取った画像データに対して画像抽出処理等の画像処理を実行すると共に画像データをハードディスク(図示せず)等の記録媒体に保存する。パーソナルコンピューター103には、画像抽出機能を有するアプリケーション・ソフトウェアがインストールされている。また、パーソナルコンピューター103は、ルータ105やインターネット106を介して、リモートの画像データベース(画像DB)107に画像データを保存することができる。画像抽出処理を、パーソナルコンピューター以外の装置が実行する構成にしてもよい。以後の説明では、パーソナルコンピューター103のことを画像処理装置103と称する。
プリンタ104は、画像処理装置103が抽出した画像を利用して、アルバムブックの印刷やインデックス印刷を実行する。
図2は、画像処理装置103内部のハードウェア構成と、周辺機器とを示すブロック図である。
画像処理装置103は、CPU201、バス202、ROM203、RAM204、HDD等の2次記憶装置205、表示制御部206、表示装置207、I/O制御部208を備える。図において、入力装置209と出力装置210は、周辺機器として画像処理装置103に接続されている。
2次記憶装置205は、画像データやOSやアプリケーションソフト等を格納する。OSは、本実施形態に係わる画像処理プログラムが利用可能な基本的な機能や、アプリケーションの管理、基本GUI(Graphical User Interface)を提供する。アプリケーションは、OSが提供するGUIを利用することで、アプリケーション独自の機能を実現するUIを提供する。
表示制御部206は、ユーザー操作を受けて、表示装置207にGUI画面を表示するための制御を行う。表示装置207は、液晶ディスプレイやCRTディスプレイ等である。
I/O制御部208は、入力装置209と出力装置210との間のデータの入出力を制御する入出力インタフェースであり、例えば、USB(Universal Serial Bus)やPS/2(Personal System/2)である。
入力装置209は、キーボード、マウス等の入力用機器の他、デジタルカメラ、USBメモリ、CF(Compact Flash)メモリ、SD(Secure Digital)メモリカード等の記録媒体である。画像処理装置103は、入力装置209から画像データを読み出し、それに対して後述する画像抽出処理等を行う。
出力装置210は、画像処理後の画像データを印刷するプリンタである。
図4は、レイアウトテンプレートの一例を示す図である。
本テンプレートは、一枚のページの中に、複数の画像401が配置され、所定領域にタイトル402が配置する構成である。本レイアウトテンプレートを利用すると、例えば子供の運動会の様子が撮られた大量の写真群(画像群)をスクラップブックのように一枚のページ内に配置することができる。
図4に示すテンプレートの場合、配置する画像の枚数が多く、かつ、1枚のページに配置できる画像の枚数が予め決められている。そのため、ユーザーは、1枚のページに配置する多数の画像を取捨選択しなければならないが、ユーザーにとっては、大量の画像群の中から所定数かつ多数の採用画像を抽出すること面倒である。例えば、ユーザーが自分の主観にのみに頼って画像を抽出していくと、同じ時間帯に撮影された画像が数多く抽出され、その結果、抽出された画像に含まれる被写体に偏りが生じる場合がある。また、ユーザーにとって満足のいく画像だけを所定数抽出するには試行錯誤をする必要があり時間がかかる。そこで、本実施形態に係る画像処理装置103は、以下に述べる処理を行うことにより、ユーザーにとって満足度が比較的高い画像だけを抽出すると共に、抽出作業に伴うユーザーの負担を軽減する。
図3は、画像処理装置103の機能を説明するための機能ブロック図である。
画像処理装置103は、画像入力部300、画像評価部310、画像抽出部320、必要枚数判定部330、不満足要因選択部340、画像追加抽出部350を備える。
画像入力部300は、抽出対象となる画像群を入力装置209から受け取る。
画像評価部310は、ユーザーの指示にしたがい、個々の画像に対する総合満足度、不満足項目の有無等のユーザー満足度の評価を設定する。
画像抽出部320は、画像評価部310により設定された評価に基づき、ユーザー満足度が設定基準よりも高い第1の画像群と、ユーザー満足度が設定基準よりも低い第2の画像群とに分類し、ユーザー満足度が設定基準よりも高い画像を採用画像として抽出する。これについては後述する。
必要枚数判定部330は、画像抽出部320によって抽出された採用画像の枚数がユーザー指定枚数に達しているかを判定する。画像抽出部320により抽出された採用画像の枚数がユーザー指定枚数に達している場合には、画像抽出処理は完了するが、ユーザー指定枚数に達していない場合には、引き続いて採用画像を抽出するために、不満足要因選択部340の処理に移行する。
不満足要因選択部340は、ユーザーの指示を受けて、ユーザーが許容可能な不満足要因を選択する。不満足要因としては、露出不足、色バランス、ぶれ・ぼけ、構図不良等がある。
画像追加抽出部350は、不満足要因選択部340による選択結果に基づき、画像抽出部320により抽出されなかった画像(ユーザ満足度が比較的低い画像)の中からユーザーが許容可能な不満足要因のみを有する画像を追加画像として抽出する。
次に、本実施形態に係る画像抽出処理の流れを説明する。
図5は、画像処理装置103による上記一連の処理の流れを示すフローチャートである。
S501において、画像入力部300は、画像群を入力装置209から受け取る。
S502において、画像評価部310は、ユーザーの指示にしたがい、個々の画像に対する総合満足度、不満足項目の有無等のユーザー満足度の評価を設定する。以下に、S502の処理の詳細を説明する。
図6は、S502での処理に係わるユーザーインターフェース(UI)画面の一例を示す図である。
画像評価部310は、S501で入力された画像群を順次、UI画面に表示して、画像に対するユーザー満足度を、UI画面を介したユーザーによる指定・設定にしたがって、画像毎に判定してその結果を記憶する。
UI画面は、画像表示領域601と、サムネイル表示領域602と、画像に対する評価を設定するためのスライドバー603やチェックボックス604を含む。
まず、画像評価部310は、入力した画像群の中から一枚の画像を画像表示領域601に表示する。また、画像評価部310は、サムネイル表示領域602に、サムネイルを表示する。サムネイルとは、多数の画像を一覧表示するために縮小された画像のことである。ユーザーはサムネイルを見ることによって、画像群の全体のつながりや連写シーンなどの前後関係を容易に確認することができる。画像評価部310は、画像表示領域601に表示されている画像が画像群の中のどれかを示すために、例えば、サムネイルの枠の色を変更し、又は、サムネイルにマークを付加する構成にしてもよい。
ユーザーは、個々の画像に対して評価を行う。まず、ユーザーは、自己の主観に基づいて、画像表示領域601に表示された画像の総合満足度をスライドバー603によって設定する。ここで、ユーザーが総合満足度を100%と設定した場合には、その画像には不満足要因がないと考えられる。逆に、ユーザーが総合満足度を100%未満に設定した場合には、その画像には何らかの不満足要因があると考えられる。その場合、ユーザーは、画像のどの点に不満があるかを設定するために、不満足項目のチェックボックス604にチェックマークを付ける。例えば、逆光で撮影したため被写体が露出不足の画像であれば、ユーザーは、「露出不足(逆光)」にチェックマークを付ける。一枚の画像に不満足要因は複数あることもあり得るため、複数個の不満足要因に対して同時にチェックマークが付けることができることが望ましい。
ユーザーは1つの画像に対する評価を終了すると、次ボタン605を押して、次の画像の評価を行う。各画像に対する評価結果は、当該画像と関連付けられて、例えば2次記憶装置206に記憶される。
また、不満足要因ごとに不満足度の程度をスライドバーで設定可能な構成にしてもよい(図示せず)。例えば、ぶれている画像に対しては、ぶれの程度をスライドバーで設定可能な構成にしてもよい。このような構成にすれば、例えば、画像の不満足要因がぶれだけであって、かつ、そのぶれの程度が小さい場合には、画像の印刷サイズによっては、後の処理で採用可能と判断される場合がある。
上述の例は、ユーザーが画像の評価を手動で設定する構成であるが、画像判定部310が自動で画像の評価を行う構成にしてもよい。例えば、画像内の被写体のヒストグラムを解析することによって露出の良否を判定する構成にしてもよい。また、画像のハイライト点を解析することにより色バランスを推定する構成にしてもよい。さらに、評価結果は、ローカルもしくはサーバーの画像DBで管理される画像と関連付けて記憶されるため、単に、同じ画像群から異なる枚数の画像を抽出する場合には、S402の処理を省くこともできる。
S503において、ユーザー指定枚数として、画像の抽出枚数がユーザーにより指定される。
S504において、画像抽出部320は、画像評価部310による評価結果及びユーザー指定枚数に基づいて、画像群の中から採用画像を抽出する。以下に、S504での処理の詳細を説明する。
画像抽出部320は、総合満足度が100%の画像だけでユーザー指定枚数に達していれば、それらの画像を採用画像とする。ところが、通常、素人が撮影した画像群には失敗画像が多く含まれており、総合満足度が100%の評価がされた画像だけでユーザー指定枚数が達しない場合が少なくない。そこで、S504において、画像抽出部320は、ユーザー満足度が高い画像と低い画像とに分類するための設定基準(総合満足度の閾値)を設ける。例えば、総合満足度の閾値を80%に設定し、総合満足度が80%〜100%の評価を受けた画像を抽出する。ここで、S503で指定されたユーザー指定枚数に応じて、総合満足度の閾値が変更可能な構成にしてもよい。すなわち、ユーザー指定枚数が少ない場合には、総合満足度の閾値を高めに設定することにより採用基準を厳しくし、逆に、ユーザー指定枚数が多い場合には、総合満足度の閾値を低めに設定することにより採用基準を甘くする構成にしてもよい。
一方、デジタルスチルカメラで撮影すると画像にタイムスタンプが付加される。したがって、画像抽出部320を、そのタイムスタンプを解析、利用して、撮影時刻に偏りがない画像を抽出する構成にしてもよい。すなわち、タイムスタンプに基づいて撮影時刻の分布を求め、その分布に応じて、画像が自動的に抽出される構成にしてもよい。さらに、S504で抽出される画像の枚数がユーザー指定枚数よりも少なくなる構成にしてもよい。例えば、S604で抽出される画像の枚数がユーザー指定枚数の8割程度に収め、残りの2割をユーザーが手動で抽出できる構成にしてもよい。その理由は、大量の画像群から一枚一枚、画像を取捨選択する作業はユーザーの負担は大きいが、指定枚数の8割程度の抽出が終わっていれば残りの2割の取捨選択作業はユーザーにとって楽しいものになり得るからである。
S505において、必要枚数判定部330は、S504で抽出された採用画像の枚数が、ユーザー指定枚数に達しているか否かを判定する。その結果、S504で抽出された採用画像の枚数がユーザー指定枚数に達している場合には抽出処理を終了し、達していない場合にはS506の処理に移行し、不満足要因がユーザーにより選択される。引き続いて、S507において、画像追加抽出部350は、採用画像がユーザー指定枚数に達するまで画像を追加抽出する処理を行う。すなわち、前述した通り、ユーザー満足度が比較的低い画像の中から不満足要因の内容・程度が軽微な画像(不満足要因の程度がユーザーにとって許容可能と判断できる画像)を追加抽出する。
次に、ユーザーインターフェース(UI)の観点からS504〜S507の処理の詳細を説明する。
図7は、S504〜S507において、表示装置207に表示されるユーザーインターフェース画面の一例を示す図である。
S504において、画像抽出部320は、ユーザー指定枚数と、抽出した画像の枚数を領域701に表示する。本図においては、領域701には、ユーザー指定枚数が76枚であり、S504で抽出された画像の枚数が57枚であることが表示されている。次に、画像抽出部320は、抽出した画像のサムネイルを抽出画像表示領域702に表示する。サムネイルを、画像の向きに応じて、縦向き又は横向きに表示する構成にしてもよい。また、ユーザーがより詳細に画像群を確認・比較できるようにするために、ユーザーがマウスでサムネイルをクリックすると当該サムネイルの拡大画像を別ウィンドウに表示する構成にしてもよい。
S505において、必要枚数判定部330は、現在の抽出枚数がユーザー指定枚数に達しているか否かを判定する。達していない場合、不満足要因選択部340は、コンボボックス704に不満足要因を表示する。ここで、コンボボックスとは、操作画面で、項目の入力や選択に使われる機能であり、文字入力のための矩形領域(テキストボックス)と項目選択リスト(リストボックス)を組み合わせたものである。テキストボックスに直接文字を入力することができるほかに、テキストボックスの右端のボタンを押すと選択可能な項目の一覧が表示され、その中からひとつを選ぶことができる。
S506においてユーザーがコンボボックスを介して、不満足要因(露出不足、色バランス、ぶれ・ぼけ、構図不良等)の中から許容可能な不満足要因を選択する。これを受けて、画像追加抽出部340は、コンボボックス704の下の領域に、選択された不満足要因を有する画像として分類された画像のサムネイルを一覧表示する。本画面には、「ぶれ・ぼけ」を有する画像として分類された画像のサムネイルが表示されている。
ユーザーが表示された複数のサムネイルの中からサムネイル705を選択してボタン706をクリックすると、S507において、画像追加抽出部350は、サムネイル705を抽出画像表示領域702に追加表示する。すなわち、サムネイル705に対応する画像が採用画像として新たに加わる。このとき、サムネイル705のタイムスタンプの前後のタイムスタンプを有するサムネイル群をユーザーに提示する構成にしてもよい。例えば、これらのサムネイル群の背景色を変え、又は、これらのサムネイル群にマークを付加することによって、サムネイル705と関連するサムネイルをユーザーは提示する構成にしてもよい。
抽出画像表示領域702内のサムネイルの中に、採用画像として決定することを保留したいものがあれば、一時保管領域707に当該サムネイルを一時的に移動可能にしてもよい。これとは逆に、一時保管領域709内のサムネイルを抽出画像表示領域702内に移動可能にしてもよい。尚、このような移動が行われると、その都度、領域701には新しい枚数情報が表示される。
ユーザーが選択した不満足要因704を有する画像として分類されたサムネイルから採用画像のサムネイルを新たに抽出しても、採用画像の枚数がユーザー指定枚数に達しない場合がある。その場合、ユーザーは、別の許容可能な不満足要因(例えば、露出不足)を新たに選択して、上記処理を再び行い、採用画像の枚数を増やす。そして、採用画像の枚数がユーザー指定枚数に達すると、採用された画像群がユーザー指定のフォルダにコピーされ、一連の処理が終了する。
この他に、例えば、露出不足を有する画像として分類された画像群に対して画像補正を行える機能をユーザーに提供する構成にしてもよい。例えば、拡大表示用のウィンドウ上でユーザーが当該画像の補正を行い、補正の効果を確認できるような構成にしてもよい。これによって、ユーザーは補正の効果を確認しながら画像を抽出するか否かを決定することができる。
また、構図不良を有する画像として分類された画像群に対してトリミングを行える機能をユーザーに提供する構成にしてもよい。トリミングとは、画像の一部を切り出し、構図を変更することである。ただし、トリミングは、印刷レイアウトに依存するため、インデックス印刷のように個々の画像が小さい場合には、画像サイズをかなり小さくトリミングしても問題ないが、印刷サイズが大きい場合には、極端に画像サイズを小さくすることは好ましくない。
上述の実施形態では、不満足要因が予め設定されているが、ユーザーが不満足要因を必要に応じて追加し又は削除できる構成にしてもよい。
上述の実施形態では、画像抽出システムを主体にした実施形態を示した。この画像抽出システムは、最終的な目的であるアルバムやインデックス印刷を実現するレイアウト作成システムの中に組み込んでもよい。例えば、アプリケーションの起動後に最初に表示される画面で、図8に示すような最終作品のレイアウト(アルバム及びスクラップ)のテンプレートを選択するためのテンプレート選択画面801を提示する構成にしてもよい。ユーザーはテンプレート選択画面801の中から所望のテンプレートを選択する。図8に示されているように、個々のテンプレートにはそれぞれアルバム等の作成に必要な画像の枚数が予め設定されている。尚、画像の枚数については、例えば、70枚〜80枚といったように、ある程度の幅を許容するレイアウトであっても構わない。
レイアウトのテンプレートとしては、種類や、必要な画像枚数が異なるさまざまなタイプが用意される。例えば、図9に示すようなテンプレートのように、必要な画像枚数は一定であるが、異なるサイズの画像を配置可能に構成にしてもよい。ユーザーは、図10に示すUI画面を介して画像の抽出作業をしながら、適宜、レイアウト確認ボタン1001を押下することによって、レイアウトの最終イメージを確認することができる。例えば、トリミングによって構図変更されている画像が、比較的サイズが大きい領域901に配置される場合には、印刷サイズとトリミングされた画素数とに基づいて、配置についての警告を出す構成にしてもよい。
さらに、デジタルスチルカメラなどで連写をした画像(類似画像に分類される画像)をインデックス的に並べると動きが表現されて面白いが、図9に示すように類似画像902の並びが途中で改行さると少しバランスが悪くなる。このため、レイアウト画面において、個々の画像に対して属性を付与する構成にしてもよい。例えば、類似画像であることを示すマーキング902や、類似画像の画像枠の色を同じ色にするなどしてユーザーに類似画像が配置されていることを認識させる構成にしてもよい。このような構成にすると、ユーザーは、レイアウト画面を見て、類似画像が途中で改行されていることに気づくことができる。その場合、ユーザーは、抽出作業を行うUI画面を表示させ、画像群の一部を削除し、又は、一時保管領域に移動することにより、類似画像が改行されずに表示されるように調整することができる。
また、上述の実施形態では、不満足要因704をユーザーに指定させる構成を示したが、その指定がレイアウトに応じて自動化される構成にしてもよい。例えばぶれ・ぼけは、インデックス印刷の場合のように印刷サイズが小さいときには問題にならないこともある。よって、インデックス印刷の場合には、自動的に、ぶれ・ぼけを有する画像に分類された画像が優先的に抽出されるようにすることで、抽出作業の効率化を図ることができる。このとき、ぶれ量を判定し、印刷サイズとぶれ量の相関に基づいて画像を抽出する構成にしてもよい。
<他の実施形態>
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記録媒体に記憶させ、該記録媒体に記憶されたプログラムをコードとして読み出し、コンピューターにおいて実行する処理方法も上述の実施形態の範疇に含まれる。
該記録媒体は、コンピューター読み取り可能な記録媒体である。また、前述のプログラムが記憶された記録媒体はもちろんそのプログラム自体も上述の実施形態に含まれる。
かかる記録媒体としてはたとえばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD―ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。
また前述の記録媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、OS上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲に限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。
画像抽出システムの一例を示す図である。 本発明に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明に係る画像処理装置の機能の一例を示す機能ブロック図である。 本発明におけるレイアウトテンプレートの一例を示す図である。 本発明における画像抽出処理の一例を示すフローチャートである。 本発明における、画像判定時に提供されるユーザーインターフェースの一例を示す図である。 本発明における、画像追加時に提供されるユーザーインターフェースの一例を示す図である。 本発明における、レイアウトの種類の選択時に提供されるユーザーインターフェースの一例を示す図である。 本発明における、レイアウトテンプレートの別の一例を示す図である。 本発明における、画像追加時に提供されるユーザーインターフェースの別の一例を示す図である。
符号の説明
103 画像処理装置
300 画像入力部
310 画像評価部
320 画像抽出部
330 必要枚数判定部
340 不満足要因選択部
350 画像追加抽出部

Claims (11)

  1. 複数の画像からなる画像群を、ユーザー満足度が設定基準よりも高い第1の画像群と、ユーザー満足度が当該設定基準よりも低い第2の画像群とに分類する手段と、
    前記第1の画像群に含まれる画像の枚数が指定枚数に達しない場合、当該指定枚数に達するまで、前記第2の画像群の中から前記ユーザー満足度が高い画像を抽出する手段と
    を備えることを特徴とする画像処理装置。
  2. 前記ユーザー満足度は、露出不足、色バランス、ぶれ・ぼけ、構図不良又は類似画像の少なくとも1つを含む不満足要因の有無に基づいて決定されることを特徴とする請求項1記載の画像処理装置。
  3. 前記抽出する手段は、ユーザーにとって許容可能な不満足要因の指定に基づいて、前記ユーザー満足度が高い画像を抽出することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記不満足要因は、追加又は削除できることを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記設定基準は、前記指定枚数に応じて変更可能であることを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記設定基準は、前記指定枚数が少ない場合には高く設定され、前記指定枚数が多い場合には低く設定されることを特徴とする請求項5記載の画像処理装置。
  7. 前記不満足要因は、画像の印刷サイズに応じて変更されることを特徴とする請求項2〜6のいずれか1項に記載の画像処理装置。
  8. 前記画像の印刷サイズに応じて変更される不満足要因は、ぶれ・ぼけであることを特徴とする請求項7記載の画像処理装置。
  9. 複数の画像からなる画像群を、ユーザー満足度が設定基準よりも高い第1の画像群と、ユーザー満足度が当該設定基準よりも低い第2の画像群とに分類するステップと、
    前記第1の画像群に含まれる画像の枚数が指定枚数に達しない場合、当該指定枚数に達するまで、前記第2の画像群の中から前記ユーザー満足度が高い画像を抽出するステップと
    を含むことを特徴とする画像処理方法。
  10. コンピューターに、請求項9記載の方法を実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。
  11. コンピューターに、請求項9記載の方法を実行させるためのプログラム。
JP2008235198A 2008-09-12 2008-09-12 画像処理装置、画像処理方法、及びプログラム Active JP5300387B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008235198A JP5300387B2 (ja) 2008-09-12 2008-09-12 画像処理装置、画像処理方法、及びプログラム
US12/549,972 US8417068B2 (en) 2008-09-12 2009-08-28 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008235198A JP5300387B2 (ja) 2008-09-12 2008-09-12 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2010067186A true JP2010067186A (ja) 2010-03-25
JP2010067186A5 JP2010067186A5 (ja) 2011-10-27
JP5300387B2 JP5300387B2 (ja) 2013-09-25

Family

ID=42007265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008235198A Active JP5300387B2 (ja) 2008-09-12 2008-09-12 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US8417068B2 (ja)
JP (1) JP5300387B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120414A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、プログラム
JP2013250664A (ja) * 2012-05-30 2013-12-12 Canon Inc 情報処理装置およびその制御方法およびプログラム
JP2015095711A (ja) * 2013-11-11 2015-05-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11200651B2 (en) 2018-09-28 2021-12-14 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014184785A2 (en) * 2013-05-16 2014-11-20 Yandex Europe Ag Method and system for presenting image information to a user of a client device
CN104750697B (zh) * 2013-12-27 2019-01-25 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246868A (ja) * 2003-01-22 2004-09-02 Canon Inc 画像抽出方法及び該方法をコンピュータに実行させるプログラム
JP2007249434A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
JP2007261042A (ja) * 2006-03-28 2007-10-11 Seiko Epson Corp 印刷装置、画像データファイル処理装置、画像データファイルの選択方法、画像データファイルの選択を補助する方法、およびコンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7124359B2 (en) * 1996-01-11 2006-10-17 Canon Kabushiki Kaisha Image edit device adapted to rapidly lay-out photographs into templates with means for preview and correction by user
JPH11232007A (ja) 1998-02-19 1999-08-27 Canon Inc 画像処理装置及び方法並びに記憶媒体
WO2003009216A1 (en) * 2001-07-17 2003-01-30 Yesvideo, Inc. Automatic selection of a visual image based on quality
CN1669052B (zh) * 2002-07-10 2010-05-26 日本电气株式会社 使用三维物体模型的图像匹配系统以及图像匹配方法
JP4578948B2 (ja) * 2003-11-27 2010-11-10 富士フイルム株式会社 画像編集装置および方法並びにプログラム
AU2003290450A1 (en) * 2003-12-17 2005-07-05 Albumservice V.O.F. Photo album printing system and method
JP2006190259A (ja) * 2004-12-06 2006-07-20 Canon Inc 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム
JP2007116658A (ja) * 2005-09-26 2007-05-10 Fujifilm Corp 画像集作成システム、画像集作成方法および画像集作成プログラム
JP4164523B2 (ja) * 2005-09-30 2008-10-15 キヤノン株式会社 画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246868A (ja) * 2003-01-22 2004-09-02 Canon Inc 画像抽出方法及び該方法をコンピュータに実行させるプログラム
JP2007249434A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
JP2007261042A (ja) * 2006-03-28 2007-10-11 Seiko Epson Corp 印刷装置、画像データファイル処理装置、画像データファイルの選択方法、画像データファイルの選択を補助する方法、およびコンピュータプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120414A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、プログラム
JP2013250664A (ja) * 2012-05-30 2013-12-12 Canon Inc 情報処理装置およびその制御方法およびプログラム
JP2015095711A (ja) * 2013-11-11 2015-05-18 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9600916B2 (en) 2013-11-11 2017-03-21 Fujifilm Corporation Image processing apparatus for creating composite images, image processing method, and non-transitory computer readable recording medium
US11200651B2 (en) 2018-09-28 2021-12-14 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program

Also Published As

Publication number Publication date
US8417068B2 (en) 2013-04-09
US20100067787A1 (en) 2010-03-18
JP5300387B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
US7724978B2 (en) Image processing apparatus, image processing method and image processing program
US8639028B2 (en) Automatic stacking based on time proximity and visual similarity
JP5713279B2 (ja) 画像分類装置、電子アルバム作成装置、及び画像分類方法、プログラム
JP4945486B2 (ja) 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
US7327905B2 (en) Apparatus, method, and program for editing images
US10115216B2 (en) Display control apparatus, display control method, and program
US20070077025A1 (en) Apparatus, method and program for image search
JP5288961B2 (ja) 画像処理装置および画像処理方法
JP5300387B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11470209B2 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium for editing an album
US20220262057A1 (en) Storage medium, image processing apparatus, and image processing method
US11915351B2 (en) Image processing apparatus, image processing method, and storage medium
US20220262055A1 (en) Image processing apparatus, image processing method, and storage medium
US20220262054A1 (en) Storage medium, image processing apparatus, and image processing method
US11936821B2 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium with determination as to whether image is already contained in album data for first subject and album data for second subject and specifying image as change target
US20220263952A1 (en) Storage medium, image processing apparatus, and image processing method
US20090244625A1 (en) Image processor
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP2007133838A (ja) 画像表示方法及び画像表示プログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
US11320965B2 (en) Image processing apparatus, control method, and recording medium
JP2007293582A (ja) 画像処理装置、画像処理装置における画像処理条件の設定方法、およびプログラム
EP3467830A1 (en) Information processing method for displaying images, information processing apparatus, and storage medium
JP5009864B2 (ja) 候補画像表示方法および装置ならびにプログラム
JP7451242B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121101

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20130110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130618

R151 Written notification of patent or utility model registration

Ref document number: 5300387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151