JP2014164705A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents
画像処理装置、撮像装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2014164705A JP2014164705A JP2013037769A JP2013037769A JP2014164705A JP 2014164705 A JP2014164705 A JP 2014164705A JP 2013037769 A JP2013037769 A JP 2013037769A JP 2013037769 A JP2013037769 A JP 2013037769A JP 2014164705 A JP2014164705 A JP 2014164705A
- Authority
- JP
- Japan
- Prior art keywords
- text
- image
- information acquisition
- image data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成し得る画像処理装置を提供する。
【解決手段】
画像データに関する情報を取得する情報取得部(43)と、取得した前記情報からテキストを生成するテキスト生成部(50)と、を有する画像処理装置であって、前記情報取得部は、前記画像データに含まれる人物の像における当該人物の年齢を推定して複数のグループに分類する年齢情報取得部(45)を有し、前記テキスト生成部は、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする画像処理装置。
【選択図】図2
【解決手段】
画像データに関する情報を取得する情報取得部(43)と、取得した前記情報からテキストを生成するテキスト生成部(50)と、を有する画像処理装置であって、前記情報取得部は、前記画像データに含まれる人物の像における当該人物の年齢を推定して複数のグループに分類する年齢情報取得部(45)を有し、前記テキスト生成部は、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする画像処理装置。
【選択図】図2
Description
本発明は、画像データからテキストを生成する画像処理装置、撮像装置及び画像処理プログラムに関する。
画像データを解析した解析結果と、画像データに含まれる撮像情報等に基づいて、画像データに対するテキストを作成する技術が提案されている(特許文献1等参照)。また、近年では、複数のバリエーションを有するコメントリストを用意するなどして、ユーザーの感覚と整合性の高いテキストを作成する技術が提案されている。
また、テキスト作成のために有用と考えられる画像データの解析手法としては、例えば顔認識や色情報の抽出等が挙げられる。
笑顔レベルの判定結果からテキストを生成する従来の技術は、同じ笑顔レベルの表情であっても、被写体や撮影状況によって、画像を見た人に与える印象が異なるために、撮影者等の感性に整合しないテキストを生成してしまう場合があり、問題となっている。
そこで本発明の目的は、画像データから、当該画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成し得る画像処理装置を提供することである。
上記目的を達成するために、本発明に係る画像処理装置は、
画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人物の像の年齢を推定して複数のグループに分類する年齢情報取得部を有し、
前記テキスト生成部は、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする。
画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人物の像の年齢を推定して複数のグループに分類する年齢情報取得部を有し、
前記テキスト生成部は、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする。
また、例えば、前記年齢情報取得部によって分類される前記複数のグループには、少なくとも乳幼児を含む第1グループと、前記第1グループより推定された前記年齢が高い第2グループとが含まれても良い。
また、例えば、前記テキスト生成部は、前記年齢情報取得部が少なくとも1の前記人物の像を前記第1グループに分類した場合に前記テキストを生成可能な第1テキスト生成部と、前記年齢情報取得部が少なくとも1の前記人物の像を前記第2グループに分類した場合に前記テキストを生成可能な第2テキスト生成部と、を有しても良い。
また、例えば、前記テキスト生成部は、前記年齢情報取得部が少なくとも1の前記人物の像を前記第1グループに分類し、かつ前記年齢情報取得部が少なくとも1の前記人物の像を前記第2グループに分類した場合には、前記第1テキスト生成部を用いて前記テキストを生成しても良い。
また、例えば、操作者の入力信号に応じて、乳幼児の成長に関連して発生するイベントに関連する語句を、リストから選択できるイベント情報入力部をさらに有しても良く、
前記第1テキスト生成部は、選択された前記語句に関連する前記テキストを生成可能であっても良い。
前記第1テキスト生成部は、選択された前記語句に関連する前記テキストを生成可能であっても良い。
また、例えば、前記情報取得部は、前記画像データに含まれる前記人物の像の性別を推定して女性と男性に分類する性別情報取得部をさらに有しても良く、
前記テキスト生成部は、前記性別情報取得部による分類結果に応じて、生成する前記テキストを変更しても良い。
前記テキスト生成部は、前記性別情報取得部による分類結果に応じて、生成する前記テキストを変更しても良い。
また、例えば、前記テキスト生成部は、
前記画像データに複数の前記人物の像が含まれる場合において、
前記性別情報取得部が全ての前記人物の像を前記女性に分類した場合に前記テキストを生成する第3テキスト生成部と、前記性別情報取得部が一部の前記人物の像を前記女性に分類し他の一部の前記人物の像を前記男性に分類した場合に前記テキストを生成する第4テキスト生成部と、前記性別情報取得部が全ての前記人物の像を前記男性に分類した場合に前記テキストを生成する第5テキスト生成部と、を有しても良い。
前記画像データに複数の前記人物の像が含まれる場合において、
前記性別情報取得部が全ての前記人物の像を前記女性に分類した場合に前記テキストを生成する第3テキスト生成部と、前記性別情報取得部が一部の前記人物の像を前記女性に分類し他の一部の前記人物の像を前記男性に分類した場合に前記テキストを生成する第4テキスト生成部と、前記性別情報取得部が全ての前記人物の像を前記男性に分類した場合に前記テキストを生成する第5テキスト生成部と、を有しても良い。
本発明に係る撮像装置は、上記のうちいずれかの画像処理装置と、被写体を撮像して前記画像データを生成する撮像部と、を有する。
本発明に係る画像処理プログラムは、コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データに含まれる人物の像の年齢を推定して複数のグループに分類することができ、
前記テキスト生成処理では、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更できることを特徴とする。
前記情報取得処理では、前記画像データに含まれる人物の像の年齢を推定して複数のグループに分類することができ、
前記テキスト生成処理では、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更できることを特徴とする。
図1は、本発明の一実施形態に係る撮像装置10の概略ブロック図である。撮像装置10は、撮像部12、カメラ制御部20、操作部22、画像処理部40、表示部26、記憶部28、バッファメモリ部30、通信部32、メモリカード(記憶媒体)34等を有しており、各部分は、バス24を介して相互に通信することができる。
撮像部12は、光学系14、撮像素子16、A/D変換部18等を有しており、画像データを生成する。光学系14は、1又は2以上のレンズを備え、レンズに入射した光の像を、撮像素子16の受光面に形成する。
撮像素子16は、例えばCCDやCMOS等の固体撮像素子によって構成され、光学系14を介して受光面に結像した光学像を、電気信号に変換する。撮像素子16は、生成した電気信号を、A/D変換部18に出力する。A/D変換部18は、撮像素子16によって生成された電気信号に対して、アナログ/デジタル変換等を行い、カメラ制御部20及び画像処理部40等で処理可能な画像データを生成する。
撮像部12による画像データの生成動作は、カメラ制御部20によって制御される。例えば、撮像部12は、カメラ制御部20による制御により、操作部22等を介して撮影信号が入力されたタイミングで撮像素子16による光電変換を行い、いわゆる静止画の画像データを生成することができる。また、撮像部12は、カメラ制御部20による制御により、操作部22等を介して動画撮影開始信号が入力されたタイミングで、連続的な光電変換を行い、いわゆる動画の画像データを生成することができる。
撮像部12で生成された画像データは、カメラ制御部20の制御により、バッファメモリ部30及び画像処理部40を介して、メモリカード34に保存される。なお、撮像部12は、操作部22等からの操作信号が入力されていない状態で、自動的に画像データの生成を行い、いわゆるスルー画の画像データを生成することもできる。この場合、撮像部12で生成されたスルー画の画像データは、カメラ制御部20の制御により、表示部26に表示される。
画像処理部40は、メモリカード34又はバッファメモリ部30に記憶されている画像データに対して、各種の画像処理を実行する。画像処理部40は、撮像部12で生成された静止画、動画、スルー画等について画像処理を行う他、メモリカード34等に保存されている撮像部12以外で生成された画像データについても、画像処理を行うことができる。画像処理部40は、各種補正処理や、データの圧縮及び変換、顔認識や色の抽出などを行うことができるが、画像処理部40の詳細については、後ほど述べる。
表示部26は、液晶ディスプレイ等で構成されており、カメラ制御部20の制御に従って、画像データや、操作メニュー等を表示する。また、表示部は、画像処理部40によるテキスト生成処理によって生成されたテキストを、画像データに重ねて表示することができる。記憶部28には、撮像装置10の制御に用いる撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、入出力制御条件や、テキストの生成に用いる辞書(テキスト集)など、各種の情報が記憶されている。カメラ制御部20や画像処理部40は、必要に応じて、記憶部28に記憶されている情報を読み出し、演算処理に利用することができる。記憶部28は、ROM等によって構成される。
バッファメモリ部30は、カメラ制御部20及び画像処理部40が演算処理を実施する際の作業領域として利用される。例えば、画像処理部40が画像データに対して画像処理を行う場合、処理の対象となる画像データは、記憶媒体から読み出され、バッファメモリ部30に一次的に格納される。バッファメモリ部30は、RAM等によって構成される。
操作部22は、操作者が撮像装置10に対して情報を入力するためのスイッチ等を有している。操作部22は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、選択キー等を備えており、操作者の操作に対応した信号を、カメラ制御部20に出力する。
通信部32は、メモリカード34を取り付けるスロットや、他の情報機器と通信を行うための送受信部等を有しており、撮像装置10は、通信部32を介して、メモリカード34や他の情報機器から情報を取得できる。また、カメラ制御部20は、通信部32を介してメモリカード34に画像データを出力し、メモリカード34に画像データを保存することができる。
メモリカード34は、通信部32を介して着脱自在に接続される記憶媒体であり、撮像部12で生成された画像データ等を記憶することができる。メモリカード34に保存される画像データの形式は特に限定されないが、例えば画像データは、イグジフ(Exif)形式のファイルとして、メモリカード34に保存される。
カメラ制御部20は、撮像装置10が備えている各部分の制御を行う。例えば、カメラ制御部20には、電源部(不図示)が接続されており、カメラ制御部20は、撮像装置10内の各部分に対して適切に電力が供給されるように、制御を行う。カメラ制御部20は、例えばマイクロプロセッサ等によって構成される。なお、カメラ制御部20と画像処理部40の演算処理は、共通のマイクロプロセッサで行われても良く、また別個の電子回路で行われても良い。
図2は、図1に示す画像処理部40に含まれる処理部を、ブロック図で表したものである。画像処理部40は、画像データ入力部41と、イベント情報入力部42と、情報取得部43と、テキスト生成部50と、文章付加部56とを有する。画像処理部40は、図1に示す撮像部12等で生成された画像データについて、各種の解析処理を行うことにより、画像データに関する各種の情報を取得し、取得した情報から画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。
図2に示す画像データ入力部41は、メモリカード34又はバッファメモリ部30に格納されている画像データを読み出し、情報取得部43に出力する。
情報取得部43は、領域情報取得部44、年齢情報取得部45、性別情報取得部46、笑顔情報取得部47及び色情報取得部49を有しており、画像データから情報を取得する。また、情報取得部43は、Exifファイル等の形式で画像データに関連付けて保存されている撮影情報を取得することができる。情報取得部43がExifファイル等から取得可能な撮影情報は、画像データの撮影状況を示すデータであれば特に限定されないが、画像データの生成年月日、生成時間に関する情報や、画像データの生成場所(GPSデータ)、撮影者等に関する情報が含まれる。情報取得部43で取得された画像データに関する情報は、テキスト生成部50に出力され、テキスト生成部50は、その情報をテキストの生成等に利用することができる。
領域情報取得部44は、画像データから特定の領域を抽出し、画像データの領域に関する情報を取得する。例えば、領域情報取得部44は、エッジ抽出やテンプレートマッチング等の技術により、画像データから人物の像が写っている領域を抽出し、画像データに含まれる人物の像の数に関する情報を取得する。また、領域情報取得部44は、人物の像における顔の位置や、人物の像における肌の領域の位置及び広さ等に関する情報を取得しても良い。さらに、領域情報取得部44は、画像データのエッジ情報や色情報から、空が映っている領域と地上又は水上が写っている領域の抽出や、主要被写体領域の抽出を行うことができる。
年齢情報取得部45は、画像データに含まれる人物の像における当該人物の年齢を推定し、各人物の像を年齢に対応する複数のグループに分類する。年齢情報取得部45による年齢の推定方法は特に限定されないが、例えば人物の像における顔の輪郭及び目、鼻、口の配置等の情報や、肌の状態等の情報から、人物の年齢を推定することができる。年齢情報取得部45が分類するグループの数など、具体的な分類方法は特に限定されないが、年齢情報取得部45によって分類される複数のグループには、乳幼児を含む第1グループ(例えば0歳から10歳程度)と、第1グループより推定された年齢が高い第2グループ(例えば11歳以上)とが含まれることが好ましい。第1グループに含まれる乳幼児と第2グループに含まれる大人とでは、同じ笑顔レベル(笑顔情報取得部47の説明を参照)であっても、観察者が画像から受ける印象が異なるからである。
性別情報取得部46は、画像データに含まれる人物の像における当該人物の性別を推定し、女性と男性に分類する。性別情報取得部46による性別の推定方法は特に限定されないが、人物の像における髪型、顔の輪郭、衣服、肌の状態等の情報から人物の性別を推定することができる。性別情報取得部46は、画像データから抽出された全ての人物の像について、性別による分類を実施しても良く、また、年齢情報取得部45によって、乳幼児でない第2グループに分類された人物の像についてのみ、性別による分類を実施しても良い。
笑顔情報取得部47は、画像データに含まれる人物の像における当該人物の笑顔レベルを、顔における口角部分の上がり具合を数値化するなどして画像データから取得することが可能である。例えば、笑顔情報取得部47は、口角部分が大きくあがっている顔を有する人物の像であるほど、笑顔レベルが高いと認定することができる。
色情報取得部49は、画像データの色(色相以外の要素を含む)に関する情報を抽出し、または、抽出した情報を元に更に演算処理を行うことにより、色情報を得ることができる。色情報取得部49による色情報の種別、算出方法等は特に限定されないが、画像データに含まれる各画素のHSV値を集計したものや、集計したHSV値から算出された代表色などが、色情報に含まれる。ただし、色情報取得部49が色情報を算出する際における解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もHSVに限られず、RGB、CMY、CMYK等であっても良い。また、色情報取得部49による代表色の算出方法も特に限定されないが、例えば画像データ若しくはその領域に含まれる画素の平均色を代表色としても良く、また、色別の頻度分布に対してK−means法などの手法を用いてクラスタリングを行うことにより、代表色を算出しても良い。
テキスト生成部50は、情報取得部43やイベント情報入力部42等から送信された情報を用いてテキストを生成し、生成したテキストと画像データとを関連づける。テキスト生成部50は、テキストを生成する際に使用する辞書が互いに異なる第1テキスト生成部51、第2テキスト生成部52、第3テキスト生成部53、第4テキスト生成部54及び第5テキスト生成部55を有している。また、テキスト生成部50は、情報取得部43やイベント情報入力部42等から送信された情報を用いて、第1テキスト生成部51〜第5テキスト生成部55のうちどれを用いてテキストを生成するかを決定する。
第1テキスト生成部51は、年齢情報取得部45が推定年齢に基づき少なくとも1の人物の像を第1グループ(乳幼児)に分類した場合に、テキストを生成可能である。第1テキスト生成部51は、図11に示すような「笑顔」、「肌」、「イベント」、「親子」等の辞書を用いてテキストを生成することができる。すなわち、第1テキスト生成部51は、情報取得部43で取得された情報に基づき、図11に示す辞書から語句を選択し、必要に応じて撮影年月日等の撮影情報と組み合わせることにより、画像データに付加するテキストを生成する。例えば、年齢情報取得部45が1の人物の像を第1グループに分類した場合、当該人物の笑顔レベルが笑顔情報取得部47によって取得され、第1テキスト生成部51は、取得された笑顔レベルに対応するテキストを、図11に示す「笑顔」辞書を用いて生成する。
また、第1テキスト生成部51は、イベント情報入力部42によって選択された語句を使用して、画像データに付加するテキストを生成することもできる。この際、イベント情報入力部42は、図11の「イベント」辞書に示すような語句のリストを表示部26に表示し、操作部22からの操作者の入力信号に応じて語句を選択し、選択された語句に関する情報を第1テキスト生成部51に送信する。イベント情報入力部42が操作者の入力信号に応じて選択する語句は特に限定されないが、乳幼児の成長に関連して発生するイベントに関連する語句であることが好ましい。
第1テキスト生成部51が使用する第1テキスト用辞書(図11)に含まれる語句は特に限定されないが、第2テキスト生成部52が使用する第2テキスト用辞書(図12)とは異なり、乳幼児の表情から受ける印象にマッチする語句を含むことが好ましい。例えば第1テキスト生成部51が使用する「笑顔」辞書では、笑顔レベルが高いときに「にっこりえがお」のテキストを生成するが、同じ笑顔レベルであっても、第1テキスト生成部51が使用する「笑顔」辞書は、「大曝笑」のテキストを生成する。また、乳幼児については大人と異なり、泣き顔や寝顔が撮影されることも多いため、笑顔情報取得部47が目つぶり検出や口の形検出などを複合的に用いて泣き顔や寝顔を識別可能であって、第1テキスト生成部51が用いる辞書には、識別された泣き顔や寝顔にマッチするテキストが用意されていても良い。また、第1テキスト生成部51は、意図的に漢字を使用せず、平仮名や片仮名のみで構成されるテキストを生成しても良い。
さらに、乳幼児については、肌に着目した写真が撮影されることも多いため、領域情報取得部44および年齢情報取得部45によって、乳幼児の肌の領域が画像データ全体に占める割合を抽出し、その割合が所定の閾値より大きい場合には、第1テキスト生成部51は、肌に関連する語句を有する「肌」辞書を用いてテキストを生成することが可能である。
また、さらに、テキスト生成部50は、年齢情報取得部45が少なくとも1の人物の像を第1グループ(乳幼児)に分類し、かつ少なくとも1の人物の像を第2グループ(大人)に分類した場合には、第1テキスト生成部51を用いてテキストを生成することが好ましい。この場合、撮影者は乳幼児に注目している場合が多いからである。また、第1グループ(乳幼児)に含まれる人物の像と、第2グループ(大人)に含まれる人物の像の両方を領域情報取得部44が抽出した場合、第1テキスト生成部51は、親子若しくは祖父母と子を撮った写真であることを表す語句を含む「親子」辞書(図11参照)を用いてテキストを生成してもよい。
第2テキスト生成部52は、年齢情報取得部45が推定年齢に基づき少なくとも1の人物の像を第2グループ(大人)に分類した場合に、テキストを生成可能である。例えば、年齢情報取得部45が1の人物の像を第2グループに分類した場合、当該人物の笑顔レベルが笑顔情報取得部47によって取得され、第2テキスト生成部52は、取得された笑顔レベルに対応するテキストを、図12(A)に示す「笑顔」辞書を用いて生成する。
第3テキスト生成部53は、画像データに複数の人物の像が含まれる場合において、性別情報取得部46が全ての人物の像を女性に分類した場合にテキストを生成することができる。第3テキスト生成部53が用いる「女性」辞書には、図11(B)に示すように、「仲良し」、「楽しい」など、人物関係やポジティブな感情をストレートに表現した語句が含まれることが好ましい。
第4テキスト生成部54は、画像データに複数の人物の像が含まれる場合において、性別情報取得部46が一部の人物の像を女性に分類し他の一部の人物の像を男性に分類した場合にテキストを生成することができる。第4テキスト生成部54が用いる「男女」辞書には、「去年の秋の思い出」、「はいチーズ!」など、人間関係や感情に関しては中立的な(一般的又は普遍的に適合する)語句が含まれることが好ましい。
第5テキスト生成部55は、画像データに複数の人物の像が含まれる場合において、性別情報取得部46が全ての人物の像を男性に分類した場合にテキストを生成することができる。第5テキスト生成部55が用いる「男性」辞書には、図11(D)に示すように、「昨年冬の記念写真」、「〇〇にて」など、撮影日時や撮影場所などの事実に着目した語句が含まれることが好ましい。また、年齢情報取得部45が、Exifデータ等から取得される撮影者の年齢より推定年齢の高い人物の像を認識した場合、第5テキスト生成部55は、「ご一緒させていただきありがとうございます」のように敬語表現を取り入れたテキストを生成しても良い。
文章付加部56は、テキスト生成部50によって生成されたテキストを、画像データに付与する。具体的には、文章付加部56は、テキストのフォント、色、表示位置などを決定し、画像データとテキストを合成した表示内容に関する情報を生成する。文章付加部56は、画像データとテキストを合成した新たな画像データを生成してもよく、合成画像を表示する際に画像データに追加される表示情報及び画像データとの関連付け情報を含むファイルを生成しても良い。文章付加部56は、必要に応じて、画像データとテキストを合成した表示内容を表示部26に表示させても良く、生成した新たな画像データ及び情報ファイルを、メモリカード34に記憶させても良い。
以下に、画像処理部40において行われる処理の具体例を説明するが、本発明はこれに限定されない。
図3は、図2に示す画像処理部40において行われるテキスト生成処理の全体像を表すフローチャートである。図3におけるステップS001では、操作部22等を介して操作者の入力信号を検知したカメラ制御部20等が、画像処理部40に対して、テキスト生成処理に関する画像処理の開始を指示する(図1参照)。
ステップS002では、図2に示す画像データ入力部41が、操作部22及び表示部26の表示内容を介して取得した操作者の選択内容に従い、メモリカード34に格納されている画像データを読み出し、情報取得部43に出力する。
ステップS003では、読み出した画像データが「人物写真」であるか否かを判断する。例えば、領域情報取得部44が画像データから人物の像を取得した場合には、処理の対象である画像データが「人物写真」であると判断し、ステップS004へ進む。なお、ステップS005〜ステップS008での処理については、ステップS004の後に説明する。
ステップS004では、テキスト生成部50が、情報取得部43で取得された情報を用いて、処理対象である画像データについてテキストを生成する。図4は、図3に示す「人物写真」に対するテキスト生成処理の詳細を表すフローチャートである。また、「人物写真」に対するテキスト処理の説明では、実施例1〜実施例6に係る画像60〜画像65(図5(A)〜図10(A)参照)を用いて説明を行う。
図4のステップS101では、処理対象である画像データに写っているのが乳幼児のみであるか否かを判断する。具体的には、画像データに含まれる全ての人物の像が、年齢情報取得部45によって第1グループ(乳幼児)に分類される場合は、乳幼児のみが写っている画像データであると判断してステップS102へ進む。これに対して、少なくとも1の人物の像が、年齢情報取得部45によって第2グループ(大人)に分類される場合は、乳幼児のみが写っている画像データではないと判断してステップS105へ進む。なお、以下の記載では、ステップS102〜ステップS104について先に説明し、ステップS105へ進む場合については、その後に記載する。
図5(A)〜図10(A)に示す画像60〜画像65のうち、画像60(図5(A))及び画像61(図6(A))が処理対象である場合には、ステップS101において乳幼児のみが写っている画像データであると判断され、ステップS102へ進む。これに対して、画像62(図7(A))、画像63(図8(A))、画像64(図9(A))及び画像65(図10(A))が処理対象である場合には、ステップS101において乳幼児のみが写っている画像データではないと判断され、ステップS105へ進む。
ステップS102では、処理対象である画像データについて、乳幼児の肌の領域が大きいか否かを判断する。具体的には、領域情報取得部44が、乳幼児の肌の領域が画像データ全体に占める割合を抽出し、その割合が所定の閾値より大きい場合には、乳幼児の肌の領域が大きいと判断し、ステップS103へ進む。これに対して、乳幼児の肌の領域の割合が所定の閾値以下である場合には、乳幼児の肌の領域が大きくないと判断し、ステップS104へ進む。
ステップS102へ進む画像60(図5(A))及び画像61(図6(A))のうち、画像60(図5(A))は乳幼児の肌の領域が大きくないと判断されてステップS104へ進み、画像61(図6(A))は乳幼児の肌の領域が大きいと判断されてステップS103へ進む。
ステップS103では、乳幼児の肌の領域が大きいと判断された画像データに対して、第1テキスト生成部51が、図11に示す「肌」辞書を用いてテキストを生成する。図6(B)は、第1テキスト生成部51によって「肌」辞書を用いて生成されたテキスト「ほっぺたぷにゅぷにゅ」が、実施例2に係る画像61(図6(A))と伴に表示部26に表示された状態を表している。このように、画像処理部40は、被写体の年齢を推定することにより、画像データにおける乳幼児の肌のように、撮影者や観察者が着目する対象を適切に識別可能であり、これらの情報を用いてテキストを生成することにより、画像とのマッチング感の高いテキストを生成することができる。
ステップS104では、乳幼児の肌の領域が大きくないと判断された画像データに対して、第1テキスト生成部51が、図11に示す「笑顔」辞書を用いてテキストを生成する。第1テキスト生成部51は、笑顔情報取得部47で取得された乳幼児の笑顔レベルに基づき、「笑顔」辞書から対応するテキストを選択することにより、テキストを生成する。図5(B)は、第1テキスト生成部51によって「笑顔」辞書を用いて生成されたテキスト「にっこりえがお」が、実施例1に係る画像60(図5(A))と伴に表示部26に表示された状態を表している。このように、画像処理部40は、被写体の年齢を推定することにより、例えば大人と子供の印象の違いを考慮したテキストを生成可能であり、画像とテキストのマッチング感を向上させることができる。
ステップS101の説明に戻る。ステップS101において、画像データに写っているのが乳幼児のみではないと判断されると、ステップS105へ進む。ステップS105では、処理対象である画像データに乳幼児と大人が両方写っているか否かを判断する。具体的には、少なくとも1の人物の像が、年齢情報取得部45によって第1グループ(乳幼児)に分類され、かつ少なくとも1の人物の像が第2グループ(大人)に分類される場合は、乳幼児と大人が両方写っている画像データであると判断してステップS106へ進む。また、年齢情報取得部45によって1の人物の像も第1グループ(乳幼児)に分類されなかった場合は、乳幼児と大人が両方写っている画像データではない(大人のみが写っている画像データである)と判断し、ステップS107へ進む。
ステップS105へ進む画像62(図7(A))、画像63(図8(A))、画像64(図9(A))及び画像65(図10(A))のうち、画像62(図7(A))は、乳幼児と大人が両方写っている画像データであると判断されてステップS106へ進み、それ以外の画像データは乳幼児と大人が両方写っている画像データではないと判断されてステップS107へ進む。
ステップS106では、乳幼児と大人が両方写っていると判断された画像データに対して、第1テキスト生成部51が、図11に示す「親子」辞書を用いてテキストを生成する。図7(B)は、第1テキスト生成部51によって「親子」辞書を用いて生成されたテキスト「おじいちゃんとおばあちゃんと一緒!」が、実施例3に係る画像62(図7(A))と伴に表示部26に表示された状態を表している。このように、画像処理部40は、画像データから人の像を複数検出した場合において、画像データに写っている人の年齢を推定することにより、親子撮影ように、ありがちな撮影シチュエーションを考慮したテキストを生成可能であり、画像とテキストのマッチング感を向上させることができる。なお、乳幼児と大人が両方写っている場合、大人に着目して、第2〜第5テキスト生成部にテキストを生成させても良い。
ステップS107では、画像データに女性のみが複数写っているか否かを判断する。具体的には、領域情報取得部44によって複数の人の像が画像データから抽出され、かつ全ての人物の像が性別情報取得部46によって女性に分類される場合には、女性のみが複数写っている画像データであると判断してステップS108へ進む。また、領域情報取得部44によって1の人の像のみが画像データから抽出されるか、又は性別情報取得部46によって男性に分類される人の像がある場合には、女性のみが複数写っている画像データではないと判断してステップS109へ進む。
ステップS107へ進む画像63(図8(A))、画像64(図9(A))及び画像65(図10(A))のうち、画像63(図8(A))は、女性のみが複数写っている画像データであると判断されてステップS108へ進み、それ以外の画像データは女性のみが複数写っている画像データではないと判断されてステップS109へ進む。
ステップS108では、女性のみが複数写っていると判断された画像データに対して、第3テキスト生成部53が、図12(B)に示す「女性」辞書を用いてテキストを生成する。図8(B)は、第3テキスト生成部53によって「女性」辞書を用いて生成されたテキスト「仲良し女子会」が、実施例4に係る画像63(図8(A))と伴に表示部26に表示された状態を表している。このように、画像処理部40は、処理対象である画像データに含まれる人の像の数及びその年齢構成と性別構成とを判断することにより、撮影者や観察者が画像データから受ける印象を精度良く推測することが可能であり、その情報を利用して画像と好適にマッチングするテキストを生成できる。
ステップS109では、画像データに女性と男性が両方写っているか否かを判断する。具体的には、領域情報取得部44によって複数の人の像が画像データから抽出され、かつ性別情報取得部46によってその一部が女性に分類され他の一部が男性に分類される場合には、女性と男性が両方写っている画像データであると判断してステップS110へ進む。また、領域情報取得部44によって1の人の像のみが画像データから抽出されるか、又は性別情報取得部46によって女性に分類される人物の像がない場合は、女性と男性が両方写っている画像データではないと判断してステップS111へ進む。
ステップS109へ進む画像64(図9(A))及び画像65(図10(A))のうち、画像64は、女性と男性が両方写っている画像データであると判断されてステップS110へ進み、画像65は女性と男性が両方写っている画像データではないと判断されてステップS111へ進む。
ステップS110では、女性と男性が両方写っている画像データに対して、第4テキスト生成部54が、図12(C)に示す「男女」辞書を用いてテキストを生成する。図9(B)は、第4テキスト生成部54によって「男女」辞書を用いて生成されたテキスト「みんないい表情!」が、実施例5に係る画像64(図9(A))と伴に表示部26に表示された状態を表している。このように、画像処理部40は、処理対象である被写体の年齢構成や性別構成に応じて、テキストそのものや、テキストを生成するために使用する辞書を変更することができるため、撮影者や観察者が画像データから受ける感性とマッチングしないテキストを生成してしまう問題を防止できる。
ステップS111では、画像データに男性のみが複数写っているか否かを判断する。具体的には、領域情報取得部44によって複数の人の像が画像データから抽出され、かつ全ての人物の像が性別情報取得部46によって男性に分類される場合には、男性のみが複数写っている画像データであると判断してステップS112へ進む。また、領域情報取得部44によって1の人の像のみが画像データから抽出されるか、又は性別情報取得部46によって女性に分類される人の像がある場合には、男性のみが複数写っている画像データではないと判断してステップS113へ進む。ステップS111へ進む画像65(図10(A))は、男性のみが複数写っている画像データではないと判断されてステップS113へ進む。
ステップS112では、男性のみが複数写っている画像データに対して、第5テキスト生成部55が、図12(C)に示す「男性」辞書を用いてテキストを生成する。例えば第5テキスト生成部55は、Exifファイル等に保存されている撮影日時に関する情報から撮影された季節の情報を取得し、その季節にマッチするテキストである「昨年冬の記念写真」を「男性」辞書から選択することにより、テキストを生成する。このように、画像処理部40は、撮影情報等を用いて生成される客観的事実に関するテキストと、笑顔レベル等を用いて生成される内面的な感情に関するテキストとを、被写体の年齢構成や性別構成に応じて使い分けることができるため、生成されるテキストと画像データとのマッチングを向上させることができる。
ステップS113では、第2テキスト生成部52が、笑顔情報取得部47で取得される笑顔レベル及び図12(A)に示す「笑顔」辞書を用いてテキストを生成する。ステップS113では、結果的に、大人(第2グループ)が一人で写っている画像データが処理される。図10(B)は、第2テキスト生成部52によって「笑顔」辞書を用いて生成されたテキスト「わっ、微笑んでる。」が、実施例6に係る画像65(図10(A))と伴に表示部26に表示された状態を表している。第1実施例(図5)と第6実施例(図10)の比較から解るように、同じような笑顔であっても被写体の年齢によって画像から受ける印象が異なるが、画像処理部40は、被写体の年齢に応じてテキストを変更することができるため、生成されるテキストと画像データとのマッチングを向上させることができる。
図3に示すステップS005〜ステップS008の説明へ戻る。ステップS003で領域情報取得部44が画像データから人物の像を取得できなかった場合は、ステップS005へ進む。ステップS005では、画像データが遠景写真であるか否かを判断する。例えば、領域情報取得部44が画像データから地平線の位置を抽出して画像データを空領域と地上領域に分割できた場合は、処理の対象である画像データは遠景写真であると判断し、ステップS006へ進む。これに対して、領域情報取得部44が画像データから地平線の位置を抽出できなかった場合は、処理の対象である画像データはその他写真であると判断してステップS007へ進む。
ステップS006では、遠景写真に分類された画像データについて、情報取得部43の色情報取得部49で取得された情報等を用いて、テキスト生成部50がテキストを生成する。テキスト生成部50は、遠景写真に付与するテキストを生成する場合、例えば画像データの代表色から連想される語句を含む「遠景写真」辞書(図13参照)を用いることができる。
ステップS007では、その他写真に分類された各画像データについて、情報取得部43の領域情報取得部44で取得された情報等を用いて、テキスト生成部50がテキストを生成する。テキスト生成部50は、その他写真に付与するテキストを生成する場合、例えば被写体の形状や大きさの特徴から連想される語句を含む「その他写真」辞書(図13参照)を用いることができる。
図3におけるステップS004、ステップS006及びステップS007においてテキストを生成した後、ステップS008へ進み、画像処理部40は、一連のテキスト生成処理を終了する。画像処理部40は、テキスト生成処理を終了する前に、生成されたテキストを文章付加部56に出力し、テキストの表示方法(表示位置、フォント等)を決定した後、画像データと関連づけてメモリカード34等に保存することができる。
上述した画像処理部40によれば、被写体の年齢及び性別に応じて生成するテキストを変更することができるため、画像を見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成することができる。
上述の実施形態及び実施例では、画像処理部40を備える撮像装置10を例に挙げて、画像処理装置の説明を行ったが、画像処理部40を備える画像処理装置はこれに限定されず、パーソナルコンビュータ、携帯電話等、撮像部を必ずしも有しない装置であっても良い。また、画像データからテキストを生成するプログラムは、撮像装置10だけでなく、画像処理を実施するその他の情報機器にも、実装することができる。
10…撮像装置
12…撮像部
14…光学系
16…撮像素子
18…A/D変換部
20…カメラ制御部
22…操作部
24…バス
26…表示部
28…記憶部
30…バッファメモリ部
32…通信部
34…メモリカード
40…画像処理部
41…画像データ入力部
42…イベント情報入力部
43…情報取得部
44…領域情報取得部
45…年齢情報取得部
46…性別情報取得部
47…笑顔情報取得部
49…色情報取得部
50…テキスト生成部
51…第1テキスト生成部
52…第2テキスト生成部
53…第3テキスト生成部
54…第4テキスト生成部
55…第5テキスト生成部
56…文章付加部
60,61,62,63,64,65…画像
12…撮像部
14…光学系
16…撮像素子
18…A/D変換部
20…カメラ制御部
22…操作部
24…バス
26…表示部
28…記憶部
30…バッファメモリ部
32…通信部
34…メモリカード
40…画像処理部
41…画像データ入力部
42…イベント情報入力部
43…情報取得部
44…領域情報取得部
45…年齢情報取得部
46…性別情報取得部
47…笑顔情報取得部
49…色情報取得部
50…テキスト生成部
51…第1テキスト生成部
52…第2テキスト生成部
53…第3テキスト生成部
54…第4テキスト生成部
55…第5テキスト生成部
56…文章付加部
60,61,62,63,64,65…画像
Claims (9)
- 画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人物の像における当該人物の年齢を推定して複数のグループに分類する年齢情報取得部を有し、
前記テキスト生成部は、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする画像処理装置。 - 請求項1に記載された画像処理装置であって、
前記年齢情報取得部によって分類される前記複数のグループには、少なくとも乳幼児を含む第1グループと、前記第1グループより推定された前記年齢が高い第2グループとが含まれることを特徴とする画像処理装置。 - 請求項2に記載された画像処理装置であって、
前記テキスト生成部は、前記年齢情報取得部が少なくとも1の前記人物の像を前記第1グループに分類した場合に前記テキストを生成可能な第1テキスト生成部と、前記年齢情報取得部が少なくとも1の前記人物の像を前記第2グループに分類した場合に前記テキストを生成可能な第2テキスト生成部と、を有することを特徴とする画像処理装置。 - 請求項3に記載された画像処理装置であって、
前記テキスト生成部は、前記年齢情報取得部が少なくとも1の前記人物の像を前記第1グループに分類し、かつ前記年齢情報取得部が少なくとも1の前記人物の像を前記第2グループに分類した場合には、前記第1テキスト生成部を用いて前記テキストを生成することを特徴とする画像処理装置。 - 請求項3又は請求項4に記載された画像処理装置であって、
操作者の入力信号に応じて、乳幼児の成長に関連して発生するイベントに関連する語句を、リストから選択できるイベント情報入力部をさらに有し、
前記第1テキスト生成部は、選択された前記語句に関連する前記テキストを生成可能であることを特徴とする画像処理装置。 - 請求項1から請求項5までのいずれか1項に記載された画像処理装置であって、
前記情報取得部は、前記画像データに含まれる前記人物の像における当該人物の性別を推定して女性と男性に分類する性別情報取得部をさらに有し、
前記テキスト生成部は、前記性別情報取得部による分類結果に応じて、生成する前記テキストを変更することを特徴とする画像処理装置。 - 請求項6に記載された画像処理装置であって、
前記テキスト生成部は、
前記画像データに複数の前記人物の像が含まれる場合において、
前記性別情報取得部が全ての前記人物の像を前記女性に分類した場合に前記テキストを生成する第3テキスト生成部と、前記性別情報取得部が一部の前記人物の像を前記女性に分類し他の一部の前記人物の像を前記男性に分類した場合に前記テキストを生成する第4テキスト生成部と、前記性別情報取得部が全ての前記人物の像を前記男性に分類した場合に前記テキストを生成する第5テキスト生成部と、を有することを特徴とする画像処理装置。 - 請求項1から請求項7までのいずれか1項に記載された画像処理装置と、
被写体を撮像して前記画像データを生成する撮像部と、を有する撮像装置。 - コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データに含まれる人物の像の年齢を推定して複数のグループに分類することができ、
前記テキスト生成処理では、前記年齢情報取得部による分類結果に応じて、生成する前記テキストを変更できることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013037769A JP2014164705A (ja) | 2013-02-27 | 2013-02-27 | 画像処理装置、撮像装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013037769A JP2014164705A (ja) | 2013-02-27 | 2013-02-27 | 画像処理装置、撮像装置及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014164705A true JP2014164705A (ja) | 2014-09-08 |
Family
ID=51615215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013037769A Pending JP2014164705A (ja) | 2013-02-27 | 2013-02-27 | 画像処理装置、撮像装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014164705A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018075192A (ja) * | 2016-11-09 | 2018-05-17 | 東芝ライフスタイル株式会社 | 電気掃除機 |
-
2013
- 2013-02-27 JP JP2013037769A patent/JP2014164705A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018075192A (ja) * | 2016-11-09 | 2018-05-17 | 東芝ライフスタイル株式会社 | 電気掃除機 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5438419B2 (ja) | 人物照合装置及び人物照合方法 | |
KR102207856B1 (ko) | 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 | |
US8760551B2 (en) | Systems and methods for image capturing based on user interest | |
JP5402018B2 (ja) | 表示装置及び撮像装置 | |
WO2007129438A1 (ja) | 電子カメラ | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
CN107424117B (zh) | 图像美颜方法、装置、计算机可读存储介质和计算机设备 | |
KR101995411B1 (ko) | 신체 모델 생성 장치 및 방법 | |
JP2005149370A (ja) | 画像撮影装置、個人認証装置及び画像撮影方法 | |
JP5578186B2 (ja) | キャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステム | |
JP2013172166A (ja) | 画像処理装置、撮像装置及びプログラム | |
JP4183536B2 (ja) | 人物画像処理方法及び装置並びにシステム | |
JP2019046239A (ja) | 画像処理装置、画像処理方法、プログラム及び合成用画像データ | |
JP2011135527A (ja) | デジタルカメラ | |
JP6204315B2 (ja) | 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム | |
JP2010198110A (ja) | 画像処理装置及び電子スチルカメラ | |
JP2014164705A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP6497030B2 (ja) | 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体 | |
JP2018045366A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014165876A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP2017229102A (ja) | 画像処理装置、撮像装置およびプログラム | |
JP2011160221A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20160110886A1 (en) | Information processing apparatus and clothes proposing method | |
JP2004104426A (ja) | 撮像装置 | |
JP2008167028A (ja) | 撮像装置 |