JP2010176224A - Image processor and digital camera - Google Patents
Image processor and digital camera Download PDFInfo
- Publication number
- JP2010176224A JP2010176224A JP2009015861A JP2009015861A JP2010176224A JP 2010176224 A JP2010176224 A JP 2010176224A JP 2009015861 A JP2009015861 A JP 2009015861A JP 2009015861 A JP2009015861 A JP 2009015861A JP 2010176224 A JP2010176224 A JP 2010176224A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- text
- balloon
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Facsimiles In General (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像に所定の情報を付加する画像処理装置およびその画像処理装置を備えるデジタルカメラに関する。 The present invention relates to an image processing apparatus for adding predetermined information to an image and a digital camera including the image processing apparatus.
従来、デジタルカメラで撮影した被写体画像に所定の情報を付加する場合、記録媒体に記録された被写体画像をディスプレイに再生表示して、その再生画像を見ながら画像処理ソフトを用いてマニュアルで付加していた。しかしながら、上述の従来の技術は、ディスプレイ上の再生画像を見ながら付加すべき情報を選んで画像中に配置するため、手間のかかる作業であった。
一方、画像中の被写体の顔表情を認識し、所定の顔表情であるときにその雰囲気に合わせたテキストやキャラクタをフィルムの下方に写し込む機能を有するカメラが提案されている(例えば、特許文献1参照)。
Conventionally, when adding predetermined information to a subject image taken with a digital camera, the subject image recorded on the recording medium is reproduced and displayed on a display, and manually added using image processing software while viewing the reproduced image. It was. However, the above-described conventional technique is a time-consuming operation because information to be added is selected and placed in the image while viewing the reproduced image on the display.
On the other hand, there has been proposed a camera having a function of recognizing a facial expression of a subject in an image and copying a text or character that matches the atmosphere below the film when the facial expression is a predetermined facial expression (for example, Patent Documents). 1).
しかしながら、上述の特許文献に記載されたカメラでは、テキストやキャラクタを写し込む場所が常に画像の下方であるため、テキストやキャラクタの内容は、被写体人物が発したものか、撮影者が加えた説明文なのかが不明確であるという問題がある。 However, in the camera described in the above-mentioned patent document, the place where the text or character is copied is always below the image. Therefore, whether the content of the text or character originates from the subject person or the photographer adds. There is a problem that the sentence is unclear.
(1)請求項1の発明による画像処理装置は、被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、顔表情検出手段により所定の顔表情であると検出された被写体画像データに、所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、顔表情検出手段が検出した所定の顔表情に相応しいテキストを吹き出し内へ自動挿入するテキスト挿入手段と、吹き出し挿入手段により吹き出しが挿入され、テキスト挿入手段によりテキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする。 (1) An image processing apparatus according to the first aspect of the present invention provides a facial expression detection means for detecting that a facial expression of a subject person in the subject image data is a predetermined facial expression, and a predetermined facial expression by the facial expression detection means. A balloon insertion means for automatically inserting a balloon having at least one of a shape and a color suitable for a predetermined facial expression, and text suitable for the predetermined facial expression detected by the facial expression detection means. Text insertion means for automatically inserting into a speech balloon, display means for displaying a reproduction image based on the inserted subject image data into which the speech balloon is inserted by the speech balloon insertion means and text is inserted by the text insertion means, and the inserted subject Storage means for storing image data.
本発明の画像処理装置によれば、被写体人物の所定の顔表情を検出した画像に、その顔表情に相応しい吹き出し及びテキストを自動挿入するので、被写体人物が発したものであることが明らかであり、分かり易い画像となる。 According to the image processing apparatus of the present invention, since a speech balloon and text suitable for the facial expression are automatically inserted into an image in which a predetermined facial expression of the subject person is detected, it is clear that the subject person has emitted. It becomes an easy-to-understand image.
以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図1は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図1に示されるように、デジタルカメラは、撮影レンズ11、絞り12、撮像素子13、バッファメモリ14および画像処理部15を備える。また、デジタルカメラは、画像記録部16、CPU(Central Processing Unit)17、ROM(Read Only Memory)18、バス19、画像読出し部20、顔表情設定部36、手動編集部37、表示制御部41およびディスプレイ42を備える。
Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention.
As shown in FIG. 1, the digital camera includes a
画像処理部15、画像記録部16、CPU17、ROM18、画像読出し部20、顔表情設定部36、手動編集部37および表示制御部41は、バス19を介して互いに接続されている。
The
CPU17は、顔検出部21、顔表情検出部23、顔表情レベル判定部25、吹き出し挿入部27、テキスト挿入部29、年代/性別推論部31、イラスト挿入部33およびデータ保存指示部35として機能する。また、CPU17は、撮影手段である撮影レンズ11、絞り12、撮像素子13を制御する。
ROM18は、顔データ記憶部22、顔表情データ記憶部24、顔表情レベルデータ記憶部26、吹き出しデータ記憶部28、テキストデータ記憶部30、年代/性別データ記憶部32およびイラストデータ記憶部34として機能する。
The
The
撮影レンズ11は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子13上に結像する。図1では簡単のため、撮影レンズ11は1枚のレンズで示されている。撮像素子13は、撮影レンズ11からの被写体光L1を光電変換することにより画像信号を生成する。
The photographing
撮像素子13から出力される画像信号は、バッファメモリ14を介して画像処理部15に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介してディスプレイ42に送られ、スルー画像として表示される。撮影段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介して画像記録部16にて記録される。
The image signal output from the
画像記録部16は、画像データとその画像データに関する属性データとを関連付けて不揮発性のメモリ(記憶媒体)16aに記録する。画像データには、撮像素子13からの被写体画像データや、外部機器から画像記録部16に入力された被写体画像データが含まれる。
The
画像読出し部20は、画像記録部16のメモリ16aに記録されている画像データの検索や属性データに基づいて画像の再生を行う操作部である。
The
顔検出部21は、被写体画像データを入力し、これを顔データ記憶部22に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部22は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。
The
顔検出には、例えば、特開2001−16573号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。 For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.
他の顔検出としては、例えば、特開2005−157679号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の2画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が1以上のときにその所定領域に顔が存在すると判別するものである。 As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.
顔表情検出部23は、顔検出部21により検出された顔領域の画像の顔表情を顔表情データ記憶部24に予め記憶されている所定の顔表情データと比較することにより、被写体画像中の被写体人物の顔表情が所定の顔表情に対応することを検出する。この顔表情検出部23は、被写体人物が複数人の場合は各人の顔について顔表情を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部24は、これらの複数の顔表情データを記憶している。顔表情検出部23は、例えば、被写体画像中の被写体人物の顔表情が笑顔であることを検出すると、その旨の検出信号を出力する。画像記録部16は、被写体画像データと、検出信号に基づく属性データとを関連付けてメモリ16aに記録する。
The facial
There are various types of facial expressions such as a smiling face, a crying face, an angry face, a surprised face, and a sleeping face, and the facial expression
顔表情検出部23が顔領域の画像の顔表情を検出する場合には、特開2008−42319号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という2つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。
When the facial
顔表情レベル判定部25は、顔検出部21により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部26に予め記憶されている複数の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情がいずれの顔表情レベルに対応するかを判定する。顔表情レベル判定部25は、被写体人物の顔表情レベルに対応する判定信号を出力する。画像記録部16は、被写体画像データと、所定の顔表情がどのレベルであるかを表す属性データとを関連付けてメモリ16aに記録する。
The facial expression
顔表情レベルデータ記憶部26は、顔表情の種類毎に表情の度合い(顔表情レベル)として、例えば笑顔であれば、微笑、中位の笑い、大笑いという3段階の笑顔レベルデータを記憶している。
The facial expression level
笑顔の度合いを判定する手法には、例えば、特開2004−46591号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。 As a method for determining the degree of smile, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-46591 can be used. This determination method evaluates the degree of smile for the smile of the input partial image, and calculates a smile evaluation value. When evaluating smiles, calculate the evaluation points for the shape of each element of the eyebrows, pupils, and lips by referring to the smile data stored in advance. Value.
吹き出し挿入部27は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物の顔に対して自動で吹き出しを挿入し、被写体画像データに吹き出し画像データを合成する。吹き出しとは、被写体画像中の人物が発する台詞を書き込む枠(図形)であり、吹き出しの形状や色は様々である。
The
吹き出しデータ記憶部28は、形状、色、サイズなどが異なる各種の吹き出しを表すデータを記憶している。吹き出し挿入部27は、吹き出しデータ記憶部28に記憶されている吹き出しデータの中から、顔画像の大きさ、顔表情の種類に相応しい形状、色、サイズを有する吹き出しのデータを自動で抽出し、被写体画像に吹き出しを自動挿入する。このとき、吹き出し挿入部27は、被写体画像中の吹き出しの挿入位置についても自動で決定する。そして、吹き出し挿入部27は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
The balloon
テキスト挿入部29は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でテキストを挿入し、被写体画像にテキスト画像を合成する。テキストとは、被写体画像中の人物が発する声や言葉を意味する文字や記号であり、テキストの内容(文章)、テキストの文字ザイズ、文字色、フォントは様々である。テキストは、吹き出しの枠内に挿入される。
The
テキストデータ記憶部30は、文章、文字サイズ、文字色、フォントが異なる各種のテキストデータを記憶している。テキスト挿入部29は、テキストデータ記憶部30に記憶されているテキストの中から、顔表情の種類に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、そのテキストを吹き出し挿入部27が挿入した吹き出しの枠内に自動挿入する。そして、テキスト挿入部29は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
The text
年代/性別推論部31は、顔検出部21により検出された顔領域の画像に基づき被写体人物の年代/性別を推論する。すなわち、年代/性別推論部31は、被写体人物の顔画像中の各特徴点と、年代/性別データ記憶部32に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代または性別を推論する。そして、年代/性別推論部31は、推論結果、例えば、被写体人物の年代は20歳代、性別は女性という推論データを出力する。年代/性別データ記憶部32は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。
The age /
年代/性別を推論する方法としては、例えば、特開2004−222118号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。 As a method for inferring age / sex, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-222118 is used, and the above-described feature amount is input to a system called a support vector machine.
イラスト挿入部33は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でイラストを挿入し、被写体画像にイラスト画像を合成する。イラストとしては、星形,十字形、涙形、花形などのタイプがある。
The
イラストデータ記憶部34は、このような各種のイラストデータを記憶しており、更にタイプ毎にサイズや色が異なるいくつかのデータを記憶している。例えば、星形のイラストであれば、大、中、小の3種類のサイズと金色、銀色の2種類の色とが用意されている。イラスト挿入部33は、イラストデータ記憶部34に記憶されているイラストの中から、顔画像の大きさ、顔表情の種類あるいは顔表情レベルに適したタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入する。このとき、イラスト挿入部33は、イラストの挿入位置、数量についても自動で決定する。そして、イラスト挿入部33は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。
The illustration
図2は、被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。図2に示されるように、被写体人物100の傍には、吹き出し101と、吹き出し101内に書き込まれた「あはははー」というテキスト102とが表示され、被写体人物100の左目の目尻に星形のイラスト103が2つ挿入されている。
FIG. 2 is a diagram schematically illustrating an example in which a balloon, text, and an illustration are inserted into the face of a subject person. As shown in FIG. 2, a
図3は、吹き出し、テキストの別例であり、図3(a)は、吹き出しの尖った形状で怒りの表情を表し、図3(b)は、吹き出しの雲形によって雨降りの印象を与えて悲しみの表情を表している。もちろん、テキストの内容によってもそれぞれの顔表情を表している。 FIG. 3 is another example of a speech balloon and text. FIG. 3 (a) shows an angry expression with the sharp shape of the speech balloon, and FIG. Represents the expression. Of course, each facial expression is also represented by the content of the text.
データ保存指示部35は、吹き出し挿入部27からの吹き出し挿入済みの信号およびテキスト挿入部29からのテキスト挿入済みの信号に応じて、吹き出しとテキストの挿入がなされた被写体画像データを、吹き出しとテキストが挿入済みであることを示す属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。
また、データ保存指示部35は、イラスト挿入部33からのイラスト挿入済みの信号に応じて、イラスト挿入がなされた被写体画像データをその属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいてイラスト挿入がなされた被写体画像データと、イラスト挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。
The data
Further, the data
顔表情設定部36は、被写体人物の顔表情の種類や顔表情レベルを外部から設定する操作部であり、笑顔を含む複数の顔表情の設定や顔表情毎のレベルの設定ができる。例えば、顔表情設定部36が顔表情として笑顔を設定すると、画像読出し部20は、画像記録部16のメモリ16aから笑顔の被写体画像データを読み出す。同様に、顔表情設定部36が顔表情レベルとして大笑いを設定すると、画像読出し部20は、画像記録部16のメモリ16aから大笑いの被写体画像データを読み出す。
The facial
手動編集部37は、マニュアルにより、被写体画像に挿入された吹き出し、テキスト、イラストの配置場所や数量を変えたり、既に自動挿入されているものを別のものに置き換えるための操作部である。ユーザーは、ディスプレイ42に表示された被写体画像を見ながらこのような手動による操作を行うことができる。
The
表示制御部41は、ディスプレイ42による表示を制御する。すなわち、表示制御部41は、バッファメモリ14に一時的に記録されている被写体画像の表示、画像記録部16のメモリ16aに保存された被写体画像の再生表示を行なう時の表示態様を制御する。
The
ディスプレイ42は、スルー画像の表示やバッファメモリ14に一時的に記録されている被写体画像、メモリ16aに保存された被写体画像の表示を行い、また、表示制御部41の指令により、被写体画像に関連する属性データの表示などを行う。
The
以上のように構成されたデジタルカメラは、次のように動作する。
最初に、顔表情設定部36によって顔表情として笑顔を設定したとする。撮影が行われ、撮像素子13が被写体画像データを出力すると、顔検出部21がこの被写体画像データの被写体人物画像を顔データ記録部22に記憶された顔データと比較して、被写体人物の顔領域を検出する。顔表情検出部23は、顔検出部21が検出した顔領域の画像を顔表情データ記憶部24の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等の所定の顔表情に相当することを検出する。ここでは、顔表情検出部23は、笑顔を検出したとする。
The digital camera configured as described above operates as follows.
First, it is assumed that a smile is set as a facial expression by the facial
吹き出し挿入部27は、顔表情検出部23により被写体人物の顔が笑顔であることが検出された被写体画像中の人物の顔付近に、図2に示されるように、その笑顔に相応しい吹き出し101、例えば、丸みを帯びた形状で明るい色の吹き出しを、吹き出しデータ記憶部28に記憶されている吹き出しデータの中から抽出して自動的に挿入し、被写体画像データに吹き出し画像データを合成する。吹き出し挿入部27は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。
The
吹き出し挿入が終わると、テキスト挿入部29は、テキストデータ記憶部30に記憶されているテキストの中から、被写体人物の笑顔に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、被写体画像中の吹き出しの枠内にテキストを自動挿入し、被写体画像データにテキストデータを合成する。笑顔に相応しいテキストとして、例えば、図2に示したような「あはははー」の笑い声の文字列を赤色で表すものが挙げられる。テキスト挿入部29は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。
When the balloon insertion is completed, the
続いて、イラスト挿入部33は、イラストデータ記憶部34に記憶されているイラストの中から、被写体人物の笑顔に相応しいタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入し、被写体画像データにイラストデータを合成する。このとき、イラスト挿入部33は、イラストの挿入位置、数量についても自動で決定する。笑顔に相応しいイラストとして、例えば、図2に示したような星形の輝きイラストを金色で表し、被写体人物100の左目の目尻に2つ配置したものが挙げられる。イラスト挿入部33は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。なお、笑顔の他に悲しみの顔表情には、エクトプラズム(幽体)をイメージするイラストを用いてもよい。
Subsequently, the
上記の吹き出し挿入、テキスト挿入及びイラスト挿入が終了すると、図2のような挿入済みの被写体画像データが得られる。
この挿入済みの被写体画像データに基づく再生画像は、ディスプレイ42に表示される。その際に、ユーザーは、必要に応じて、手動編集部37を操作して、ディスプレイ42上の挿入済み被写体画像を見ながら、吹き出し、テキスト、イラストの配置場所や数量を変えたり、例えば、笑顔に相応しいものとして既に挿入されている吹き出しを別のタイプに変更したり、テキストの内容(文章)を変更することができる。
When the above-described balloon insertion, text insertion, and illustration insertion are completed, the inserted subject image data as shown in FIG. 2 is obtained.
A reproduced image based on the inserted subject image data is displayed on the
データ保存指示部35は、吹き出し挿入部27からの吹き出し挿入済みの信号、テキスト挿入部29からのテキスト挿入済みの信号、イラスト挿入部33からのイラスト挿入済みの信号に応じて、吹き出し、テキスト及びイラストの挿入がなされた被写体画像データをその属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。なお、吹き出し、テキスト及びイラストの挿入がなされていないオリジナルの被写体画像データは、その属性データとともにそのままメモリ16aに保存されている。したがって、吹き出し、テキスト、イラストが表示されると煩わしいときなどは、オリジナルの被写体画像を表示してもよい。
The data
本実施の形態によるデジタルカメラは以下の作用効果を奏する。
(1)被写体人物の笑顔が検出された被写体画像中に、吹き出し挿入及びテキスト挿入を行うことにより、被写体人物の嬉しい感情をあたかも被写体人物が発する言葉として瞬時に明瞭に伝えられる画像となる。
(2)被写体人物の笑顔が検出された被写体画像中に、イラスト挿入を行うことにより、被写体人物の表情に豊かさが与えられ、見て楽しい画像となる。
The digital camera according to the present embodiment has the following operational effects.
(1) By inserting a balloon and text in a subject image in which the smile of the subject person is detected, an image that can instantly and clearly convey the joyful feeling of the subject person as if it were a word issued by the subject person.
(2) Inserting an illustration into the subject image in which the smile of the subject person has been detected gives richness to the facial expression of the subject person and makes the image fun to see.
本実施の形態によるデジタルカメラは、更に以下の動作も可能である。
(1)上述した実施の形態では、顔表情検出部23が笑顔を検出した被写体画像について吹き出しやテキストの挿入を行うものであったが、顔表情が同じ笑顔であっても中位の笑いと大笑いとではテキストの内容(台詞)が異なる方が自然である。
例えば、顔表情検出部23が笑顔を検出し、「あはははー」という笑い声のテキストが挿入されている被写体画像について、顔表情レベル判定部25が被写体人物の笑顔レベルが大笑いであると判定した場合、その被写体画像には大笑いに相応しい「わっはははは!」という笑い声のテキストがより適している。この場合、テキスト挿入部29は、顔表情レベル判定部25からの判定信号に基づきテキストの変更を行い、画像記録部16は、被写体画像データと、被写体人物の笑顔レベルが大笑いであることを表す属性データとを関連付けてメモリ16aに記録する。また、イラスト挿入部33は、その笑顔レベルに応じて、図2のイラスト103の数を増減したり、イラスト103の大きさを変えることができる。
The digital camera according to the present embodiment can also perform the following operations.
(1) In the above-described embodiment, the facial
For example, the facial
(2)被写体画像中に複数の被写体人物が存在する場合は、顔表情検出部23は、各々の被写体人物の顔表情を検出し、例えば顔表情設定部36によって所定の顔表情として笑顔が設定されていた場合は、笑顔が検出された個々の人物画像について、それぞれ吹き出し及びテキストを自動挿入することもできる。
(2) When there are a plurality of subject persons in the subject image, the facial
(3)上述した実施の形態では、顔表情検出部23が笑顔を検出した被写体画像に吹き出しやテキストの挿入を行うものであったが、年代/性別推論部31が被写体人物の年代及び性別の少なくとも一方を推論し、その推論結果に基づいて、吹き出し挿入部27が吹き出しの形状、色を変更するように構成してもよい。例えば、年代/性別推論部31により被写体人物は20歳代、女性との推論結果が出ると、若い女性に合わせて吹き出しの色を水色からピンク色に変更する。同様に、テキストの文字色も青系統の色から赤系統の色に変更する。これにより、同じ笑顔であっても、被写体人物の年代、性別により適した吹き出し、テキストを挿入することができる。画像記録部16は、被写体画像データと、被写体人物の笑顔と年代/性別を表す属性データとを関連付けてメモリ16aに記録する。
(3) In the above-described embodiment, the facial
本実施の形態によるデジタルカメラは、以下のように変形することができる。
(1)上述した実施の形態では、被写体画像データをメモリ16aに記録する前に、吹き出し挿入部27による吹き出し挿入とテキスト挿入部29によるテキスト挿入とイラスト挿入部33によるイラスト挿入とを行い、挿入済みの被写体画像データを画像記録部16がメモリ16aに記録するものであった。
The digital camera according to the present embodiment can be modified as follows.
(1) In the embodiment described above, before the subject image data is recorded in the
この変形例では、撮像素子13からの被写体画像データは、被写体人物の笑顔検出動作をせずに、メモリ16aに記録される。その後で、画像読出し部20は、メモリ16aに記録された被写体画像データを読み出し、顔表情検出部23は、読み出された被写体画像データの被写体人物の笑顔を検出する。そして、笑顔が検出された被写体画像データの人物画像について、本実施の形態と同様に、吹き出し挿入、テキスト挿入、イラスト挿入を行い、挿入済みの被写体画像データをメモリ16aに記録する。このように、メモリ16aに記録された被写体画像データを読み出して、笑顔検出、吹き出し挿入、テキスト挿入、イラスト挿入を行うことも可能である。
In this modification, the subject image data from the
(2)上述した実施の形態では、吹き出し挿入とテキスト挿入を同時に行うものであったが、吹き出し挿入の後にテキスト挿入を行うことも可能である。
(3)上述した実施の形態では、吹き出し挿入、テキスト挿入、イラスト挿入の3者すべてを行うものとして説明したが、デジタルカメラを吹き出し挿入とテキスト挿入だけを行う構成としてもよいし、イラスト挿入だけを行う構成としてもよい。
(4)上述した実施の形態では、画像記録部16は、挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録するものであったが、そのような属性データを付さずに挿入済みの被写体画像データを特定のフォルダに保存するようにしてもよい。後で画像データを読み出す場合、挿入済みであることを表す属性データを付さなくとも、挿入済みの被写体画像データは特定のフォルダに保存されているので、読み出しには便利である。
(5)上述した実施の形態では、笑顔に相応しい形状と色を有する吹き出しを挿入するものであったが、形状及び色の一方が笑顔に相応しければ、その吹き出しを挿入してもよい。
(6)また、上述した実施の形態では、年代/性別推論部31による推論結果に基づいて吹き出しの形状、色を変更し、テキストの文字色も変更するものであったが、吹き出し及びテキストの一方のみを変更する構成としてもよい。
(2) In the above-described embodiment, the balloon insertion and the text insertion are performed at the same time, but it is also possible to perform the text insertion after the balloon insertion.
(3) In the above-described embodiment, it has been described that all three of balloon insertion, text insertion, and illustration insertion are performed. However, the digital camera may be configured to perform only balloon insertion and text insertion, or only illustration insertion. It is good also as composition which performs.
(4) In the above-described embodiment, the
(5) In the above-described embodiment, a balloon having a shape and color suitable for a smile is inserted. However, if one of the shape and color corresponds to a smile, the balloon may be inserted.
(6) In the above-described embodiment, the shape and color of the speech balloon are changed based on the inference result by the age /
上述した実施の形態では、デジタルカメラについて説明したが、本発明は、図1において、撮影手段、バッファメモリ14および画像処理部15を有さない画像処理装置やアプリケーションソフトウエア(画像閲覧編集ソフト)にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
In the above-described embodiment, the digital camera has been described. However, in the present invention, the image processing apparatus and application software (image viewing / editing software) that does not include the photographing unit, the
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.
16:画像記録部 16a:メモリ
20:画像読出し部 23:顔表情検出部
24:顔表情データ記憶部 25:顔表情レベル判定部
26:顔表情レベルデータ記憶部 27:吹き出し挿入部
28:吹き出しデータ記憶部 29:テキスト挿入部
30:テキストデータ記憶部 31:年代/性別推論部
32:年代/性別データ記憶部 33:イラスト挿入部
34:イラストデータ記憶部 35:データ保存指示部
36:顔表情設定部 37:手動編集部
16:
Claims (14)
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、
前記顔表情検出手段が検出した前記所定の顔表情に相応しいテキストを前記吹き出し内へ自動挿入するテキスト挿入手段と、
前記吹き出し挿入手段により前記吹き出しが挿入され、前記テキスト挿入手段により前記テキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。 Facial expression detection means for detecting that the facial expression of the subject person in the subject image data is a predetermined facial expression;
Balloon insertion means for automatically inserting a balloon having at least one of a shape and a color suitable for the predetermined facial expression into the subject image data detected by the facial expression detection means as the predetermined facial expression;
Text insertion means for automatically inserting text suitable for the predetermined facial expression detected by the facial expression detection means into the balloon;
Display means for displaying a reproduction image based on the inserted subject image data into which the balloon is inserted by the balloon insertion means and the text is inserted by the text insertion means;
An image processing apparatus comprising: storage means for storing the inserted subject image data.
前記記憶手段は、更に前記被写体画像データを記憶し、
前記被写体画像データが前記記憶手段に記憶される前に、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに前記テキスト挿入手段が前記テキストの自動挿入とを行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The storage means further stores the subject image data,
2. An image processing apparatus according to claim 1, wherein before the subject image data is stored in the storage unit, the balloon insertion unit automatically inserts the balloon and the text insertion unit performs automatic insertion of the text.
前記記憶手段は、更に前記被写体画像データを記憶し、
前記記憶手段から読み出された前記被写体画像データについて、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに、前記テキスト挿入手段が前記テキストの自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The storage means further stores the subject image data,
An image processing apparatus, wherein the balloon insertion unit automatically inserts the balloon and the text insertion unit automatically inserts the text for the subject image data read from the storage unit.
前記吹き出し挿入手段による前記吹き出しの自動挿入と、前記テキスト挿入手段による前記テキストの自動挿入とを同時に行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus that performs automatic insertion of the balloon by the balloon insertion unit and automatic insertion of the text by the text insertion unit at the same time.
前記テキスト挿入手段は、前記吹き出し挿入手段による前記吹き出しの自動挿入の後に、前記テキストの自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the text insertion means automatically inserts the text after the speech balloon is automatically inserted by the speech balloon insertion means.
前記被写体画像データ中の被写体人物の顔表情の度合いが所定の顔表情レベルに対応することを判定するレベル判定手段を更に備え、
前記テキスト挿入手段は、前記レベル判定手段が判定した顔表情レベルに基づいて前記テキストの内容を変更して前記自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
Level determination means for determining that the degree of facial expression of the subject person in the subject image data corresponds to a predetermined facial expression level;
The image processing apparatus, wherein the text insertion unit performs the automatic insertion by changing the content of the text based on the facial expression level determined by the level determination unit.
前記顔表情検出手段は、前記被写体画像データ中の複数の被写体人物の各々の顔について前記所定の顔表情であることを検出し、
前記吹き出し挿入手段及び前記テキスト挿入手段は、前記顔表情検出手段により前記所定の顔表情であることが検出された被写体人物の各々について、それぞれ前記吹き出し及び前記テキストを自動挿入することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The facial expression detection means detects that the face expression of each of a plurality of subject persons in the subject image data is the predetermined facial expression;
The speech balloon insertion means and the text insertion means automatically insert the speech balloon and the text for each of the subject persons detected by the facial expression detection means as the predetermined facial expression, respectively. Image processing device.
前記テキスト挿入手段は、前記顔表情検出手段が検出した前記所定の顔表情に応じて、前記テキストの内容と文字サイズと文字色との少なくとも1つを変更して前記自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The text insertion unit performs the automatic insertion by changing at least one of the text content, character size, and character color according to the predetermined facial expression detected by the facial expression detection unit. An image processing apparatus.
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記吹き出し挿入手段は、前記推論手段の推論結果に基づき、前記吹き出しの形状および色の少なくとも一方を変更して前記自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
An inference means for inferring at least one of the age and sex of the subject person in the subject image data;
The image processing apparatus, wherein the balloon insertion unit performs the automatic insertion by changing at least one of a shape and a color of the balloon based on an inference result of the inference unit.
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記テキスト挿入手段は、前記推論手段の推論結果に基づき、前記テキストの文字色を変更して前記自動挿入を行うことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
An inference means for inferring at least one of the age and sex of the subject person in the subject image data;
The image processing apparatus according to claim 1, wherein the text insertion unit performs the automatic insertion by changing a character color of the text based on an inference result of the inference unit.
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色を有するイラストを自動挿入するイラスト挿入手段と、
前記イラスト挿入手段によりイラストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。 Facial expression detection means for detecting that the facial expression of the subject person in the subject image data is a predetermined facial expression;
Illustration insertion means for automatically inserting an illustration having a shape and color suitable for the predetermined facial expression into the subject image data detected by the facial expression detection means as the predetermined facial expression;
Display means for displaying a reproduction image based on the inserted subject image data into which the illustration is inserted by the illustration insertion means;
An image processing apparatus comprising: storage means for storing the inserted subject image data.
前記記憶手段は、前記挿入済みの被写体画像データを特定のフォルダに記憶することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 11,
The image processing apparatus, wherein the storage unit stores the inserted subject image data in a specific folder.
前記記憶手段は、前記挿入済みの被写体画像データと、前記挿入済みを表す属性データとを互いに関連付けて記憶することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 11,
The storage means stores the inserted subject image data and the attribute data indicating the inserted in association with each other.
A digital camera comprising the image processing apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015861A JP2010176224A (en) | 2009-01-27 | 2009-01-27 | Image processor and digital camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015861A JP2010176224A (en) | 2009-01-27 | 2009-01-27 | Image processor and digital camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010176224A true JP2010176224A (en) | 2010-08-12 |
Family
ID=42707172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009015861A Pending JP2010176224A (en) | 2009-01-27 | 2009-01-27 | Image processor and digital camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010176224A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100329505A1 (en) * | 2009-06-30 | 2010-12-30 | Kabushiki Kaisha Toshiba | Image processing apparatus and method for processing image |
JP2011086248A (en) * | 2009-10-19 | 2011-04-28 | Canon Inc | Apparatus and method for processing information |
JP2012156647A (en) * | 2011-01-24 | 2012-08-16 | Nikon Corp | Digital camera and electronic apparatus with camera |
JP2013197753A (en) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus and program |
JPWO2020129959A1 (en) * | 2018-12-18 | 2021-11-04 | グリー株式会社 | Computer program, server device, terminal device and display method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305893A (en) * | 1995-05-10 | 1996-11-22 | Casio Comput Co Ltd | Image controller |
JP2001051338A (en) * | 1999-08-12 | 2001-02-23 | Canon Inc | Camera |
JP2004015478A (en) * | 2002-06-07 | 2004-01-15 | Nec Corp | Speech communication terminal device |
JP2005091463A (en) * | 2003-09-12 | 2005-04-07 | Toshiba Corp | Information processing device |
JP2005124169A (en) * | 2003-09-26 | 2005-05-12 | Matsushita Electric Ind Co Ltd | Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein |
JP2007027990A (en) * | 2005-07-13 | 2007-02-01 | Canon Inc | Apparatus and method, and program for generating caption from moving picture data, and storage medium |
JP2007122533A (en) * | 2005-10-31 | 2007-05-17 | Seiko Epson Corp | Comment layout for image |
JP2008042319A (en) * | 2006-08-02 | 2008-02-21 | Sony Corp | Imaging apparatus and method, and facial expression evaluating device and program |
-
2009
- 2009-01-27 JP JP2009015861A patent/JP2010176224A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305893A (en) * | 1995-05-10 | 1996-11-22 | Casio Comput Co Ltd | Image controller |
JP2001051338A (en) * | 1999-08-12 | 2001-02-23 | Canon Inc | Camera |
JP2004015478A (en) * | 2002-06-07 | 2004-01-15 | Nec Corp | Speech communication terminal device |
JP2005091463A (en) * | 2003-09-12 | 2005-04-07 | Toshiba Corp | Information processing device |
JP2005124169A (en) * | 2003-09-26 | 2005-05-12 | Matsushita Electric Ind Co Ltd | Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein |
JP2007027990A (en) * | 2005-07-13 | 2007-02-01 | Canon Inc | Apparatus and method, and program for generating caption from moving picture data, and storage medium |
JP2007122533A (en) * | 2005-10-31 | 2007-05-17 | Seiko Epson Corp | Comment layout for image |
JP2008042319A (en) * | 2006-08-02 | 2008-02-21 | Sony Corp | Imaging apparatus and method, and facial expression evaluating device and program |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100329505A1 (en) * | 2009-06-30 | 2010-12-30 | Kabushiki Kaisha Toshiba | Image processing apparatus and method for processing image |
JP2011013384A (en) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | Image processing device and image processing method |
JP4660611B2 (en) * | 2009-06-30 | 2011-03-30 | 株式会社東芝 | Image processing apparatus and image processing method |
US8391544B2 (en) * | 2009-06-30 | 2013-03-05 | Kabushiki Kaisha Toshiba | Image processing apparatus and method for processing image |
JP2011086248A (en) * | 2009-10-19 | 2011-04-28 | Canon Inc | Apparatus and method for processing information |
JP2012156647A (en) * | 2011-01-24 | 2012-08-16 | Nikon Corp | Digital camera and electronic apparatus with camera |
JP2013197753A (en) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | Imaging apparatus and program |
JPWO2020129959A1 (en) * | 2018-12-18 | 2021-11-04 | グリー株式会社 | Computer program, server device, terminal device and display method |
JP7278307B2 (en) | 2018-12-18 | 2023-05-19 | グリー株式会社 | Computer program, server device, terminal device and display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7634106B2 (en) | Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program | |
JP4762827B2 (en) | Electronic album generation apparatus, electronic album generation method, and program thereof | |
TWI374668B (en) | ||
JP5084938B2 (en) | Image extraction apparatus, image extraction method, and image extraction program | |
JP5195120B2 (en) | Digital camera | |
JP2009141516A (en) | Image display device, camera, image display method, program, image display system | |
JP2010176224A (en) | Image processor and digital camera | |
CN107820018A (en) | User's photographic method, device and equipment | |
JP5304294B2 (en) | Electronic still camera | |
JP5272797B2 (en) | Digital camera | |
JP2006121661A (en) | Synthesized image generation method and apparatus, and program | |
JP5157704B2 (en) | Electronic still camera | |
KR101742779B1 (en) | System for making dynamic digital image by voice recognition | |
JP2006277731A (en) | Image extracting device, image extracting method, and image extracting program | |
JP2010219740A (en) | Image processing unit and digital camera | |
JP2006349845A (en) | Electronic book display device | |
JP5157761B2 (en) | Electronic still camera | |
JP2010226484A (en) | Image display and digital camera | |
JP5200959B2 (en) | Digital camera | |
JP5526620B2 (en) | Digital camera | |
JP2010226485A (en) | Image processing apparatus and digital camera | |
JP2010176217A (en) | Image correction device and digital camera | |
JP5434096B2 (en) | Digital camera | |
JP2017211995A (en) | Device, method, and program for playback, and device, method, and program for sound summarization | |
JP5293223B2 (en) | Digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130409 |