JP2010176224A - Image processor and digital camera - Google Patents

Image processor and digital camera Download PDF

Info

Publication number
JP2010176224A
JP2010176224A JP2009015861A JP2009015861A JP2010176224A JP 2010176224 A JP2010176224 A JP 2010176224A JP 2009015861 A JP2009015861 A JP 2009015861A JP 2009015861 A JP2009015861 A JP 2009015861A JP 2010176224 A JP2010176224 A JP 2010176224A
Authority
JP
Japan
Prior art keywords
facial expression
text
balloon
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009015861A
Other languages
Japanese (ja)
Inventor
Masanaga Nakamura
正永 中村
Junko Morimoto
淳子 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009015861A priority Critical patent/JP2010176224A/en
Publication of JP2010176224A publication Critical patent/JP2010176224A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimiles In General (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image for clearly reporting the feeling of an object person. <P>SOLUTION: A face expression detection part 23 detects a smiling face of an object person in an object image, and a balloon insertion part 27 automatically inserts a balloon having at least one of a shape and color suitable to the smiling face, and a text insertion part 29 automatically inserts a text suitable to the smiling face into the balloon, and insertion completion object image data into which the balloon and the text have been inserted are stored in a memory 16a. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像に所定の情報を付加する画像処理装置およびその画像処理装置を備えるデジタルカメラに関する。   The present invention relates to an image processing apparatus for adding predetermined information to an image and a digital camera including the image processing apparatus.

従来、デジタルカメラで撮影した被写体画像に所定の情報を付加する場合、記録媒体に記録された被写体画像をディスプレイに再生表示して、その再生画像を見ながら画像処理ソフトを用いてマニュアルで付加していた。しかしながら、上述の従来の技術は、ディスプレイ上の再生画像を見ながら付加すべき情報を選んで画像中に配置するため、手間のかかる作業であった。
一方、画像中の被写体の顔表情を認識し、所定の顔表情であるときにその雰囲気に合わせたテキストやキャラクタをフィルムの下方に写し込む機能を有するカメラが提案されている(例えば、特許文献1参照)。
Conventionally, when adding predetermined information to a subject image taken with a digital camera, the subject image recorded on the recording medium is reproduced and displayed on a display, and manually added using image processing software while viewing the reproduced image. It was. However, the above-described conventional technique is a time-consuming operation because information to be added is selected and placed in the image while viewing the reproduced image on the display.
On the other hand, there has been proposed a camera having a function of recognizing a facial expression of a subject in an image and copying a text or character that matches the atmosphere below the film when the facial expression is a predetermined facial expression (for example, Patent Documents). 1).

特開2001−51338号公報JP 2001-51338 A

しかしながら、上述の特許文献に記載されたカメラでは、テキストやキャラクタを写し込む場所が常に画像の下方であるため、テキストやキャラクタの内容は、被写体人物が発したものか、撮影者が加えた説明文なのかが不明確であるという問題がある。   However, in the camera described in the above-mentioned patent document, the place where the text or character is copied is always below the image. Therefore, whether the content of the text or character originates from the subject person or the photographer adds. There is a problem that the sentence is unclear.

(1)請求項1の発明による画像処理装置は、被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、顔表情検出手段により所定の顔表情であると検出された被写体画像データに、所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、顔表情検出手段が検出した所定の顔表情に相応しいテキストを吹き出し内へ自動挿入するテキスト挿入手段と、吹き出し挿入手段により吹き出しが挿入され、テキスト挿入手段によりテキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする。 (1) An image processing apparatus according to the first aspect of the present invention provides a facial expression detection means for detecting that a facial expression of a subject person in the subject image data is a predetermined facial expression, and a predetermined facial expression by the facial expression detection means. A balloon insertion means for automatically inserting a balloon having at least one of a shape and a color suitable for a predetermined facial expression, and text suitable for the predetermined facial expression detected by the facial expression detection means. Text insertion means for automatically inserting into a speech balloon, display means for displaying a reproduction image based on the inserted subject image data into which the speech balloon is inserted by the speech balloon insertion means and text is inserted by the text insertion means, and the inserted subject Storage means for storing image data.

本発明の画像処理装置によれば、被写体人物の所定の顔表情を検出した画像に、その顔表情に相応しい吹き出し及びテキストを自動挿入するので、被写体人物が発したものであることが明らかであり、分かり易い画像となる。   According to the image processing apparatus of the present invention, since a speech balloon and text suitable for the facial expression are automatically inserted into an image in which a predetermined facial expression of the subject person is detected, it is clear that the subject person has emitted. It becomes an easy-to-understand image.

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which concerns on embodiment of this invention. 被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。It is a figure which shows typically an example which inserted the balloon, the text, and the illustration into the subject person's face. 吹き出し、テキストの別例を模式的に示す図である。図3(a)は怒りの表情に対応し、図3(b)は悲しみの表情に対応する図である。It is a figure which shows typically another example of a speech balloon and a text. FIG. 3A corresponds to an angry expression, and FIG. 3B corresponds to a sad expression.

以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図1は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図1に示されるように、デジタルカメラは、撮影レンズ11、絞り12、撮像素子13、バッファメモリ14および画像処理部15を備える。また、デジタルカメラは、画像記録部16、CPU(Central Processing Unit)17、ROM(Read Only Memory)18、バス19、画像読出し部20、顔表情設定部36、手動編集部37、表示制御部41およびディスプレイ42を備える。
Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention.
As shown in FIG. 1, the digital camera includes a photographic lens 11, a diaphragm 12, an image sensor 13, a buffer memory 14, and an image processing unit 15. The digital camera includes an image recording unit 16, a CPU (Central Processing Unit) 17, a ROM (Read Only Memory) 18, a bus 19, an image reading unit 20, a facial expression setting unit 36, a manual editing unit 37, and a display control unit 41. And a display 42.

画像処理部15、画像記録部16、CPU17、ROM18、画像読出し部20、顔表情設定部36、手動編集部37および表示制御部41は、バス19を介して互いに接続されている。   The image processing unit 15, the image recording unit 16, the CPU 17, the ROM 18, the image reading unit 20, the facial expression setting unit 36, the manual editing unit 37, and the display control unit 41 are connected to each other via the bus 19.

CPU17は、顔検出部21、顔表情検出部23、顔表情レベル判定部25、吹き出し挿入部27、テキスト挿入部29、年代/性別推論部31、イラスト挿入部33およびデータ保存指示部35として機能する。また、CPU17は、撮影手段である撮影レンズ11、絞り12、撮像素子13を制御する。
ROM18は、顔データ記憶部22、顔表情データ記憶部24、顔表情レベルデータ記憶部26、吹き出しデータ記憶部28、テキストデータ記憶部30、年代/性別データ記憶部32およびイラストデータ記憶部34として機能する。
The CPU 17 functions as a face detection unit 21, a facial expression detection unit 23, a facial expression level determination unit 25, a balloon insertion unit 27, a text insertion unit 29, an age / gender reasoning unit 31, an illustration insertion unit 33, and a data storage instruction unit 35. To do. Further, the CPU 17 controls the photographing lens 11, the diaphragm 12, and the image sensor 13 that are photographing means.
The ROM 18 includes a face data storage unit 22, a facial expression data storage unit 24, a facial expression level data storage unit 26, a balloon data storage unit 28, a text data storage unit 30, an age / gender data storage unit 32, and an illustration data storage unit 34. Function.

撮影レンズ11は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子13上に結像する。図1では簡単のため、撮影レンズ11は1枚のレンズで示されている。撮像素子13は、撮影レンズ11からの被写体光L1を光電変換することにより画像信号を生成する。   The photographing lens 11 includes a plurality of lenses including a zoom lens and a focus lens, and forms a subject image on the image sensor 13. In FIG. 1, for the sake of simplicity, the taking lens 11 is shown as a single lens. The imaging element 13 generates an image signal by photoelectrically converting the subject light L1 from the photographing lens 11.

撮像素子13から出力される画像信号は、バッファメモリ14を介して画像処理部15に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介してディスプレイ42に送られ、スルー画像として表示される。撮影段階では、撮像素子13からの画像信号は、バッファメモリ14、画像処理部15を経てバス19を介して画像記録部16にて記録される。   The image signal output from the image pickup device 13 is sent to the image processing unit 15 via the buffer memory 14, where predetermined various image processing is performed. At the stage before the start of photographing, the image signal from the image sensor 13 is sent to the display 42 via the buffer 19 via the buffer memory 14 and the image processing unit 15 and displayed as a through image. In the photographing stage, the image signal from the image sensor 13 is recorded in the image recording unit 16 via the bus 19 via the buffer memory 14 and the image processing unit 15.

画像記録部16は、画像データとその画像データに関する属性データとを関連付けて不揮発性のメモリ(記憶媒体)16aに記録する。画像データには、撮像素子13からの被写体画像データや、外部機器から画像記録部16に入力された被写体画像データが含まれる。   The image recording unit 16 records the image data and attribute data related to the image data in association with each other in a nonvolatile memory (storage medium) 16a. The image data includes subject image data from the image sensor 13 and subject image data input to the image recording unit 16 from an external device.

画像読出し部20は、画像記録部16のメモリ16aに記録されている画像データの検索や属性データに基づいて画像の再生を行う操作部である。   The image reading unit 20 is an operation unit that searches for image data recorded in the memory 16a of the image recording unit 16 and reproduces an image based on attribute data.

顔検出部21は、被写体画像データを入力し、これを顔データ記憶部22に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部22は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。   The face detection unit 21 inputs subject image data and compares it with face data stored in advance in the face data storage unit 22 to detect the face of the subject person in the image. When there are a plurality of subjects, the face of each person is detected. The face data storage unit 22 stores, for example, feature point data relating to the shape of eyebrows, eyes, nose, and lips.

顔検出には、例えば、特開2001−16573号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。   For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.

他の顔検出としては、例えば、特開2005−157679号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の2画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が1以上のときにその所定領域に顔が存在すると判別するものである。   As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.

顔表情検出部23は、顔検出部21により検出された顔領域の画像の顔表情を顔表情データ記憶部24に予め記憶されている所定の顔表情データと比較することにより、被写体画像中の被写体人物の顔表情が所定の顔表情に対応することを検出する。この顔表情検出部23は、被写体人物が複数人の場合は各人の顔について顔表情を検出する。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部24は、これらの複数の顔表情データを記憶している。顔表情検出部23は、例えば、被写体画像中の被写体人物の顔表情が笑顔であることを検出すると、その旨の検出信号を出力する。画像記録部16は、被写体画像データと、検出信号に基づく属性データとを関連付けてメモリ16aに記録する。
The facial expression detection unit 23 compares the facial expression of the image of the face area detected by the face detection unit 21 with predetermined facial expression data stored in advance in the facial expression data storage unit 24, so that It is detected that the facial expression of the subject person corresponds to a predetermined facial expression. The facial expression detection unit 23 detects a facial expression for each person's face when there are a plurality of subject persons.
There are various types of facial expressions such as a smiling face, a crying face, an angry face, a surprised face, and a sleeping face, and the facial expression data storage unit 24 stores the plurality of facial expression data. For example, when detecting that the facial expression of the subject person in the subject image is a smile, the facial expression detection unit 23 outputs a detection signal to that effect. The image recording unit 16 records subject image data and attribute data based on the detection signal in the memory 16a in association with each other.

顔表情検出部23が顔領域の画像の顔表情を検出する場合には、特開2008−42319号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という2つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。   When the facial expression detection unit 23 detects a facial expression of an image in the face area, a detection method disclosed in Japanese Patent Application Laid-Open No. 2008-42319 can be used. In this detection method, for example, in order to detect a smile, the type of facial expression is determined based on whether the face of the detected image is close to the two facial expressions of a smile and a normal face. .

顔表情レベル判定部25は、顔検出部21により検出された顔領域の画像の顔表情を顔表情レベルデータ記憶部26に予め記憶されている複数の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情がいずれの顔表情レベルに対応するかを判定する。顔表情レベル判定部25は、被写体人物の顔表情レベルに対応する判定信号を出力する。画像記録部16は、被写体画像データと、所定の顔表情がどのレベルであるかを表す属性データとを関連付けてメモリ16aに記録する。   The facial expression level determination unit 25 compares the facial expression of the image of the facial area detected by the face detection unit 21 with a plurality of facial expression level data stored in advance in the facial expression level data storage unit 26. It is determined to which facial expression level the facial expression of the subject person in the image of the region corresponds. The facial expression level determination unit 25 outputs a determination signal corresponding to the facial expression level of the subject person. The image recording unit 16 associates the subject image data with attribute data indicating the level of the predetermined facial expression and records it in the memory 16a.

顔表情レベルデータ記憶部26は、顔表情の種類毎に表情の度合い(顔表情レベル)として、例えば笑顔であれば、微笑、中位の笑い、大笑いという3段階の笑顔レベルデータを記憶している。   The facial expression level data storage unit 26 stores, as the degree of facial expression (facial expression level) for each type of facial expression, for example, three levels of smile level data: smile, medium laughter, and big laughter for a smile. Yes.

笑顔の度合いを判定する手法には、例えば、特開2004−46591号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。   As a method for determining the degree of smile, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-46591 can be used. This determination method evaluates the degree of smile for the smile of the input partial image, and calculates a smile evaluation value. When evaluating smiles, calculate the evaluation points for the shape of each element of the eyebrows, pupils, and lips by referring to the smile data stored in advance. Value.

吹き出し挿入部27は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物の顔に対して自動で吹き出しを挿入し、被写体画像データに吹き出し画像データを合成する。吹き出しとは、被写体画像中の人物が発する台詞を書き込む枠(図形)であり、吹き出しの形状や色は様々である。   The balloon insertion unit 27 automatically inserts a balloon into a person's face in the subject image data in which it is detected by the facial expression detection unit 23 that the face of the subject person has a predetermined facial expression, and the subject image data Combining balloon image data. A speech balloon is a frame (figure) for writing a speech uttered by a person in the subject image, and there are various shapes and colors of the speech balloon.

吹き出しデータ記憶部28は、形状、色、サイズなどが異なる各種の吹き出しを表すデータを記憶している。吹き出し挿入部27は、吹き出しデータ記憶部28に記憶されている吹き出しデータの中から、顔画像の大きさ、顔表情の種類に相応しい形状、色、サイズを有する吹き出しのデータを自動で抽出し、被写体画像に吹き出しを自動挿入する。このとき、吹き出し挿入部27は、被写体画像中の吹き出しの挿入位置についても自動で決定する。そして、吹き出し挿入部27は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。   The balloon data storage unit 28 stores data representing various balloons having different shapes, colors, sizes, and the like. The balloon insertion unit 27 automatically extracts balloon data having a shape, color, and size suitable for the size of the face image and the type of facial expression from the balloon data stored in the balloon data storage unit 28, A speech bubble is automatically inserted into the subject image. At this time, the balloon insertion unit 27 also automatically determines the insertion position of the balloon in the subject image. Then, when the balloon insertion ends, the balloon insertion unit 27 generates a balloon insertion completed signal.

テキスト挿入部29は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でテキストを挿入し、被写体画像にテキスト画像を合成する。テキストとは、被写体画像中の人物が発する声や言葉を意味する文字や記号であり、テキストの内容(文章)、テキストの文字ザイズ、文字色、フォントは様々である。テキストは、吹き出しの枠内に挿入される。   The text insertion unit 29 automatically inserts text into a person in the subject image data in which the face expression of the subject person is detected by the facial expression detection unit 23 to have a predetermined facial expression, and the text image is added to the subject image. Synthesize. Text is a character or symbol that means a voice or a word uttered by a person in the subject image, and there are various text contents (sentences), text size, text color, and font. The text is inserted into the balloon frame.

テキストデータ記憶部30は、文章、文字サイズ、文字色、フォントが異なる各種のテキストデータを記憶している。テキスト挿入部29は、テキストデータ記憶部30に記憶されているテキストの中から、顔表情の種類に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、そのテキストを吹き出し挿入部27が挿入した吹き出しの枠内に自動挿入する。そして、テキスト挿入部29は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。   The text data storage unit 30 stores various types of text data having different sentences, character sizes, character colors, and fonts. The text insertion unit 29 automatically extracts text, character size, and text color suitable for the type of facial expression from the text stored in the text data storage unit 30, and the text insertion unit 27 extracts the text. Automatically inserts into the frame of the inserted callout. Then, when the text insertion is completed, the text insertion unit 29 issues a signal indicating that the text has been inserted.

年代/性別推論部31は、顔検出部21により検出された顔領域の画像に基づき被写体人物の年代/性別を推論する。すなわち、年代/性別推論部31は、被写体人物の顔画像中の各特徴点と、年代/性別データ記憶部32に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代または性別を推論する。そして、年代/性別推論部31は、推論結果、例えば、被写体人物の年代は20歳代、性別は女性という推論データを出力する。年代/性別データ記憶部32は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。   The age / sex inference unit 31 infers the age / sex of the subject person based on the image of the face area detected by the face detection unit 21. That is, the age / gender reasoning unit 31 has the feature amount of each feature point for each feature point in the face image of the subject person and each feature point of the face stored in advance in the age / sex data storage unit 32. The age or gender of the subject person is inferred by comparing color data and color data. Then, the age / sex reasoning unit 31 outputs the reasoning result, for example, reasoning data that the subject person's age is in their 20s and the sex is female. The age / gender data storage unit 32 stores, for example, feature data and color data possessed by feature points such as eyebrows, eyes, nose, and lips for each age of each gender.

年代/性別を推論する方法としては、例えば、特開2004−222118号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。   As a method for inferring age / sex, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-222118 is used, and the above-described feature amount is input to a system called a support vector machine.

イラスト挿入部33は、顔表情検出部23により被写体人物の顔が所定の顔表情であることが検出された被写体画像データ中の人物に対して自動でイラストを挿入し、被写体画像にイラスト画像を合成する。イラストとしては、星形,十字形、涙形、花形などのタイプがある。   The illustration insertion unit 33 automatically inserts an illustration into a person in the subject image data in which the face of the subject person is detected by the facial expression detection unit 23 to have a predetermined facial expression, and adds the illustration image to the subject image. Synthesize. Illustrations include star, cross, teardrop, and flower shapes.

イラストデータ記憶部34は、このような各種のイラストデータを記憶しており、更にタイプ毎にサイズや色が異なるいくつかのデータを記憶している。例えば、星形のイラストであれば、大、中、小の3種類のサイズと金色、銀色の2種類の色とが用意されている。イラスト挿入部33は、イラストデータ記憶部34に記憶されているイラストの中から、顔画像の大きさ、顔表情の種類あるいは顔表情レベルに適したタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入する。このとき、イラスト挿入部33は、イラストの挿入位置、数量についても自動で決定する。そして、イラスト挿入部33は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。   The illustration data storage unit 34 stores such various types of illustration data, and further stores some data having different sizes and colors for each type. For example, in the case of a star-shaped illustration, three types of sizes, large, medium, and small, and two types of colors, gold and silver, are prepared. The illustration insertion unit 33 automatically extracts illustrations of types, sizes, and colors suitable for the size of the facial image, the type of facial expression or the facial expression level from the illustrations stored in the illustration data storage unit 34. Insert an illustration into the subject image. At this time, the illustration insertion unit 33 also automatically determines the illustration insertion position and quantity. When the illustration insertion is completed, the illustration insertion unit 33 generates a signal indicating that the illustration has been inserted.

図2は、被写体人物の顔に吹き出し、テキスト、イラストを挿入した一例を模式的に示す図である。図2に示されるように、被写体人物100の傍には、吹き出し101と、吹き出し101内に書き込まれた「あはははー」というテキスト102とが表示され、被写体人物100の左目の目尻に星形のイラスト103が2つ挿入されている。   FIG. 2 is a diagram schematically illustrating an example in which a balloon, text, and an illustration are inserted into the face of a subject person. As shown in FIG. 2, a balloon 101 and a text 102 “Ahahaha” written in the balloon 101 are displayed near the subject person 100, and a star shape is displayed on the left eye corner of the subject person 100. Two illustrations 103 are inserted.

図3は、吹き出し、テキストの別例であり、図3(a)は、吹き出しの尖った形状で怒りの表情を表し、図3(b)は、吹き出しの雲形によって雨降りの印象を与えて悲しみの表情を表している。もちろん、テキストの内容によってもそれぞれの顔表情を表している。   FIG. 3 is another example of a speech balloon and text. FIG. 3 (a) shows an angry expression with the sharp shape of the speech balloon, and FIG. Represents the expression. Of course, each facial expression is also represented by the content of the text.

データ保存指示部35は、吹き出し挿入部27からの吹き出し挿入済みの信号およびテキスト挿入部29からのテキスト挿入済みの信号に応じて、吹き出しとテキストの挿入がなされた被写体画像データを、吹き出しとテキストが挿入済みであることを示す属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。
また、データ保存指示部35は、イラスト挿入部33からのイラスト挿入済みの信号に応じて、イラスト挿入がなされた被写体画像データをその属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいてイラスト挿入がなされた被写体画像データと、イラスト挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。
The data storage instructing unit 35 converts the subject image data into which the speech balloon and the text have been inserted in accordance with the speech balloon inserted signal from the speech balloon inserting unit 27 and the text inserted signal from the text inserting unit 29 into the speech balloon and the text. Is issued together with attribute data indicating that it has been inserted into the memory 16a. The image recording unit 16 records the inserted subject image data on the basis of the instruction signal and the attribute data indicating the insertion in the memory 16a in association with each other.
Further, the data storage instruction unit 35 issues an instruction signal to store the subject image data into which the illustration has been inserted in the memory 16a together with the attribute data in accordance with the signal with the illustration inserted from the illustration insertion unit 33. The image recording unit 16 records the subject image data on which the illustration has been inserted based on the instruction signal and the attribute data indicating that the illustration has been inserted in the memory 16a in association with each other.

顔表情設定部36は、被写体人物の顔表情の種類や顔表情レベルを外部から設定する操作部であり、笑顔を含む複数の顔表情の設定や顔表情毎のレベルの設定ができる。例えば、顔表情設定部36が顔表情として笑顔を設定すると、画像読出し部20は、画像記録部16のメモリ16aから笑顔の被写体画像データを読み出す。同様に、顔表情設定部36が顔表情レベルとして大笑いを設定すると、画像読出し部20は、画像記録部16のメモリ16aから大笑いの被写体画像データを読み出す。   The facial expression setting unit 36 is an operation unit for externally setting the facial expression type and facial expression level of the subject person, and can set a plurality of facial expressions including a smile and a level for each facial expression. For example, when the facial expression setting unit 36 sets smile as the facial expression, the image reading unit 20 reads the smiling subject image data from the memory 16 a of the image recording unit 16. Similarly, when the facial expression setting unit 36 sets a big smile as the facial expression level, the image reading unit 20 reads the subject image data of the big smile from the memory 16 a of the image recording unit 16.

手動編集部37は、マニュアルにより、被写体画像に挿入された吹き出し、テキスト、イラストの配置場所や数量を変えたり、既に自動挿入されているものを別のものに置き換えるための操作部である。ユーザーは、ディスプレイ42に表示された被写体画像を見ながらこのような手動による操作を行うことができる。   The manual editing unit 37 is an operation unit for manually changing the arrangement location and quantity of the balloons, texts, and illustrations inserted into the subject image, or replacing the already automatically inserted ones with another ones. The user can perform such a manual operation while viewing the subject image displayed on the display 42.

表示制御部41は、ディスプレイ42による表示を制御する。すなわち、表示制御部41は、バッファメモリ14に一時的に記録されている被写体画像の表示、画像記録部16のメモリ16aに保存された被写体画像の再生表示を行なう時の表示態様を制御する。   The display control unit 41 controls display on the display 42. That is, the display control unit 41 controls the display mode when displaying the subject image temporarily recorded in the buffer memory 14 and reproducing and displaying the subject image stored in the memory 16a of the image recording unit 16.

ディスプレイ42は、スルー画像の表示やバッファメモリ14に一時的に記録されている被写体画像、メモリ16aに保存された被写体画像の表示を行い、また、表示制御部41の指令により、被写体画像に関連する属性データの表示などを行う。   The display 42 displays a through image, displays a subject image temporarily recorded in the buffer memory 14, and displays a subject image stored in the memory 16 a, and relates to the subject image according to a command from the display control unit 41. Attribute data to be displayed is displayed.

以上のように構成されたデジタルカメラは、次のように動作する。
最初に、顔表情設定部36によって顔表情として笑顔を設定したとする。撮影が行われ、撮像素子13が被写体画像データを出力すると、顔検出部21がこの被写体画像データの被写体人物画像を顔データ記録部22に記憶された顔データと比較して、被写体人物の顔領域を検出する。顔表情検出部23は、顔検出部21が検出した顔領域の画像を顔表情データ記憶部24の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等の所定の顔表情に相当することを検出する。ここでは、顔表情検出部23は、笑顔を検出したとする。
The digital camera configured as described above operates as follows.
First, it is assumed that a smile is set as a facial expression by the facial expression setting unit 36. When shooting is performed and the image sensor 13 outputs the subject image data, the face detection unit 21 compares the subject person image of the subject image data with the face data stored in the face data recording unit 22 to compare the face of the subject person. Detect areas. The facial expression detection unit 23 compares the face area image detected by the face detection unit 21 with the facial expression data in the facial expression data storage unit 24, and the facial expression of the subject person is “smile”, “crying face” or the like. It is detected that it corresponds to the facial expression. Here, it is assumed that the facial expression detection unit 23 detects a smile.

吹き出し挿入部27は、顔表情検出部23により被写体人物の顔が笑顔であることが検出された被写体画像中の人物の顔付近に、図2に示されるように、その笑顔に相応しい吹き出し101、例えば、丸みを帯びた形状で明るい色の吹き出しを、吹き出しデータ記憶部28に記憶されている吹き出しデータの中から抽出して自動的に挿入し、被写体画像データに吹き出し画像データを合成する。吹き出し挿入部27は、吹き出し挿入が終了すると、吹き出し挿入済みの信号を発する。   The balloon insertion unit 27 is a balloon 101 suitable for the smile, as shown in FIG. 2, near the face of the person in the subject image in which the facial expression detection unit 23 detects that the face of the subject person is smiling. For example, a balloon with a round shape and a bright color is extracted from the balloon data stored in the balloon data storage unit 28 and automatically inserted, and the balloon image data is synthesized with the subject image data. When the insertion of the balloon is completed, the balloon insertion unit 27 issues a signal indicating that the balloon has been inserted.

吹き出し挿入が終わると、テキスト挿入部29は、テキストデータ記憶部30に記憶されているテキストの中から、被写体人物の笑顔に相応しい文章、文字サイズ、文字色のテキストを自動で抽出し、被写体画像中の吹き出しの枠内にテキストを自動挿入し、被写体画像データにテキストデータを合成する。笑顔に相応しいテキストとして、例えば、図2に示したような「あはははー」の笑い声の文字列を赤色で表すものが挙げられる。テキスト挿入部29は、テキスト挿入が終了すると、テキスト挿入済みの信号を発する。   When the balloon insertion is completed, the text insertion unit 29 automatically extracts text, text size, and text color suitable for the smile of the subject person from the text stored in the text data storage unit 30, and the subject image Text is automatically inserted into the frame of the balloon inside, and the text data is combined with the subject image data. As text suitable for a smile, for example, a text string of a laughing voice of “Ahahaha” as shown in FIG. 2 is shown in red. When the text insertion is completed, the text insertion unit 29 issues a signal indicating that the text has been inserted.

続いて、イラスト挿入部33は、イラストデータ記憶部34に記憶されているイラストの中から、被写体人物の笑顔に相応しいタイプ、サイズ、色のイラストを自動で抽出し、被写体画像にイラストを挿入し、被写体画像データにイラストデータを合成する。このとき、イラスト挿入部33は、イラストの挿入位置、数量についても自動で決定する。笑顔に相応しいイラストとして、例えば、図2に示したような星形の輝きイラストを金色で表し、被写体人物100の左目の目尻に2つ配置したものが挙げられる。イラスト挿入部33は、イラスト挿入が終了すると、イラスト挿入済みの信号を発する。なお、笑顔の他に悲しみの顔表情には、エクトプラズム(幽体)をイメージするイラストを用いてもよい。   Subsequently, the illustration insertion unit 33 automatically extracts from the illustrations stored in the illustration data storage unit 34 types, sizes and colors suitable for the smile of the subject person, and inserts the illustration into the subject image. Then, the illustration data is synthesized with the subject image data. At this time, the illustration insertion unit 33 also automatically determines the illustration insertion position and quantity. As an illustration suitable for a smile, for example, a star-shaped glow illustration as shown in FIG. When the illustration insertion unit 33 finishes inserting the illustration, the illustration insertion unit 33 generates a signal indicating that the illustration has been inserted. In addition to smiles, facial expressions of sadness may use illustrations that image ectoplasm.

上記の吹き出し挿入、テキスト挿入及びイラスト挿入が終了すると、図2のような挿入済みの被写体画像データが得られる。
この挿入済みの被写体画像データに基づく再生画像は、ディスプレイ42に表示される。その際に、ユーザーは、必要に応じて、手動編集部37を操作して、ディスプレイ42上の挿入済み被写体画像を見ながら、吹き出し、テキスト、イラストの配置場所や数量を変えたり、例えば、笑顔に相応しいものとして既に挿入されている吹き出しを別のタイプに変更したり、テキストの内容(文章)を変更することができる。
When the above-described balloon insertion, text insertion, and illustration insertion are completed, the inserted subject image data as shown in FIG. 2 is obtained.
A reproduced image based on the inserted subject image data is displayed on the display 42. At that time, if necessary, the user operates the manual editing unit 37 to change the placement location and quantity of the speech balloons, texts, and illustrations while viewing the inserted subject image on the display 42, for example, to smile. It is possible to change a balloon already inserted as appropriate to another type, or change the text content (sentence).

データ保存指示部35は、吹き出し挿入部27からの吹き出し挿入済みの信号、テキスト挿入部29からのテキスト挿入済みの信号、イラスト挿入部33からのイラスト挿入済みの信号に応じて、吹き出し、テキスト及びイラストの挿入がなされた被写体画像データをその属性データとともにメモリ16aに保存せよとの指示信号を発する。画像記録部16は、その指示信号に基づいて挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録する。なお、吹き出し、テキスト及びイラストの挿入がなされていないオリジナルの被写体画像データは、その属性データとともにそのままメモリ16aに保存されている。したがって、吹き出し、テキスト、イラストが表示されると煩わしいときなどは、オリジナルの被写体画像を表示してもよい。   The data storage instructing unit 35 responds to the speech balloon, text, and text inserted from the speech balloon insertion unit 27, the text inserted signal from the text insertion unit 29, and the illustration inserted signal from the illustration insertion unit 33. An instruction signal is issued to save the subject image data into which the illustration has been inserted in the memory 16a together with the attribute data. The image recording unit 16 records the inserted subject image data on the basis of the instruction signal and the attribute data indicating the insertion in the memory 16a in association with each other. Note that the original subject image data into which no balloon, text, or illustration has been inserted is stored in the memory 16a as it is along with its attribute data. Accordingly, when it is troublesome to display a balloon, text, or illustration, the original subject image may be displayed.

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
(1)被写体人物の笑顔が検出された被写体画像中に、吹き出し挿入及びテキスト挿入を行うことにより、被写体人物の嬉しい感情をあたかも被写体人物が発する言葉として瞬時に明瞭に伝えられる画像となる。
(2)被写体人物の笑顔が検出された被写体画像中に、イラスト挿入を行うことにより、被写体人物の表情に豊かさが与えられ、見て楽しい画像となる。
The digital camera according to the present embodiment has the following operational effects.
(1) By inserting a balloon and text in a subject image in which the smile of the subject person is detected, an image that can instantly and clearly convey the joyful feeling of the subject person as if it were a word issued by the subject person.
(2) Inserting an illustration into the subject image in which the smile of the subject person has been detected gives richness to the facial expression of the subject person and makes the image fun to see.

本実施の形態によるデジタルカメラは、更に以下の動作も可能である。
(1)上述した実施の形態では、顔表情検出部23が笑顔を検出した被写体画像について吹き出しやテキストの挿入を行うものであったが、顔表情が同じ笑顔であっても中位の笑いと大笑いとではテキストの内容(台詞)が異なる方が自然である。
例えば、顔表情検出部23が笑顔を検出し、「あはははー」という笑い声のテキストが挿入されている被写体画像について、顔表情レベル判定部25が被写体人物の笑顔レベルが大笑いであると判定した場合、その被写体画像には大笑いに相応しい「わっはははは!」という笑い声のテキストがより適している。この場合、テキスト挿入部29は、顔表情レベル判定部25からの判定信号に基づきテキストの変更を行い、画像記録部16は、被写体画像データと、被写体人物の笑顔レベルが大笑いであることを表す属性データとを関連付けてメモリ16aに記録する。また、イラスト挿入部33は、その笑顔レベルに応じて、図2のイラスト103の数を増減したり、イラスト103の大きさを変えることができる。
The digital camera according to the present embodiment can also perform the following operations.
(1) In the above-described embodiment, the facial expression detection unit 23 inserts a speech balloon or text on the subject image for which a smile is detected. It is natural that the content of the text (sentence) is different from that of laughter.
For example, the facial expression detection unit 23 detects a smile and the facial expression level determination unit 25 determines that the smile level of the subject person is a big laughter for the subject image in which the text of a laughing voice “Ahahaha” is inserted. In that case, a text of a laughing voice “Wawahaha!” Suitable for a big laughter is more suitable for the subject image. In this case, the text insertion unit 29 changes the text based on the determination signal from the facial expression level determination unit 25, and the image recording unit 16 indicates that the subject image data and the smile level of the subject person are laughing. The attribute data is associated and recorded in the memory 16a. Also, the illustration insertion unit 33 can increase or decrease the number of illustrations 103 in FIG. 2 or change the size of the illustrations 103 according to the smile level.

(2)被写体画像中に複数の被写体人物が存在する場合は、顔表情検出部23は、各々の被写体人物の顔表情を検出し、例えば顔表情設定部36によって所定の顔表情として笑顔が設定されていた場合は、笑顔が検出された個々の人物画像について、それぞれ吹き出し及びテキストを自動挿入することもできる。 (2) When there are a plurality of subject persons in the subject image, the facial expression detection unit 23 detects the facial expression of each subject person, and for example, the facial expression setting unit 36 sets a smile as a predetermined facial expression. If it is, a speech balloon and text can be automatically inserted for each person image for which a smile is detected.

(3)上述した実施の形態では、顔表情検出部23が笑顔を検出した被写体画像に吹き出しやテキストの挿入を行うものであったが、年代/性別推論部31が被写体人物の年代及び性別の少なくとも一方を推論し、その推論結果に基づいて、吹き出し挿入部27が吹き出しの形状、色を変更するように構成してもよい。例えば、年代/性別推論部31により被写体人物は20歳代、女性との推論結果が出ると、若い女性に合わせて吹き出しの色を水色からピンク色に変更する。同様に、テキストの文字色も青系統の色から赤系統の色に変更する。これにより、同じ笑顔であっても、被写体人物の年代、性別により適した吹き出し、テキストを挿入することができる。画像記録部16は、被写体画像データと、被写体人物の笑顔と年代/性別を表す属性データとを関連付けてメモリ16aに記録する。 (3) In the above-described embodiment, the facial expression detection unit 23 inserts a speech balloon or text into the subject image for which a smile has been detected. However, the age / sex reasoning unit 31 determines the age and sex of the subject person. It may be configured such that at least one is inferred, and the balloon insertion unit 27 changes the shape and color of the balloon based on the inference result. For example, when the inferred result of the subject person is in his twenties and a woman is obtained by the age / sex reasoning unit 31, the color of the balloon is changed from light blue to pink according to the young woman. Similarly, the text color of the text is changed from the blue color to the red color. Thereby, even if it is the same smile, the speech balloon and the text suitable for the age and gender of the subject person can be inserted. The image recording unit 16 records the subject image data and the attribute data representing the age and sex of the subject person in the memory 16a in association with each other.

本実施の形態によるデジタルカメラは、以下のように変形することができる。
(1)上述した実施の形態では、被写体画像データをメモリ16aに記録する前に、吹き出し挿入部27による吹き出し挿入とテキスト挿入部29によるテキスト挿入とイラスト挿入部33によるイラスト挿入とを行い、挿入済みの被写体画像データを画像記録部16がメモリ16aに記録するものであった。
The digital camera according to the present embodiment can be modified as follows.
(1) In the embodiment described above, before the subject image data is recorded in the memory 16a, the balloon insertion by the balloon insertion unit 27, the text insertion by the text insertion unit 29, and the illustration insertion by the illustration insertion unit 33 are performed. The image recording unit 16 records the completed subject image data in the memory 16a.

この変形例では、撮像素子13からの被写体画像データは、被写体人物の笑顔検出動作をせずに、メモリ16aに記録される。その後で、画像読出し部20は、メモリ16aに記録された被写体画像データを読み出し、顔表情検出部23は、読み出された被写体画像データの被写体人物の笑顔を検出する。そして、笑顔が検出された被写体画像データの人物画像について、本実施の形態と同様に、吹き出し挿入、テキスト挿入、イラスト挿入を行い、挿入済みの被写体画像データをメモリ16aに記録する。このように、メモリ16aに記録された被写体画像データを読み出して、笑顔検出、吹き出し挿入、テキスト挿入、イラスト挿入を行うことも可能である。   In this modification, the subject image data from the image sensor 13 is recorded in the memory 16a without performing the smile detection operation of the subject person. Thereafter, the image reading unit 20 reads the subject image data recorded in the memory 16a, and the facial expression detection unit 23 detects the smile of the subject person in the read subject image data. Then, for the person image of the subject image data in which a smile is detected, balloon insertion, text insertion, and illustration insertion are performed as in the present embodiment, and the inserted subject image data is recorded in the memory 16a. In this way, it is possible to read out subject image data recorded in the memory 16a and perform smile detection, balloon insertion, text insertion, and illustration insertion.

(2)上述した実施の形態では、吹き出し挿入とテキスト挿入を同時に行うものであったが、吹き出し挿入の後にテキスト挿入を行うことも可能である。
(3)上述した実施の形態では、吹き出し挿入、テキスト挿入、イラスト挿入の3者すべてを行うものとして説明したが、デジタルカメラを吹き出し挿入とテキスト挿入だけを行う構成としてもよいし、イラスト挿入だけを行う構成としてもよい。
(4)上述した実施の形態では、画像記録部16は、挿入済みの被写体画像データと、挿入済みであることを表す属性データとを関連付けてメモリ16aに記録するものであったが、そのような属性データを付さずに挿入済みの被写体画像データを特定のフォルダに保存するようにしてもよい。後で画像データを読み出す場合、挿入済みであることを表す属性データを付さなくとも、挿入済みの被写体画像データは特定のフォルダに保存されているので、読み出しには便利である。
(5)上述した実施の形態では、笑顔に相応しい形状と色を有する吹き出しを挿入するものであったが、形状及び色の一方が笑顔に相応しければ、その吹き出しを挿入してもよい。
(6)また、上述した実施の形態では、年代/性別推論部31による推論結果に基づいて吹き出しの形状、色を変更し、テキストの文字色も変更するものであったが、吹き出し及びテキストの一方のみを変更する構成としてもよい。
(2) In the above-described embodiment, the balloon insertion and the text insertion are performed at the same time, but it is also possible to perform the text insertion after the balloon insertion.
(3) In the above-described embodiment, it has been described that all three of balloon insertion, text insertion, and illustration insertion are performed. However, the digital camera may be configured to perform only balloon insertion and text insertion, or only illustration insertion. It is good also as composition which performs.
(4) In the above-described embodiment, the image recording unit 16 records the inserted subject image data and the attribute data indicating the insertion in the memory 16a in association with each other. The subject image data that has already been inserted may be stored in a specific folder without adding any attribute data. When the image data is read later, the inserted subject image data is stored in a specific folder without adding the attribute data indicating that it has been inserted, which is convenient for reading.
(5) In the above-described embodiment, a balloon having a shape and color suitable for a smile is inserted. However, if one of the shape and color corresponds to a smile, the balloon may be inserted.
(6) In the above-described embodiment, the shape and color of the speech balloon are changed based on the inference result by the age / gender reasoning unit 31 and the text color of the text is also changed. It is good also as composition which changes only one side.

上述した実施の形態では、デジタルカメラについて説明したが、本発明は、図1において、撮影手段、バッファメモリ14および画像処理部15を有さない画像処理装置やアプリケーションソフトウエア(画像閲覧編集ソフト)にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
In the above-described embodiment, the digital camera has been described. However, in the present invention, the image processing apparatus and application software (image viewing / editing software) that does not include the photographing unit, the buffer memory 14, and the image processing unit 15 in FIG. It is also applicable to.
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.

16:画像記録部 16a:メモリ
20:画像読出し部 23:顔表情検出部
24:顔表情データ記憶部 25:顔表情レベル判定部
26:顔表情レベルデータ記憶部 27:吹き出し挿入部
28:吹き出しデータ記憶部 29:テキスト挿入部
30:テキストデータ記憶部 31:年代/性別推論部
32:年代/性別データ記憶部 33:イラスト挿入部
34:イラストデータ記憶部 35:データ保存指示部
36:顔表情設定部 37:手動編集部

16: Image recording unit 16a: Memory 20: Image reading unit 23: Facial expression detection unit 24: Facial expression data storage unit 25: Facial expression level determination unit 26: Facial expression level data storage unit 27: Speech balloon insertion unit 28: Speech balloon data Storage unit 29: Text insertion unit 30: Text data storage unit 31: Age / gender reasoning unit 32: Age / gender data storage unit 33: Illustration insertion unit 34: Illustration data storage unit 35: Data storage instruction unit 36: Facial expression setting Part 37: Manual editing part

Claims (14)

被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色の少なくとも一方を有する吹き出しを自動挿入する吹き出し挿入手段と、
前記顔表情検出手段が検出した前記所定の顔表情に相応しいテキストを前記吹き出し内へ自動挿入するテキスト挿入手段と、
前記吹き出し挿入手段により前記吹き出しが挿入され、前記テキスト挿入手段により前記テキストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
Facial expression detection means for detecting that the facial expression of the subject person in the subject image data is a predetermined facial expression;
Balloon insertion means for automatically inserting a balloon having at least one of a shape and a color suitable for the predetermined facial expression into the subject image data detected by the facial expression detection means as the predetermined facial expression;
Text insertion means for automatically inserting text suitable for the predetermined facial expression detected by the facial expression detection means into the balloon;
Display means for displaying a reproduction image based on the inserted subject image data into which the balloon is inserted by the balloon insertion means and the text is inserted by the text insertion means;
An image processing apparatus comprising: storage means for storing the inserted subject image data.
請求項1に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記被写体画像データが前記記憶手段に記憶される前に、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに前記テキスト挿入手段が前記テキストの自動挿入とを行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The storage means further stores the subject image data,
2. An image processing apparatus according to claim 1, wherein before the subject image data is stored in the storage unit, the balloon insertion unit automatically inserts the balloon and the text insertion unit performs automatic insertion of the text.
請求項1に記載の画像処理装置において、
前記記憶手段は、更に前記被写体画像データを記憶し、
前記記憶手段から読み出された前記被写体画像データについて、前記吹き出し挿入手段が前記吹き出しの自動挿入を行うとともに、前記テキスト挿入手段が前記テキストの自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The storage means further stores the subject image data,
An image processing apparatus, wherein the balloon insertion unit automatically inserts the balloon and the text insertion unit automatically inserts the text for the subject image data read from the storage unit.
請求項1に記載の画像処理装置において、
前記吹き出し挿入手段による前記吹き出しの自動挿入と、前記テキスト挿入手段による前記テキストの自動挿入とを同時に行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
An image processing apparatus that performs automatic insertion of the balloon by the balloon insertion unit and automatic insertion of the text by the text insertion unit at the same time.
請求項1に記載の画像処理装置において、
前記テキスト挿入手段は、前記吹き出し挿入手段による前記吹き出しの自動挿入の後に、前記テキストの自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image processing apparatus, wherein the text insertion means automatically inserts the text after the speech balloon is automatically inserted by the speech balloon insertion means.
請求項1に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の顔表情の度合いが所定の顔表情レベルに対応することを判定するレベル判定手段を更に備え、
前記テキスト挿入手段は、前記レベル判定手段が判定した顔表情レベルに基づいて前記テキストの内容を変更して前記自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
Level determination means for determining that the degree of facial expression of the subject person in the subject image data corresponds to a predetermined facial expression level;
The image processing apparatus, wherein the text insertion unit performs the automatic insertion by changing the content of the text based on the facial expression level determined by the level determination unit.
請求項1に記載の画像処理装置において、
前記顔表情検出手段は、前記被写体画像データ中の複数の被写体人物の各々の顔について前記所定の顔表情であることを検出し、
前記吹き出し挿入手段及び前記テキスト挿入手段は、前記顔表情検出手段により前記所定の顔表情であることが検出された被写体人物の各々について、それぞれ前記吹き出し及び前記テキストを自動挿入することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The facial expression detection means detects that the face expression of each of a plurality of subject persons in the subject image data is the predetermined facial expression;
The speech balloon insertion means and the text insertion means automatically insert the speech balloon and the text for each of the subject persons detected by the facial expression detection means as the predetermined facial expression, respectively. Image processing device.
請求項1に記載の画像処理装置において、
前記テキスト挿入手段は、前記顔表情検出手段が検出した前記所定の顔表情に応じて、前記テキストの内容と文字サイズと文字色との少なくとも1つを変更して前記自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The text insertion unit performs the automatic insertion by changing at least one of the text content, character size, and character color according to the predetermined facial expression detected by the facial expression detection unit. An image processing apparatus.
請求項1に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記吹き出し挿入手段は、前記推論手段の推論結果に基づき、前記吹き出しの形状および色の少なくとも一方を変更して前記自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
An inference means for inferring at least one of the age and sex of the subject person in the subject image data;
The image processing apparatus, wherein the balloon insertion unit performs the automatic insertion by changing at least one of a shape and a color of the balloon based on an inference result of the inference unit.
請求項1に記載の画像処理装置において、
前記被写体画像データ中の被写体人物の年代と性別との少なくとも一方を推論する推論手段をさらに備え、
前記テキスト挿入手段は、前記推論手段の推論結果に基づき、前記テキストの文字色を変更して前記自動挿入を行うことを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
An inference means for inferring at least one of the age and sex of the subject person in the subject image data;
The image processing apparatus according to claim 1, wherein the text insertion unit performs the automatic insertion by changing a character color of the text based on an inference result of the inference unit.
被写体画像データ中の被写体人物の顔表情が所定の顔表情であることを検出する顔表情検出手段と、
前記顔表情検出手段により前記所定の顔表情であると検出された前記被写体画像データに、前記所定の顔表情に相応しい形状および色を有するイラストを自動挿入するイラスト挿入手段と、
前記イラスト挿入手段によりイラストが挿入された挿入済みの被写体画像データに基づく再生画像を表示する表示手段と、
前記挿入済みの被写体画像データを記憶する記憶手段と、を備えることを特徴とする画像処理装置。
Facial expression detection means for detecting that the facial expression of the subject person in the subject image data is a predetermined facial expression;
Illustration insertion means for automatically inserting an illustration having a shape and color suitable for the predetermined facial expression into the subject image data detected by the facial expression detection means as the predetermined facial expression;
Display means for displaying a reproduction image based on the inserted subject image data into which the illustration is inserted by the illustration insertion means;
An image processing apparatus comprising: storage means for storing the inserted subject image data.
請求項1〜11のいずれか1項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データを特定のフォルダに記憶することを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 11,
The image processing apparatus, wherein the storage unit stores the inserted subject image data in a specific folder.
請求項1〜11のいずれか1項に記載の画像処理装置において、
前記記憶手段は、前記挿入済みの被写体画像データと、前記挿入済みを表す属性データとを互いに関連付けて記憶することを特徴とする画像処理装置。
The image processing apparatus according to any one of claims 1 to 11,
The storage means stores the inserted subject image data and the attribute data indicating the inserted in association with each other.
請求項1〜13のいずれか1項に記載の画像処理装置を備えるデジタルカメラ。
A digital camera comprising the image processing apparatus according to claim 1.
JP2009015861A 2009-01-27 2009-01-27 Image processor and digital camera Pending JP2010176224A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009015861A JP2010176224A (en) 2009-01-27 2009-01-27 Image processor and digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009015861A JP2010176224A (en) 2009-01-27 2009-01-27 Image processor and digital camera

Publications (1)

Publication Number Publication Date
JP2010176224A true JP2010176224A (en) 2010-08-12

Family

ID=42707172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009015861A Pending JP2010176224A (en) 2009-01-27 2009-01-27 Image processor and digital camera

Country Status (1)

Country Link
JP (1) JP2010176224A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329505A1 (en) * 2009-06-30 2010-12-30 Kabushiki Kaisha Toshiba Image processing apparatus and method for processing image
JP2011086248A (en) * 2009-10-19 2011-04-28 Canon Inc Apparatus and method for processing information
JP2012156647A (en) * 2011-01-24 2012-08-16 Nikon Corp Digital camera and electronic apparatus with camera
JP2013197753A (en) * 2012-03-16 2013-09-30 Casio Comput Co Ltd Imaging apparatus and program
JPWO2020129959A1 (en) * 2018-12-18 2021-11-04 グリー株式会社 Computer program, server device, terminal device and display method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305893A (en) * 1995-05-10 1996-11-22 Casio Comput Co Ltd Image controller
JP2001051338A (en) * 1999-08-12 2001-02-23 Canon Inc Camera
JP2004015478A (en) * 2002-06-07 2004-01-15 Nec Corp Speech communication terminal device
JP2005091463A (en) * 2003-09-12 2005-04-07 Toshiba Corp Information processing device
JP2005124169A (en) * 2003-09-26 2005-05-12 Matsushita Electric Ind Co Ltd Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein
JP2007027990A (en) * 2005-07-13 2007-02-01 Canon Inc Apparatus and method, and program for generating caption from moving picture data, and storage medium
JP2007122533A (en) * 2005-10-31 2007-05-17 Seiko Epson Corp Comment layout for image
JP2008042319A (en) * 2006-08-02 2008-02-21 Sony Corp Imaging apparatus and method, and facial expression evaluating device and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305893A (en) * 1995-05-10 1996-11-22 Casio Comput Co Ltd Image controller
JP2001051338A (en) * 1999-08-12 2001-02-23 Canon Inc Camera
JP2004015478A (en) * 2002-06-07 2004-01-15 Nec Corp Speech communication terminal device
JP2005091463A (en) * 2003-09-12 2005-04-07 Toshiba Corp Information processing device
JP2005124169A (en) * 2003-09-26 2005-05-12 Matsushita Electric Ind Co Ltd Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein
JP2007027990A (en) * 2005-07-13 2007-02-01 Canon Inc Apparatus and method, and program for generating caption from moving picture data, and storage medium
JP2007122533A (en) * 2005-10-31 2007-05-17 Seiko Epson Corp Comment layout for image
JP2008042319A (en) * 2006-08-02 2008-02-21 Sony Corp Imaging apparatus and method, and facial expression evaluating device and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100329505A1 (en) * 2009-06-30 2010-12-30 Kabushiki Kaisha Toshiba Image processing apparatus and method for processing image
JP2011013384A (en) * 2009-06-30 2011-01-20 Toshiba Corp Image processing device and image processing method
JP4660611B2 (en) * 2009-06-30 2011-03-30 株式会社東芝 Image processing apparatus and image processing method
US8391544B2 (en) * 2009-06-30 2013-03-05 Kabushiki Kaisha Toshiba Image processing apparatus and method for processing image
JP2011086248A (en) * 2009-10-19 2011-04-28 Canon Inc Apparatus and method for processing information
JP2012156647A (en) * 2011-01-24 2012-08-16 Nikon Corp Digital camera and electronic apparatus with camera
JP2013197753A (en) * 2012-03-16 2013-09-30 Casio Comput Co Ltd Imaging apparatus and program
JPWO2020129959A1 (en) * 2018-12-18 2021-11-04 グリー株式会社 Computer program, server device, terminal device and display method
JP7278307B2 (en) 2018-12-18 2023-05-19 グリー株式会社 Computer program, server device, terminal device and display method

Similar Documents

Publication Publication Date Title
US7634106B2 (en) Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP4762827B2 (en) Electronic album generation apparatus, electronic album generation method, and program thereof
TWI374668B (en)
JP5084938B2 (en) Image extraction apparatus, image extraction method, and image extraction program
JP5195120B2 (en) Digital camera
JP2009141516A (en) Image display device, camera, image display method, program, image display system
JP2010176224A (en) Image processor and digital camera
CN107820018A (en) User&#39;s photographic method, device and equipment
JP5304294B2 (en) Electronic still camera
JP5272797B2 (en) Digital camera
JP2006121661A (en) Synthesized image generation method and apparatus, and program
JP5157704B2 (en) Electronic still camera
KR101742779B1 (en) System for making dynamic digital image by voice recognition
JP2006277731A (en) Image extracting device, image extracting method, and image extracting program
JP2010219740A (en) Image processing unit and digital camera
JP2006349845A (en) Electronic book display device
JP5157761B2 (en) Electronic still camera
JP2010226484A (en) Image display and digital camera
JP5200959B2 (en) Digital camera
JP5526620B2 (en) Digital camera
JP2010226485A (en) Image processing apparatus and digital camera
JP2010176217A (en) Image correction device and digital camera
JP5434096B2 (en) Digital camera
JP2017211995A (en) Device, method, and program for playback, and device, method, and program for sound summarization
JP5293223B2 (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130409