JP2008084213A5 - - Google Patents

Download PDF

Info

Publication number
JP2008084213A5
JP2008084213A5 JP2006265951A JP2006265951A JP2008084213A5 JP 2008084213 A5 JP2008084213 A5 JP 2008084213A5 JP 2006265951 A JP2006265951 A JP 2006265951A JP 2006265951 A JP2006265951 A JP 2006265951A JP 2008084213 A5 JP2008084213 A5 JP 2008084213A5
Authority
JP
Japan
Prior art keywords
image
facial expression
unit
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006265951A
Other languages
Japanese (ja)
Other versions
JP2008084213A (en
JP4973098B2 (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2006265951A priority Critical patent/JP4973098B2/en
Priority claimed from JP2006265951A external-priority patent/JP4973098B2/en
Publication of JP2008084213A publication Critical patent/JP2008084213A/en
Publication of JP2008084213A5 publication Critical patent/JP2008084213A5/ja
Application granted granted Critical
Publication of JP4973098B2 publication Critical patent/JP4973098B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

画像信号を処理する画像処理装置において、
画像信号の入力を受ける画像入力部と、
前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得する顔情報取得部と、
前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部と、
を有することを特徴とする画像処理装置。
In an image processing apparatus that processes an image signal,
An image input unit for receiving image signals;
A facial information acquisition unit that acquires facial expression determination information that is a determination result of facial expression of a person included in an image based on an input image signal to the image input unit;
An image effect processing unit that performs a process of giving an image effect according to the facial expression determination information to the input image signal;
An image processing apparatus comprising:
前記表情判定情報には、特定の種類の表情に画像中の顔の表情がどれだけ近いかの度合いを示す表情強度情報が含まれ、
前記画像効果処理部は、前記表情強度情報に応じて異なる画像効果を与えることを特徴とする請求項1記載の画像処理装置。
The facial expression determination information includes facial expression strength information indicating the degree to which a facial expression in the image is close to a specific type of facial expression,
The image processing apparatus according to claim 1, wherein the image effect processing unit provides different image effects according to the expression intensity information.
前記表情判定情報には、画像中の顔の表情が複数種類のうちのどの表情であるかを示す表情種別情報が含まれ、
前記画像効果処理部は、前記表情種別情報に応じて異なる画像効果を与えることを特徴とする請求項1記載の画像処理装置。
The facial expression determination information includes facial expression type information indicating which facial expression in the image is one of a plurality of types,
The image processing apparatus according to claim 1, wherein the image effect processing unit provides different image effects according to the expression type information.
前記表情判定情報には、画像中の顔の位置を示す顔位置情報が含まれ、
前記画像効果処理部は、前記顔位置情報に基づいて、画像中の顔の背景領域に対して、前記表情判定情報に応じた画像効果を与えることを特徴とする請求項1記載の画像処理装置。
The facial expression determination information includes face position information indicating the position of the face in the image,
The image processing apparatus according to claim 1, wherein the image effect processing unit gives an image effect corresponding to the expression determination information to a background region of a face in the image based on the face position information. .
前記画像効果処理部は、前記背景領域の明るさまたは色の少なくとも一方を前記表情判定情報に応じて変化させることを特徴とする請求項4記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the image effect processing unit changes at least one of brightness and color of the background area according to the facial expression determination information. 前記画像効果処理部は、画像中に前記表情判定情報に応じて異なる画像を合成することを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the image effect processing unit synthesizes different images in the image according to the facial expression determination information. 前記画像効果処理部から出力される画像信号を基にモニタ表示用の表示信号を生成する表示処理部をさらに有し、
前記画像入力部は、記録媒体から読み出した画像信号の入力を受け付け、
前記顔情報取得部は、前記表情判定情報を、前記入力画像信号に対応するメタデータとして前記記録媒体から読み出すことを特徴とする請求項1記載の画像処理装置。
A display processing unit that generates a display signal for monitor display based on the image signal output from the image effect processing unit;
The image input unit receives an input of an image signal read from a recording medium,
The image processing apparatus according to claim 1, wherein the face information acquisition unit reads the facial expression determination information from the recording medium as metadata corresponding to the input image signal.
ユーザ操作によって入力された検索要求情報に基づいて前記記録媒体に記録された前記メタデータを検索して、前記検索要求情報に合致する前記表情判定情報を持つ画像信号を前記画像入力部に供給する画像検索部をさらに有することを特徴とする請求項7記載の画像処理装置。   The metadata recorded on the recording medium is searched based on search request information input by a user operation, and an image signal having the facial expression determination information that matches the search request information is supplied to the image input unit. The image processing apparatus according to claim 7, further comprising an image search unit. 前記記録媒体内の前記メタデータには、画像に含まれる顔がどの人物なのかを識別する人物識別情報がさらに含まれており、
また、
ユーザ操作によって入力された検索要求情報に基づいて前記記録媒体に記録された前記メタデータを検索して、前記検索要求情報に合致する前記人物識別情報を持つ画像信号を前記画像入力部に供給する画像検索部をさらに有することを特徴とする請求項7記載の画像処理装置。
The metadata in the recording medium further includes person identification information for identifying which person the face included in the image is,
Also,
The metadata recorded on the recording medium is searched based on search request information input by a user operation, and an image signal having the person identification information that matches the search request information is supplied to the image input unit. The image processing apparatus according to claim 7, further comprising an image search unit.
前記記録媒体に動画像信号が記録されていた場合、当該動画像信号に対応する前記メタデータには、当該動画像信号から顔が検出された期間を示す顔検出期間情報が記録され、
前記画像効果処理部は、前記顔検出期間情報に基づいて、前記画像入力部に入力される前記動画像信号に対して、顔が検出されている期間のみ前記表情判定情報に応じた画像効果を与えることを特徴とする請求項7記載の画像処理装置。
When a moving image signal is recorded on the recording medium, face detection period information indicating a period in which a face is detected from the moving image signal is recorded in the metadata corresponding to the moving image signal,
The image effect processing unit performs an image effect corresponding to the facial expression determination information only during a period in which a face is detected on the moving image signal input to the image input unit based on the face detection period information. The image processing apparatus according to claim 7, wherein the image processing apparatus is provided.
固体撮像素子を用いて画像を撮像し、撮像により得られた画像信号を前記記録媒体に記録する撮像処理部と、
画像信号の前記記録媒体への記録と並行して、その画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部と、
前記表情判定部による判定結果に基づく前記表情判定情報を、前記記録媒体に記録した画像信号の前記メタデータとして当該記録媒体に記録するメタデータ記録処理部と、
をさらに有することを特徴とする請求項7記載の画像処理装置。
An imaging processing unit that captures an image using a solid-state image sensor and records an image signal obtained by the imaging on the recording medium;
In parallel with recording the image signal on the recording medium, a facial expression determination unit that detects a face included in the image based on the image signal and determines the facial expression;
A metadata recording processing unit that records the facial expression determination information based on the determination result by the facial expression determination unit on the recording medium as the metadata of the image signal recorded on the recording medium;
The image processing apparatus according to claim 7, further comprising:
前記固体撮像素子での撮像により得られた画像信号から検出された顔がどの人物なのかを識別して人物識別情報を生成する人物識別部をさらに有し、
前記メタデータ記録処理部は、前記人物識別情報を前記表情判定情報とともに前記メタデータとして前記記録媒体に記録することを特徴とする請求項11記載の画像処理装置。
Further comprising a person identifying unit for identifying which person the face detected from the image signal obtained by imaging with the solid-state image sensor and generating person identification information;
12. The image processing apparatus according to claim 11, wherein the metadata recording processing unit records the person identification information together with the facial expression determination information as the metadata on the recording medium.
前記固体撮像素子での撮像により得られた動画像信号を前記記録媒体に記録する場合、前記メタデータ記録処理部は、当該動画像信号から顔が検出された期間を示す顔検出期間情報を、前記表情判定情報とともに前記メタデータとして前記記録媒体に記録することを特徴とする請求項11記載の画像処理装置。   When recording a moving image signal obtained by imaging with the solid-state imaging device on the recording medium, the metadata recording processing unit includes face detection period information indicating a period in which a face is detected from the moving image signal. The image processing apparatus according to claim 11, wherein the image processing apparatus records the metadata together with the facial expression determination information on the recording medium. 前記画像入力部への前記入力画像信号に対応する前記表情判定情報が前記記録媒体に記録されていない場合に、当該入力画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部をさらに有し、
前記顔情報取得部は、前記表情判定情報を前記表情判定部の判定結果として取得することを特徴とする請求項7記載の画像処理装置。
An expression for detecting a face included in an image based on the input image signal and determining the expression when the expression determination information corresponding to the input image signal to the image input unit is not recorded on the recording medium A determination unit;
The image processing apparatus according to claim 7, wherein the face information acquisition unit acquires the facial expression determination information as a determination result of the facial expression determination unit.
前記入力画像信号に基づく画像に含まれる顔を検出してその表情を判定する表情判定部をさらに有し、
前記顔情報取得部は、前記表情判定情報を前記表情判定部による判定結果として取得することを特徴とする請求項1記載の画像処理装置。
A facial expression determination unit for detecting a face included in the image based on the input image signal and determining the facial expression;
The image processing apparatus according to claim 1, wherein the face information acquisition unit acquires the facial expression determination information as a determination result by the facial expression determination unit.
固体撮像素子を用いて画像を撮像する撮像部をさらに有し、
前記画像入力部には、前記撮像部での撮像により得られた画像信号が入力されることを特徴とする請求項15記載の画像処理装置。
It further has an imaging unit that captures an image using a solid-state imaging device,
The image processing apparatus according to claim 15, wherein an image signal obtained by imaging by the imaging unit is input to the image input unit.
前記画像効果処理部から出力される画像信号を記録媒体に記録する画像記録部をさらに有することを特徴とする請求項16記載の画像処理装置。   The image processing apparatus according to claim 16, further comprising an image recording unit that records an image signal output from the image effect processing unit on a recording medium. 前記画像入力部は、記録媒体から読み出した画像信号の入力を受け付けることを特徴とする請求項15記載の画像処理装置。  The image processing apparatus according to claim 15, wherein the image input unit receives an input of an image signal read from a recording medium. 画像信号を処理するための画像処理方法において、  In an image processing method for processing an image signal,
画像入力部が、画像信号の入力を受け、  The image input unit receives the input of the image signal,
顔情報取得部が、前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得し、  A face information acquisition unit acquires facial expression determination information that is a determination result of facial expression of a person included in an image based on an input image signal to the image input unit;
画像効果処理部が、前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す、  An image effect processing unit performs a process of giving an image effect according to the expression determination information to the input image signal.
ことを特徴とする画像処理方法。  An image processing method.
画像信号に対する処理をコンピュータに実行させる画像処理プログラムにおいて、  In an image processing program for causing a computer to execute processing on an image signal,
画像信号の入力を受ける画像入力部、  An image input unit for receiving image signals;
前記画像入力部に対する入力画像信号に基づく画像に含まれる人物の顔の表情の判定結果である表情判定情報を取得する顔情報取得部、  A facial information acquisition unit that acquires facial expression determination information that is a determination result of facial expression of a person included in an image based on an input image signal to the image input unit;
前記入力画像信号に対して、前記表情判定情報に応じた画像効果を与える処理を施す画像効果処理部、  An image effect processing unit that performs a process of giving an image effect corresponding to the facial expression determination information to the input image signal;
として前記コンピュータを機能させることを特徴とする画像処理プログラム。  An image processing program for causing the computer to function as:
JP2006265951A 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program Active JP4973098B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006265951A JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006265951A JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Publications (3)

Publication Number Publication Date
JP2008084213A JP2008084213A (en) 2008-04-10
JP2008084213A5 true JP2008084213A5 (en) 2009-07-23
JP4973098B2 JP4973098B2 (en) 2012-07-11

Family

ID=39354984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006265951A Active JP4973098B2 (en) 2006-09-28 2006-09-28 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP4973098B2 (en)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124206A (en) * 2007-11-12 2009-06-04 Mega Chips Corp Multimedia composing data generation device
JP5083559B2 (en) * 2008-06-02 2012-11-28 カシオ計算機株式会社 Image composition apparatus, image composition method, and program
JP5185027B2 (en) * 2008-09-01 2013-04-17 オリンパスイメージング株式会社 Image display device, imaging device, image display method, and imaging method
JP4770929B2 (en) 2009-01-14 2011-09-14 ソニー株式会社 Imaging apparatus, imaging method, and imaging program.
JP5279520B2 (en) * 2009-01-20 2013-09-04 キヤノン株式会社 Moving image processing apparatus, moving image processing method, program, and storage medium
JP5293223B2 (en) * 2009-01-27 2013-09-18 株式会社ニコン Digital camera
JP5200959B2 (en) * 2009-01-27 2013-06-05 株式会社ニコン Digital camera
JP5353293B2 (en) * 2009-02-23 2013-11-27 株式会社ニコン Image processing apparatus and electronic still camera
JP5321173B2 (en) * 2009-03-18 2013-10-23 カシオ計算機株式会社 Image reproducing apparatus and program
JP5178662B2 (en) * 2009-07-31 2013-04-10 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506273B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506272B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5506274B2 (en) * 2009-07-31 2014-05-28 富士フイルム株式会社 Image processing apparatus and method, data processing apparatus and method, and program
JP5423219B2 (en) * 2009-08-05 2014-02-19 日本電気株式会社 Portable terminal device, image management method and program
JP2011147119A (en) 2009-12-14 2011-07-28 Panasonic Corp Image processing apparatus and image processing program
JP5434582B2 (en) * 2009-12-28 2014-03-05 カシオ計算機株式会社 Image processing apparatus and image processing program
JP5556194B2 (en) 2010-01-27 2014-07-23 カシオ計算機株式会社 Display control apparatus and display control program
JP5550447B2 (en) * 2010-05-20 2014-07-16 株式会社東芝 Electronic apparatus and method
JP5550446B2 (en) * 2010-05-20 2014-07-16 株式会社東芝 Electronic apparatus and moving image generation method
CN101867730B (en) * 2010-06-09 2011-11-16 马明 Multimedia integration method based on user trajectory
JP2012004747A (en) * 2010-06-15 2012-01-05 Toshiba Corp Electronic equipment and image display method
JP5615088B2 (en) 2010-08-18 2014-10-29 キヤノン株式会社 Image processing apparatus and method, program, and imaging apparatus
JP6032996B2 (en) * 2012-08-08 2016-11-30 オリンパス株式会社 Image display device, image display method, and image display program
JP2014119879A (en) * 2012-12-14 2014-06-30 Nippon Hoso Kyokai <Nhk> Face expression evaluation result smoothing device and face expression evaluation result smoothing program
KR102127351B1 (en) * 2013-07-23 2020-06-26 삼성전자주식회사 User terminal device and the control method thereof
JP6270784B2 (en) * 2015-07-17 2018-01-31 オリンパス株式会社 Image processing apparatus and image processing method
KR101894956B1 (en) * 2017-06-21 2018-10-24 주식회사 미디어프론트 Server and method for image generation using real-time enhancement synthesis technology

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796797B2 (en) * 1996-02-27 2006-07-12 カシオ計算機株式会社 Object image creation device and object image creation method
AUPQ464099A0 (en) * 1999-12-14 2000-01-13 Canon Kabushiki Kaisha Emotive editing system
JP4291963B2 (en) * 2000-04-13 2009-07-08 富士フイルム株式会社 Image processing method
JP4743823B2 (en) * 2003-07-18 2011-08-10 キヤノン株式会社 Image processing apparatus, imaging apparatus, and image processing method
JP2005056175A (en) * 2003-08-05 2005-03-03 Konica Minolta Photo Imaging Inc Image estimation device
JP4221308B2 (en) * 2004-01-15 2009-02-12 パナソニック株式会社 Still image reproduction device, still image reproduction method and program
JP2005242566A (en) * 2004-02-25 2005-09-08 Canon Inc Image composition device and method
JP4877762B2 (en) * 2006-07-19 2012-02-15 株式会社ソニー・コンピュータエンタテインメント Facial expression guidance device, facial expression guidance method, and facial expression guidance system

Similar Documents

Publication Publication Date Title
JP2008084213A5 (en)
JP2008236141A5 (en)
JP2008263274A5 (en)
EP2128868A3 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
EP2112547A3 (en) Image processing apparatus, image processing method, program, and recording medium
WO2014125831A1 (en) Electronic mirror device
JP2009212980A5 (en)
JP2007019678A5 (en)
EP2081374A3 (en) Imaging apparatus and its control method
CN109951636A (en) It takes pictures processing method, device, mobile terminal and storage medium
RU2009140825A (en) DEVICE FOR IMAGE FORMATION AND ITS METHOD FOR DISPLAY MANAGEMENT
JP2008141682A5 (en)
JP2010165012A5 (en) Image search apparatus, image search method and program
RU2009140832A (en) IMAGE FORMING DEVICE AND DISPLAY CONTROL METHOD FOR THIS DEVICE
JP2006277198A5 (en)
JP2010060843A5 (en)
JP2007228224A5 (en)
JP2009033351A5 (en)
JP2006254129A5 (en)
CN104427158A (en) Processing apparatus
JP2007336411A5 (en)
JP2017201742A5 (en)
JP2007129585A5 (en)
JP2009106680A5 (en)
JP2008124896A5 (en)