JP2008123086A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2008123086A
JP2008123086A JP2006303739A JP2006303739A JP2008123086A JP 2008123086 A JP2008123086 A JP 2008123086A JP 2006303739 A JP2006303739 A JP 2006303739A JP 2006303739 A JP2006303739 A JP 2006303739A JP 2008123086 A JP2008123086 A JP 2008123086A
Authority
JP
Japan
Prior art keywords
image
processing apparatus
image processing
unit
resizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006303739A
Other languages
English (en)
Inventor
Toshinobu Hatano
敏信 秦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006303739A priority Critical patent/JP2008123086A/ja
Priority to US11/979,671 priority patent/US20080112648A1/en
Priority to CNA2007101657966A priority patent/CN101184143A/zh
Publication of JP2008123086A publication Critical patent/JP2008123086A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像の少なくとも一部をリサイズすることによって画像上の被写体を簡単にデフォルメすること。
【解決手段】画像の少なくとも一部をリサイズする画像処理装置は、画像を特定方向に複数の分割画像に分割する分割部と、複数の分割画像の少なくとも1つを特定方向に任意の比率でリサイズするリサイズ部と、リサイズされた分割画像を含む複数の分割画像を再合成して合成画像を生成する画像合成部とを備える。
【選択図】図2

Description

本発明は、画像の少なくとも一部をリサイズする画像処理装置及び画像処理方法に関する。
近年、フィルムも現像も不要なデジタルカメラは活況を呈している。携帯電話においても、カメラ搭載型のものが主流を占めている。そして、デジタルカメラの高速化及び高画質化における技術の向上及び普及には目覚しいものがある。
一方、人物撮影を行う場合、人の本質的要求として、被撮影者は、「よりきれいに写りたい。」という願望を持っている。
現在、デジタルカメラでは、人物画像のレタッチ処理を行う場合、人物を撮影した後、撮影後の画像データを一旦、PCに取り込む。そして、フォトレタッチソフトウェアを駆使し、全体のバランスや任意の部位の画像を修正することが一般的に行われる。また、カメラ本体で水平方向及び垂直方向に均一のリサイズ処理を行うことが実現されている(特許文献1参照)。
図11は、従来のデジタルカメラを示すブロック図である。このデジタルカメラでは、撮像装置501で取り込んだ被写体の画像データが画像処理装置503内のメモリ531に記憶される。データ抽出部532は、この画像データから色調整に用いる特定部分のデータを抽出し、ヒストグラムを作成する。テーブル作成部533は、このヒストグラムを基に、画像データを適切な色合いに変換するための色変換テーブルを作成する。画像形式変換部534は、この色変換テーブルのデータに基づき、メモリ531に記憶されている画像データを一般的な写真サイズの画像フォーマットに変換し、記録装置504に保存すると共に、出力装置505の画面に表示する。
ユーザは、出力装置505の画面に表示されている画像を目視し、入力装置502を操作してRGB各色のバランスを調整し、その色合いをより自然な色合いあるいは好みの色合いに補正する。
このように、デジタルカメラに搭載された画像処理装置503は、よりきれいな画像を得るために色合いに着目して画像データを変換している。即ち、保存処理前の画像の色合いを調整することで、画像処理を容易に行うことができ、高画質な画像を得ることができる。
特開平11−88906号公報
しかし、上記画像処理装置503は、色合いの調整は行うが、人物のスタイルについては元画像を忠実に処理している。また、レタッチ処理を行う場合、高性能なPC及びソフトウェアの利用が前提であり、使用に際してはテクニックが必要であり、手間がかかる。
本発明の目的は、画像の少なくとも一部をリサイズすることによって画像上の被写体を簡単にデフォルメすることができる画像処理装置及び画像処理方法を提供することである。
本発明は、画像の少なくとも一部をリサイズする画像処理装置であって、画像を特定方向に複数の分割画像に分割する分割部と、前記複数の分割画像の少なくとも1つを前記特定方向に任意の比率でリサイズするリサイズ部と、リサイズされた分割画像を含む前記複数の分割画像を再合成して合成画像を生成する画像合成部と、を備えた画像処理装置を提供する。このため、人物のスタイルを変更するような、画像のリサイズ処理を簡単に行うことができる。
上記画像処理装置では、前記リサイズ部は、前記特定方向と直交する方向には前記複数の分割画像を同一の比率でリサイズする。これにより、所望の画像を得るためのリサイズ処理を容易に行うことができる。
上記画像処理装置は、画像の分割位置を設定する設定部と、前記分割位置を示す線を前記画像に重ねてモニタに表示するよう処理する表示処理部と、を備え、前記分割部は、前記分割位置を示す線に従って前記画像を分割する。これにより、ユーザ所望の分割領域を特定することができる。
上記画像処理装置は、画像中の人の顔を検出する顔検出部と、検出された顔の情報に基づいて、前記画像における前記人の顔又は体の各部位の位置を推定する位置推定部と、前記推定された各部位の推定位置に従って、前記画像の分割位置を決定する分割位置決定部とを備え、前記分割部は、前記決定された分割位置に基づいて、前記画像を前記特定方向に分割する。これにより、自動的に特定部位を含むような分割領域が特定され、ユーザの操作を不要にすることができる。
上記画像処理装置では、前記体の各部位は、目、鼻及び口の少なくとも1つである。これにより、顔画像のリサイズ処理を容易に行うことができる。
上記画像処理装置では、前記体の各部位は、首、胸元及び腰の少なくとも1つである。これにより、上半身や全身の画像のリサイズ処理を容易に行うことができる。
上記画像処理装置は、前記分割位置決定部によって決定された分割位置を示す線を前記画像に重ねてもモニタに表示するよう処理する表示処理部を備える。これにより、自動で特定された分割領域を確認することができる。
上記画像処理装置は、前記分割位置を示す線の位置を変更する設定部を備える。これにより、自動で特定された分割領域を変更することができ、ユーザの操作性を向上できる。
上記画像処理装置は、前記画像、前記複数の分割画像及び前記合成画像のデータを記憶するメモリを備え、前記画像合成部は、前記メモリのメモリ空間上で、リサイズされた分割画像を含む前記複数の分割画像を再合成する。これにより、メモリを使用して、リサイズ処理後の合成画像を容易に生成することができる。
本発明は、画像の少なくとも一部をリサイズする画像処理方法であって、画像を特定方向に複数の分割画像に分割する分割ステップと、前記複数の分割画像の少なくとも1つを前記特定方向に任意の比率でリサイズするリサイズステップと、リサイズされた分割画像を含む前記複数の分割画像を再合成して合成画像を生成する画像合成ステップと、を有する画像処理方法を提供する。
本発明に係る画像処理装置及び画像処理方法によれば、画像の少なくとも一部をリサイズすることによって画像上の被写体を簡単にデフォルメすることができる。
本発明に係る画像処理装置及び画像処理方法の実施の形態について、図面を参照して説明する。以下説明する画像処理装置は、撮像装置(デジタルスチルカメラ)に搭載された画像リサイズ処理部に適用される。
[第1の実施形態]
図1は、第1の実施形態の撮像装置を示すブロック図である。図1に示すように、第1の実施形態の撮像装置は、レンズ18、イメージセンサ11、タイミングジェネレータ(TG)12、CDS/AGC回路13、アナログデジタル変換器(ADC)14、デジタル信号処理回路(DSP)15、メモリ16、CPU17、記憶媒体19、モニタ20及び設定部21を備える。なお、DSP15及びCPU17は画像リサイズ処理部25を構成する。
タイミングジェネレータ12は、CPU17からの命令に従って、イメージセンサ11に供給する駆動パルスを発生する。CDS/AGC回路13は、イメージセンサ11の出力ノイズを除去し、ゲインをコントロールする。メモリ16には、画像データ及びその他のデータが保存される。ADC14は、アナログ画像信号をデジタル画像データに変換する。CPU17は、その内部メモリに格納された制御プログラムを実行して撮像装置全体を制御すると共に、演算処理を行う。DSP15は、デジタル画像データを処理する。
図2は、DSP15の内部構成を示すブロック図である。DSP15は、前処理部31、メモリ制御部32、画像信号処理部34、圧縮伸張処理部35、ズーム処理部36、顔検出部37及び表示処理部38を有する。
前処理部31は、ADC14でA/D変換されたデジタル画像データに対し、黒レベル補正及びゲイン補正等を行う。画像信号処理部34は、前処理部31で処理されたデジタル画像データに対し、輝度信号処理及び色信号処理を行う。圧縮伸張処理部35は、画像データ(輝度信号データ及び色信号データ)の圧縮、及びその逆動作として伸張を行う。
ズーム処理部36は、画像データのリサイズ処理としてズーム処理を行う。顔検出部37は、画像データが示す画像中の人の顔を検出する。表示処理部38は、モニタ20に画像を表示するための処理を行う。メモリ制御部32は、各処理部とメモリ16との間で行われるデータの読み出し及び書き込みを制御する。CPU17は、メモリ制御部32、ズーム処理部36及び顔検出部37の動作を制御する。後述する画像リサイズ処理機能は、メモリ制御部32、メモリ16、ズーム処理部36、顔検出部37、表示処理部38及びCPU17によって実現される。
本実施形態の撮像装置の動作について説明する。被写体からの撮像光がレンズ18を介してイメージセンサ11に入射すると、撮像光はフォトダイオードによって電気信号に変換される。そして、タイミングジェネレータ12からの駆動パルスに同期する垂直駆動信号及び水平駆動信号に従って、アナログ画像信号がイメージセンサ11から出力される。
イメージセンサ11から出力されたアナログ画像信号は、CDS/AGC回路13内のサンプルホールド回路(CDS)によって1/fノイズが適切に低減された後、自動ゲインコントロール(AGC)によって増幅される。CDS/AGC回路13からの出力信号はADC14に入力され、デジタル画像データ(RGBデータ)に変換される。
ADC14から出力されたデジタル画像データは、DSP15に入力される。DSP15は、メモリ16を用いて、輝度信号処理、色分離処理、カラーマトリクス処理、リサイズ処理、データ圧縮処理等の各種処理を行う。各種処理が行われた画像データは、記憶媒体19に記録される。DSP15は、記憶媒体19に記録された画像データを再生する場合、記憶媒体19から画像データを読み出し、画像データが圧縮されていれば伸張処理を行い、モニタ20の表示サイズに合わせてリサイズ処理を行った後、モニタ20に出力する。
画像データのリサイズ処理について、その詳細について説明する。デジタル画像データは、DSP15に取り込まれると、前処理部31で黒レベル調整及びゲイン調整がなされた後、メモリ制御部32によってメモリ16に書き込まれる。画像信号処理部34は、メモリ16に書き込まれた画像データを読み出し、輝度信号処理及び色信号処理を行い、輝度データ及び色差データ(又はRGBデータ)に変換する。輝度データ及び色差データ(又はRGBデータ)は、メモリ制御部32によってメモリ16に書き込まれる。
リサイズ処理される画像データは、輝度データ及び色差データ(又はRGBデータ)である。ズーム処理部36は、メモリ16から読み出された画像データに対し、水平方向及び垂直方向にリサイズ処理を行う。この後、リサイズ処理された画像データは、メモリ制御部32によってメモリ16に書き込まれる。
また、画像データは、操作者が画像を確認するために適したサイズで表示処理部38に出力されるように、ズーム処理部36で水平方向及び垂直方向の全面に亘ってリサイズ処理される。この表示処理のためのリサイズ処理(ここでは、表示用リサイズ処理と称する)は、本実施形態で行われる後述する分割用リサイズ処理とは異なる処理である。
図3は、分割用リサイズ処理の内容を示す図である。図3には、人の顔画像が示されている。図3(A)はオリジナルの画像を示す。図3(B)は、図3(A)の画像に対し、水平方向に均一なズーム処理(縮小処理)が行われた画像を示す。図3(C)は、図3(B)の画像に対し、垂直方向に不均一なズーム処理(縮小処理)が行われた画像を示す。なお、ズーム処理は、縮小処理に限らず拡大処理も含む。
図4は、第1の実施形態の画像リサイズ処理手順を示すフローチャートである。この画像リサイズ処理を行うためのプログラムは、CPU17の内部メモリに格納されており、CPU17によって実行される。CPU17は、メモリ制御部32によってメモリ16に格納されたオリジナルの画像データを読み出して(ステップS1)、この画像データを表示処理部38に出力する。画像データが表示処理部38で処理された後、画像がモニタ20表示される(ステップS2)。
CPU17は、モニタ20に表示された画像に対し、設定部21を介して操作者によって分割位置が指定されるのを待つ(ステップS3)。なお、分割位置の変更は、操作者が設定部21に設けられた上下左右の矢印キー(図示せず)を操作することにより変更可能である。さらに、設定部21に設けられたOKキー(図示せず)を押すことにより、分割位置が確定する。
分割位置が指定されると、CPU17は、指定された分割位置に対応する分割位置を決定(演算)する(ステップS4)。また、ステップS4では、表示処理部38により分割位置を示す線(分割線)が画像に重ねて表示される。図3(A)では、分割位置を示す破線51が水平方向に表示されている。この場合、元画像は第1画像71と第2画像72の2つに分割される。
ズーム処理部36は、分割位置が示された画像に対し分割用リサイズ処理を行う(ステップS5)。この分割用リサイズ処理によって、図3(A)の画像から、図3(B)の画像を経て、図3(C)のリサイズ処理後の最終的な画像が生成される。分割用リサイズ処理の詳細については、後述する。
ズーム処理部36は、分割用リサイズ処理後の画像(図3(C))に対し表示用リサイズ処理を行う(ステップS6)。CPU17は、メモリ制御部32及び表示処理部38を用い、表示用リサイズ処理が行われた画像データに基づく画像をモニタ20に表示させる(ステップS7)。また、リサイズ処理後の画像データを記憶媒体19に保存する。この後、画像リサイズ処理を終了する。
図5は、ステップS5における分割用リサイズ処理手順を示すフローチャートである。ズーム処理部36は、ステップS4で決定された分割位置に従って、画像データを複数の分割画像データに分ける(ステップS11)。なお、CPU17は、各分割画像データのメモリアドレスを管理する。ズーム処理部36は、分割画像データ毎に、分割する方向(図3では、垂直方向)では異なる比率で、かつ分割しない方向(図3では、水平方向)では同一の比率で、リサイズ処理を行う(ステップS12)。
なお、リサイズ処理には、補間や平均化、単純拡大縮小といった周知の計算方法が用いられる。特に、高画質なリサイズ処理が可能である補間による計算方法では、「バイキュービック」、「バイリニア」、「ニアレストネイバー」等が採用され、本実施形態では、計算方法は限定されるものではない。
リサイズ処理を行った後、CPU17は、リサイズ処理後の分割画像データを含む全ての分割画像データを再合成し、1つの画像データ(合成画像データ)を生成する(ステップS13)。
以上説明したように、第1の実施形態の撮像装置によれば、オリジナルの画像を特定方向に分割し、この特定方向に任意の比率で分割画像をリサイズした後、再合成することができる。このため、画像上の被写体を簡単にデフォルメすることができる。その結果、人(特に女性)の本質的要求である「やせたい。きれいになりたい。目をぱっちりさせたい。小顔に見せたい。」というような希望に沿った人物画像(顔画像)を提供することができる。
[第2の実施形態]
第1の実施形態では、操作者がモニタに表示された画像を見ながら分割位置を指定するが、第2の実施形態では、分割位置が自動的に決定される。第2の実施形態の撮像装置の構成は第1の実施形態と同様であるため、説明を省略する。但し、第2の実施形態の画像リサイズ処理は第1の実施形態の画像リサイズ処理と異なる。
図6は、第2の実施形態の画像リサイズ処理手順を示すフローチャートである。この画像リサイズ処理を行うためのプログラムは、CPU17の内部メモリに格納されており、CPU17によって実行される。図7は、オリジナル画像及びリサイズ処理後の画像を示す図である。図7(A)はオリジナル画像を示し、図7(B)はリサイズ処理(分割用リサイズ処理及び表示用リサイズ処理)後の画像を示す。
CPU17は、メモリ制御部32によってメモリ16に格納されたオリジナルの画像データを読み出して、この画像データを顔検出部37に送る(ステップS21)。図7に示す例では、図7(A)に示す人(女性)の顔画像データが読み出される。顔検出部37は、この画像データが示す画像中の人の顔を検出する(ステップS22)。この顔検出処理では、顔検出部37によって顔の中心位置及び大きさに関する情報が取得される。なお、顔検出方法としては、種々の方法が提案されており、特に限定されない。例えば、「ガーバーウエーブレット変換+グラフ・マッチング」や「固有顔法」、「ローカルフィーチャー分析法」、「カーネル判別分析法」等を用いることができる。なお、顔検出処理は、オリジナル画像の代わりに、水平垂直均等のリサイズ処理(表示用リサイズ処理)が行われた画像に対して行われても良い。
CPU17は、取得した顔の中心位置及び大きさ情報を基に、人物画像における特定部位の位置を推定し(ステップS23)、この推定された特定部位の位置を基に、画像上の分割位置を自動的に決定(演算)する(ステップS24)。本実施形態では、特定部位として、「目をぱっちりさせたい」という要求から目元付近(目)が推定されている。なお、顔における特定部位としては、目、鼻、口、耳などが挙げられる。また、図7(A)では、自動的に決定された分割位置は、画面上の顔画像に対し、目元付近の上下を通る水平方向の破線61,62で表されている。この場合、分割数Nは値3であり、元画像は、第1画像81、第2画像82及び第3画像83からなる3つの分割画像(短冊画像)に分割される。
CPU17は、分割位置が示されたオリジナル画像に対し、第1の実施形態と同様、ズーム処理部36により分割用リサイズ処理を行う(ステップS25)。本実施形態では、第1画像81及び第3画像83は同一の比率で垂直方向(分割する方向)にリサイズ処理(等倍処理)され、第2画像82は第1、第3画像より大きな比率でリサイズ処理(拡大処理)される。また、第1画像81〜第3画像83は水平方向(分割しない方向)に等倍処理されている。なお、リサイズ処理の方法は、第1の実施形態と同様である。
CPU17は、分割用リサイズ処理後の画像に対し、ズーム処理部36により表示用リサイズ処理を行う(ステップS26)。さらに、CPU17は、メモリ制御部32及び表示処理部38を用い、表示用リサイズ処理が行われた画像をモニタ20に表示させる(ステップS27)。また、リサイズ処理後の画像データを記憶媒体19に保存する。この後、本処理を終了する。
このように、第2の実施形態の画像リサイズ処理装置によれば、操作者が入力設定を行うことなく、自動処理として画像リサイズ処理を実行することができる。これにより、ユーザ操作を著しく簡単にすることができる。
なお、本発明は、上記実施形態に限られるものではなない。例えば、人物の顔内側の任意部位(例えば、目)に対応する元画像上の分割位置と顔の大きさから、人体の標準的な比率に従って、胸元位置、腰位置などをCPUで推定(演算)し、元画像に対する複数の分割位置を決定してもよい。そして、分割により得られた複数の短冊画像データ毎に、垂直方向(分割する方向)に異なる比率で、水平方向(分割しない方向)に同一の比率でズーム処理を行い、リサイズ処理後にメモリ空間上で複数の短冊画像データを合成し、1つの画像(合成画像)を生成するようにしてもよい。
具体的には、第2の実施形態(図7参照)では、顔画像の情報を基に、特定部位として目元付近(目)が推定されているが、人物画像が上半身である場合、顔画像の情報を基に、さらに首や胸元を特定部位として推定してもよい。図8は顔検出の結果、特定部位として目及び首の位置が推定された場合の元画像及びリサイズ処理後の画像を示す図である。同図(A)は元画像を示し、同図(B)はリサイズ処理(分割用リサイズ処理及び表示用リサイズ処理)後の画像を示す。この場合、特定部位として、首の位置は、顔検出の結果として得られる顔の大きさ、及び目や口の位置を基に、人体の標準的な比率に従って推定される。
図8(A)では、目元付近及び首を特定部位として、動的に決定された分割位置は、元画像に水平方向の破線91,92,93で多重化されて画面上に表示される。この場合、分割数Nは値4であり、元画像は、第1画像95、第2画像96、第3画像97及び第4画像98からなる4つの分割画像(短冊画像)に分割される。第1画像95及び第3画像97は同一の比率で垂直方向(分割する方向)にリサイズ処理(等倍処理)され、第2画像96は第1、第3画像より大きな比率でリサイズ処理(拡大処理)され、第4画像98は第1、第3画像より小さな比率でリサイズ処理(縮小処理)される。また、第1画像95〜第4画像98は水平方向(分割しない方向)に同一の倍率で縮小処理されている。なお、リサイズ処理そのものは、前記第1の実施形態と同様であるので、その説明を省略する。
図9は顔検出の結果、特定部位として首及び腰の位置が推定された場合の元画像及びリサイズ処理後の画像を示す図である。図9(A)では、検出された顔の位置及び大きさから、首及び腰の位置が推定され、それを基に分割位置が決定されている。この場合、分割数は値3であり、同様にリサイズ処理が行われる。
また、第2の実施形態では、顔の中心位置と大きさ情報から、顔の任意部位の位置を想定しているが、顔の上下左右の傾き情報や基準軸に対する回転情報を加えて、人物の特定部位を推定してもよい。これにより、特定部位の推定精度を高めることができ、さらには意図する分割位置を正確なものにすることができる。
また、上記実施形態では、顔検出処理を用いた場合、自動的にリサイズ処理を開始しているが、検出結果によっては、複数の分割位置を表示処理部により画面上に分割線として多重化表示し、操作者が確認した後、リサイズ処理を行うようにしてもよい。即ち、モニタ20の画面上にオリジナル画像と多重化して表示された、自動決定の分割位置を示す線に対し、操作者が設定部21を介してその分割位置を示す線を変更可能にしてもよく、操作性を向上させることができる。この処理は、図7、図8及び図9におけるリサイズ処理を行う際に有用である。
また、第1の実施形態では、メモリ制御部32によりメモリ16から画像データを読み出して顔検出部37に転送してから、顔検出部37で顔情報を検出しているが、メモリ制御部32のデータトラフィックを軽減するために、顔検出専用メモリを設けてもよい。図10は他の実施形態におけるDSP15の構成を示すブロック図である。第1の実施形態と同一の構成要素については、同一の符号を付すことによりその説明を省略する。顔検出部37には、顔検出専用メモリ139が設けられている。表示処理部38への入力データは、顔検出専用メモリ139に取り込まれ、顔検出部37の顔検出処理に使用される。従って、メモリ制御部32のデータトラフィックを著しく軽減することができる。
また、上記各実施形態では、垂直方向に画像を分割する場合を示したが、水平方向に画像を分割してもよく、本発明は同様に適用可能である。
本発明に係る画像処理装置は、画像上の被写体を簡単にデフォルメすることができ、画像の少なくとも一部をリサイズする画像処理装置等として有用である。
第1の実施形態の撮像装置を示すブロック図 DSP15の内部構成を示すブロック図 分割用リサイズ処理の内容を示す図 画像リサイズ処理手順を示すフローチャート ステップS5における分割用リサイズ処理手順を示すフローチャート 第2の実施形態における画像リサイズ処理手順を示すフローチャート 元画像及びリサイズ処理後の画像を示す図 顔検出の結果、特定部位として目及び首の位置が推定された場合の元画像及びリサイズ処理後の画像を示す図 顔検出の結果、特定部位として首及び腰の位置が推定された場合の元画像及びリサイズ処理後の画像を示す図 他の実施形態におけるDSP15の構成を示すブロック図 従来のデジタルカメラを示すブロック図
符号の説明
15 デジタル信号処理回路(DSP)
16 メモリ
17 CPU
20 モニタ
21 設定部
25 画像リサイズ処理部
32 メモリ制御部
36 ズーム処理部
37 顔検出部
38 表示処理部

Claims (10)

  1. 画像の少なくとも一部をリサイズする画像処理装置であって、
    画像を特定方向に複数の分割画像に分割する分割部と、
    前記複数の分割画像の少なくとも1つを前記特定方向に任意の比率でリサイズするリサイズ部と、
    リサイズされた分割画像を含む前記複数の分割画像を再合成して合成画像を生成する画像合成部と、
    を備えたことを特徴とする画像処理装置。
  2. 請求項1記載の画像処理装置であって、
    前記リサイズ部は、前記特定方向と直交する方向には前記複数の分割画像を同一の比率でリサイズすることを特徴とする画像処理装置。
  3. 請求項1記載の画像処理装置であって、
    画像の分割位置を設定する設定部と、
    前記分割位置を示す線を前記画像に重ねてモニタに表示するよう処理する表示処理部と、を備え、
    前記分割部は、前記分割位置を示す線に従って前記画像を分割することを特徴とする画像処理装置。
  4. 請求項1記載の画像処理装置であって、
    画像中の人の顔を検出する顔検出部と、
    検出された顔の情報に基づいて、前記画像における前記人の顔又は体の各部位の位置を推定する位置推定部と、
    前記推定された各部位の推定位置に従って、前記画像の分割位置を決定する分割位置決定部と、を備え、
    前記分割部は、前記決定された分割位置に基づいて、前記画像を前記特定方向に分割することを特徴とする画像処理装置。
  5. 請求項4記載の画像処理装置であって、
    前記顔の各部位は、目、鼻及び口の少なくとも1つであることを特徴とする画像処理装置。
  6. 請求項4記載の画像処理装置であって、
    前記体の各部位は、首、胸元及び腰の少なくとも1つであることを特徴とする画像処理装置。
  7. 請求項4記載の画像処理装置であって、
    前記分割位置決定部によって決定された分割位置を示す線を前記画像に重ねてモニタに表示するよう処理する表示処理部を備えたことを特徴とする画像処理装置。
  8. 請求項7記載の画像処理装置であって、
    前記分割位置を示す線の位置を変更する設定部を備えたことを特徴とする画像処理装置。
  9. 請求項1記載の画像処理装置であって、
    前記画像、前記複数の分割画像及び前記合成画像のデータを記憶するメモリを備え、
    前記画像合成部は、前記メモリのメモリ空間上で、リサイズされた分割画像を含む前記複数の分割画像を再合成することを特徴とする画像処理装置。
  10. 画像の少なくとも一部をリサイズする画像処理方法であって、
    画像を特定方向に複数の分割画像に分割する分割ステップと、
    前記複数の分割画像の少なくとも1つを前記特定方向に任煮の比率でリサイズするリサイズステップと、
    リサイズされた分割画像を含む前記複数の分割画像を再合成して合成画像を生成する画像合成ステップと、
    を有することを特徴とする画像処理方法。
JP2006303739A 2006-11-09 2006-11-09 画像処理装置及び画像処理方法 Pending JP2008123086A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006303739A JP2008123086A (ja) 2006-11-09 2006-11-09 画像処理装置及び画像処理方法
US11/979,671 US20080112648A1 (en) 2006-11-09 2007-11-07 Image processor and image processing method
CNA2007101657966A CN101184143A (zh) 2006-11-09 2007-11-09 图像处理器和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006303739A JP2008123086A (ja) 2006-11-09 2006-11-09 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2008123086A true JP2008123086A (ja) 2008-05-29

Family

ID=39369293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006303739A Pending JP2008123086A (ja) 2006-11-09 2006-11-09 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20080112648A1 (ja)
JP (1) JP2008123086A (ja)
CN (1) CN101184143A (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251635A (ja) * 2008-04-01 2009-10-29 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2010003251A (ja) * 2008-06-23 2010-01-07 Panasonic Corp 画像リサイズ処理装置及び画像リサイズ処理方法
JP2010056726A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010178246A (ja) * 2009-02-02 2010-08-12 Nikon Corp 画像処理装置及び画像処理プログラム
JP2010282548A (ja) * 2009-06-08 2010-12-16 Sharp Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2011017200A (ja) * 2009-07-09 2011-01-27 Sankyo Tateyama Aluminium Inc 窓開口部画像表示装置、画像表示機能付き窓及び窓開口部画像投影システム
JP2011130328A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
US8698747B1 (en) 2009-10-12 2014-04-15 Mattel, Inc. Hand-activated controller
JP2014102711A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 輪郭検出装置、輪郭検出方法および輪郭検出プログラム
JP2015106765A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2015125519A (ja) * 2013-12-26 2015-07-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9386287B2 (en) 2011-06-08 2016-07-05 Panasonic Intellectual Property Management Co., Ltd. Image processor which rearranges color information, image processing method, and digital camera
JP2018023112A (ja) * 2017-08-09 2018-02-08 カシオ計算機株式会社 画像出力装置、画像出力方法及びプログラム
US10460443B2 (en) 2016-07-28 2019-10-29 Samsung Electronics Co., Ltd. Electronic device and method for applying correction scheme(s) to an image
JP2020060883A (ja) * 2018-10-09 2020-04-16 富士通株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020535533A (ja) * 2018-05-31 2020-12-03 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、電子機器並びに記憶媒体
JP2022517889A (ja) * 2019-12-25 2022-03-11 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 画像処理方法及び装置、画像処理機器並びに記憶媒体
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8615112B2 (en) 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP2009232243A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
JP2009237977A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
US8290300B2 (en) * 2008-07-31 2012-10-16 Adobe Systems Incorporated Seam-based reduction and expansion of images with color-weighted priority
US9571857B2 (en) 2008-09-18 2017-02-14 Thomson Licensing Methods and apparatus for video imaging pruning
JP2012027154A (ja) * 2010-07-21 2012-02-09 Canon Inc 画像表示システム
CN102377972B (zh) * 2010-08-23 2015-01-28 联想(北京)有限公司 图像处理设备和图像处理方法
JP4977243B2 (ja) * 2010-09-16 2012-07-18 株式会社東芝 画像処理装置、方法、及びプログラム
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
CN102982581B (zh) * 2011-09-05 2017-04-05 北京三星通信技术研究有限公司 基于图像的虚拟试穿系统和方法
CN103119625B (zh) * 2011-09-16 2015-06-03 华为技术有限公司 一种视频人物分割的方法及装置
JP5974685B2 (ja) * 2012-07-04 2016-08-23 富士ゼロックス株式会社 表示装置およびプログラム
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
CN106558040B (zh) * 2015-09-23 2019-07-19 腾讯科技(深圳)有限公司 人物图像处理方法和装置
CN111274996B (zh) * 2020-02-14 2023-06-09 深圳英飞拓仁用信息有限公司 人脸图片特征比对方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10214351A (ja) * 1997-01-30 1998-08-11 Sony Corp 画像加工方法、画像加工装置及びその記録媒体
JPH11120334A (ja) * 1997-10-14 1999-04-30 Casio Comput Co Ltd カメラ装置および撮像方法
JP2000076429A (ja) * 1998-07-15 2000-03-14 Eastman Kodak Co デジタルイメ―ジの変形方法および変形装置
JP2002140697A (ja) * 2000-10-31 2002-05-17 Toshiba Corp コミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法およびプログラム
JP2002344723A (ja) * 2001-05-17 2002-11-29 Fuji Photo Film Co Ltd 撮像装置、画像処理装置、画像処理方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3471964B2 (ja) * 1995-03-28 2003-12-02 キヤノン株式会社 撮像装置
JPH08287218A (ja) * 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
JP2004510605A (ja) * 2000-10-04 2004-04-08 エム・アンド・アール・マーキング・システムズ,インコーポレイテッド ハンドスタンプ及びその組立方法
US7171058B2 (en) * 2003-07-31 2007-01-30 Eastman Kodak Company Method and computer program product for producing an image of a desired aspect ratio
JP4383140B2 (ja) * 2003-09-25 2009-12-16 任天堂株式会社 画像処理装置および画像処理プログラム
JP4574469B2 (ja) * 2004-08-23 2010-11-04 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP4687451B2 (ja) * 2005-12-27 2011-05-25 カシオ計算機株式会社 撮像装置、及びスルー画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10214351A (ja) * 1997-01-30 1998-08-11 Sony Corp 画像加工方法、画像加工装置及びその記録媒体
JPH11120334A (ja) * 1997-10-14 1999-04-30 Casio Comput Co Ltd カメラ装置および撮像方法
JP2000076429A (ja) * 1998-07-15 2000-03-14 Eastman Kodak Co デジタルイメ―ジの変形方法および変形装置
JP2002140697A (ja) * 2000-10-31 2002-05-17 Toshiba Corp コミュニケーション画像生成装置およびコミュニケーション装置およびコミュニケーション画像生成方法およびコミュニケーション情報処理方法およびプログラム
JP2002344723A (ja) * 2001-05-17 2002-11-29 Fuji Photo Film Co Ltd 撮像装置、画像処理装置、画像処理方法、及びプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251635A (ja) * 2008-04-01 2009-10-29 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2010003251A (ja) * 2008-06-23 2010-01-07 Panasonic Corp 画像リサイズ処理装置及び画像リサイズ処理方法
JP2010056726A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010178246A (ja) * 2009-02-02 2010-08-12 Nikon Corp 画像処理装置及び画像処理プログラム
JP2010282548A (ja) * 2009-06-08 2010-12-16 Sharp Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2011017200A (ja) * 2009-07-09 2011-01-27 Sankyo Tateyama Aluminium Inc 窓開口部画像表示装置、画像表示機能付き窓及び窓開口部画像投影システム
US8698747B1 (en) 2009-10-12 2014-04-15 Mattel, Inc. Hand-activated controller
JP2011130328A (ja) * 2009-12-21 2011-06-30 Sony Corp 画像処理装置および方法、並びにプログラム
US9386287B2 (en) 2011-06-08 2016-07-05 Panasonic Intellectual Property Management Co., Ltd. Image processor which rearranges color information, image processing method, and digital camera
JP2014102711A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 輪郭検出装置、輪郭検出方法および輪郭検出プログラム
JP2015106765A (ja) * 2013-11-29 2015-06-08 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2015125519A (ja) * 2013-12-26 2015-07-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9342738B2 (en) 2013-12-26 2016-05-17 Casio Computer Co., Ltd. Image processing to improve physique of imaged subject
US10460443B2 (en) 2016-07-28 2019-10-29 Samsung Electronics Co., Ltd. Electronic device and method for applying correction scheme(s) to an image
JP2018023112A (ja) * 2017-08-09 2018-02-08 カシオ計算機株式会社 画像出力装置、画像出力方法及びプログラム
JP2020535533A (ja) * 2018-05-31 2020-12-03 北京市商▲湯▼科技▲開▼▲発▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、電子機器並びに記憶媒体
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media
JP2020060883A (ja) * 2018-10-09 2020-04-16 富士通株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022517889A (ja) * 2019-12-25 2022-03-11 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 画像処理方法及び装置、画像処理機器並びに記憶媒体
US11734829B2 (en) 2019-12-25 2023-08-22 Beijing Sensetime Technology Development Co., Ltd. Method and device for processing image, and storage medium

Also Published As

Publication number Publication date
CN101184143A (zh) 2008-05-21
US20080112648A1 (en) 2008-05-15

Similar Documents

Publication Publication Date Title
JP2008123086A (ja) 画像処理装置及び画像処理方法
JP4861952B2 (ja) 画像処理装置及び撮像装置
JP2010003251A (ja) 画像リサイズ処理装置及び画像リサイズ処理方法
US20100225785A1 (en) Image processor and recording medium
US20110187879A1 (en) Imaging device and image processing program
JP5930245B1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007020029A (ja) 画像処理装置および方法、プログラム並びに記録媒体
US20110134208A1 (en) Panoramic image synthesizer, panoramic image synthesis method, and program
JP5279636B2 (ja) 撮像装置
TW200830219A (en) Image processor, image processing method, and program
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP6817779B2 (ja) 画像処理装置、その制御方法、プログラムならびに記録媒体
JP2008108024A (ja) 画像処理装置および撮像装置
US20080151077A1 (en) Image processor and imaging device
JP2011239267A (ja) 撮像装置及び画像処理装置
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2008035124A (ja) 画像再生装置及び画像再生方法
JP4475041B2 (ja) 電子カメラ装置、及び色調整方法
JP2006186931A (ja) カメラ装置、ホワイトバランスブラケティング撮影方法
JP2003348410A (ja) 音声入力可能なカメラ
JP2009089083A (ja) 年齢推定撮影装置及び年齢推定撮影方法
JP2010154390A (ja) 撮像装置及び撮像方法並びにプログラム
JP2017163339A (ja) 映像処理装置、映像処理方法、及びプログラム
JP4812073B2 (ja) 画像撮像装置、画像撮像方法、プログラムおよび記録媒体
JPH1173498A (ja) 電子画像の色修正方法及びその色修正装置を内蔵する電子カメラ並びに色修正プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120207