JP2008061184A - 画像処理装置および方法、プログラム、並びに撮像装置 - Google Patents

画像処理装置および方法、プログラム、並びに撮像装置 Download PDF

Info

Publication number
JP2008061184A
JP2008061184A JP2006238917A JP2006238917A JP2008061184A JP 2008061184 A JP2008061184 A JP 2008061184A JP 2006238917 A JP2006238917 A JP 2006238917A JP 2006238917 A JP2006238917 A JP 2006238917A JP 2008061184 A JP2008061184 A JP 2008061184A
Authority
JP
Japan
Prior art keywords
image
gravity
center
images
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006238917A
Other languages
English (en)
Inventor
Yuichi Hasegawa
雄一 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006238917A priority Critical patent/JP2008061184A/ja
Priority to TW096131247A priority patent/TW200818061A/zh
Priority to KR1020070085966A priority patent/KR20080021519A/ko
Priority to US11/897,209 priority patent/US8306358B2/en
Priority to CNA2007101495181A priority patent/CN101141565A/zh
Priority to CN200910167564A priority patent/CN101661558A/zh
Publication of JP2008061184A publication Critical patent/JP2008061184A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】簡単に、より好ましい構図の画像を切り出す。
【解決手段】注目画像重心検出部９１は、原画像に含まれる顔の画像などの注目画像のそれぞれの重心を検出する。全体重心計算部９２は、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算する。切り出し領域決定部９３は、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、その領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、例えば黄金比などの美感を起こさせる値になるようにその領域を決定する。本発明は、デジタルカメラに適用できる。
【選択図】図４

Description

本発明は画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、簡単に、より好ましい構図の画像を切り出すことができるようにした画像処理装置および方法、プログラム、並びに撮像装置に関する。
被写体を撮像して、画像（写真）をデータとして記録（記憶）するデジタルスチルカメラが広く用いられるようになってきた。
デジタルスチルカメラを用いて何気なく撮像された、いわゆる記念写真、集合写真、スナップ写真、または風景写真などの写真を後で見てみると、どうも構図が良くないと感じることがある。
そのような写真のほとんどは、人物や動物や静物などの被写体の画像が、その写真の中の好ましい位置に配置されるように切り出されることで、より好ましい構図の写真になる。この切り出しの処理は、デジタルスチルカメラからパーソナルコンピュータに一旦画像のデータ（以下、画像データと称する）を取り込んで、パーソナルコンピュータに切り出しの機能を有するプログラムを実行させて行われる。
従来のカメラには、撮像ユニットが、撮影方向を切り換え、カメラが、被写領域を分割した各単位測距領域について測距を行い、近い距離を示す領域を主被写体領域とみなし、主被写体領域が画面の中央に来るように撮像ユニットの撮影方向を制御すると同時に、被写体が一定以上の大きさとなるようにするズーミングを制御するようにしているものがある（例えば、特許文献１参照）。
特開２０００−９８４５６号公報
パーソナルコンピュータを用いて切り出す場合、使用者は、各種の面倒な操作をしなければならなかった。
また、元の写真からどのように切り出したら適切であるかの判断に迷うこともあり、大変な手間がかかってしまう。さらに、このような判断は、いわゆる美的なセンスがないとできない。
本発明は、このような状況に鑑みてなされたものであり、簡単に、より好ましい構図の画像を切り出すことができるようにするものである。
本発明の一側面の画像処理装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段とを備える。
画像処理装置に、前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段をさらに設けることができる。
画像処理装置に、前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段をさらに設けることができる。
前記決定手段には、矩形の前記領域の上下または左右に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように矩形の前記領域を決定させることができる。
前記決定手段には、前記原画像のアスペクト比と同じアスペクト比の矩形の前記領域を決定させることができる。
前記決定手段には、前記原画像における最大の前記領域を決定させることができる。
前記決定手段には、前記比率が１：１乃至１：２．２のいずれかの値になるように前記領域を決定させることができる。
前記決定手段には、前記比率が１：２になるように前記領域を決定させることができる。
前記決定手段には、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が１：２になるように前記領域を決定させることができる。
前記決定手段には、前記比率が黄金比になるように前記領域を決定させることができる。
前記決定手段には、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が黄金比になるように前記領域を決定させることができる。
前記検出手段には、複数の前記注目画像のそれぞれの注目度を検出させ、前記計算手段には、複数の前記注目画像のそれぞれの重心から、前記注目度を重みとして、前記全体重心を計算させることができる。
本発明の一側面の画像処理方法は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定するステップを含む。
本発明の一側面のプログラムは、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定するステップをコンピュータに実行させる。
本発明の一側面の撮像装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段とを備える。
本発明の一側面においては、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心が検出され、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心が計算され、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域が決定される。
以上のように、本発明の一側面によれば、より好ましい構図とすることができる。
また、本発明の一側面によれば、簡単に、より好ましい構図の画像を切り出すことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段（例えば、図４の注目画像重心検出部９１）と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段（例えば、図４の全体重心計算部９２）と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段（例えば、図４の切り出し領域決定部９３）とを備える。
画像処理装置に、前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段（例えば、図４の画像切り出し生成部９４）をさらに設けることができる。
画像処理装置に、前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段（例えば、図３の画素数変換エンジン５４）をさらに設けることができる。
本発明の一側面の画像処理方法は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し（例えば、図５のステップＳ１４）、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し（例えば、図５のステップＳ１５）、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する（例えば、図５のステップＳ１６）ステップを含む。
本発明の一側面のプログラムは、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し（例えば、図５のステップＳ１４）、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し（例えば、図５のステップＳ１５）、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する（例えば、図５のステップＳ１６）ステップをコンピュータに実行させる。
本発明の一側面の撮像装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段（例えば、図４の注目画像重心検出部９１）と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段（例えば、図４の全体重心計算部９２）と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段（例えば、図４の切り出し領域決定部９３）とを備える。
図１および図２は、本発明の一実施の形態のデジタルカメラ１を示す図である。図１に示されるように、デジタルカメラ１は、使用者の操作に応じて被写体を撮像し、被写体の静止画像である画像（写真）を画像データとして記憶（記録）する。
デジタルカメラ１は、撮像し、画像データとして記憶された画像の構図を補正する。
また、図２で示されるように、デジタルカメラ１は、不揮発性の半導体メモリなどを内蔵するメモリカードなどの媒体であるメディア１１であって、装着されたメディア１１に画像データとして記憶（記録）されている画像の構図を補正する。メディア１１には、デジタルカメラ１または他のデジタルカメラで撮像された画像の画像データが記憶（記録）されている。
なお、メディア１１は、半導体メモリなどを内蔵するメモリカードに限らず、ハードディスクなどの磁気ディスク、またはDVD（Digital Versatile Disc）などの光ディスク若しくは光磁気ディスクなどであってもよい。また、メディア１１は、着脱可能なものであっても、デジタルカメラ１に内蔵されているものであっても良い。
図３は、デジタルカメラ１の構成の例を示すブロック図である。デジタルカメラ１は、光学系３１、イメージャ３２、信号処理部３３、RAM（Random Access Memory）３４、表示部３５、および入力部３６から構成される。
光学系３１は、レンズおよび絞りなどからなり、被写体の光学的な画像をイメージャ３２の受光部に結像させる。イメージャ３２は、CCD（Charge Coupled Device）イメージセンサまたはCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサなどからなり、その受光部に結像された光学的な被写体の画像を電気信号に変換して、変換により得られた画像の電気信号を信号処理部３３に供給する。
信号処理部３３は、複数の電子部品が設けられた基板として構成されるか、またはシステムIC（Integrated Circuit）などとして構成され、イメージャ３２から供給された画像の電気信号に各種の信号処理を適用して、画像データを生成する。また、信号処理部３３は、画像データに各種の信号処理を適用する。RAM３４は、DRAM（Dynamic Random Access Memory）などからなり、信号処理部３３における信号処理の対象となる画像データを一時的に記憶する。
表示部３５は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）ディスプレイなどからなり、信号処理部３３の制御に応じて、各種の画像を表示する。
入力部３６は、ボタン、スイッチ、または表示部３５に重ねて設けられるタッチパネルなどからなり、使用者の操作に応じた信号を信号処理部３３に供給する。
また、信号処理部３３は、装着されたメディア１１から画像データを読み出すか、またはメディア１１に画像データを記憶（記録）させる。
さらに、信号処理部３３は、カメラ信号処理エンジン５１、JPEG（Joint Photographic Experts Group）エンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、制御用CPU（Central Processing Unit）５６、画像信号用バス５７、制御信号用バス５８、外部メディアコントローラ５９、入力インタフェース６０、およびデータバス６１から構成される。
カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、制御用CPU５６、データバス６１、およびRAM３４は、画像データの信号である画像信号が伝送される画像信号用バス５７によって相互に接続されている。
カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、または画像表示用エンジン５５は、それぞれ、画像データを画像信号用バス５７を介してRAM３４に供給し、画像データをRAM３４に一時的に記憶させるか、またはRAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出す。
また、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、および制御用CPU５６は、制御信号が伝送される制御信号用バス５８によって相互に接続されている。
制御用CPU５６は、制御信号用バス５８を介して制御信号を取得し供給することで、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、または画像表示用エンジン５５のそれぞれを制御する。
さらに、制御用CPU５６、外部メディアコントローラ５９、および入力インタフェース６０は、データバス６１によって相互に接続されている。
制御用CPU５６は、データバス６１を介して外部メディアコントローラ５９を制御し、外部メディアコントローラ５９に、画像信号用バス５７およびデータバス６１を介して供給された画像データをメディア１１に記憶させるか、またはメディア１１に記憶されている画像データをメディア１１から読み出させる。
カメラ信号処理エンジン５１は、制御信号用バス５８を介した制御用CPU５６の制御の基に、イメージャ３２から供給された画像の電気信号に、デジタル信号への変換、ノイズ除去、またはホワイトバランスの調整などの各種の信号処理を適用する。カメラ信号処理エンジン５１は、信号処理を適用して得られた画像データをRAM３４に一時的に記憶させる。
JPEGエンジン５２は、制御信号用バス５８を介した制御用CPU５６の制御の基に、カメラ信号処理エンジン５１から供給され、RAM３４に一時的に記憶されている画像データを、RAM３４から読み出して、JPEG方式で符号化する。JPEGエンジン５２は、符号化された画像データを画像信号用バス５７およびデータバス６１を介して、外部メディアコントローラ５９に供給する。この場合、外部メディアコントローラ５９は、JPEG方式で符号化された画像データをメディア１１に記憶（記録）させる。
また、JPEGエンジン５２は、制御信号用バス５８を介した制御用CPU５６の制御の基に、外部メディアコントローラ５９によって、メディア１１から読み出された、JPEG方式で符号化されている画像データを画像信号用バス５７およびデータバス６１を介して取得して、JPEG方式で符号化されている画像データを復号する。JPEGエンジン５２は、復号された画像データをRAM３４に一時的に記憶させる。
注目画像検出エンジン５３は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、読み出された画像データによる画像に含まれる注目画像を検出する。すなわち、注目画像検出エンジン５３は、画像データとして読み出された画像に含まれる画像のうちの注目する画像である注目画像を検出する。注目画像は、人物や目立つ被写体など、注目する者または注目する物（注目物）の画像である。
言い換えれば、注目画像検出エンジン５３は、画像データによる画像に含まれる画像のうち、目立つ画像、ひと目を引く画像である注目画像を検出する。
より具体的には、例えば、注目画像検出エンジン５３は、顔の画像である注目画像を検出する。また、例えば、注目画像検出エンジン５３は、画像データによる画像に含まれる画像のうちの、他の画像と形状が異なるか、色が異なるか、大きさが異なるか、または模様が異なる画像である注目画像を検出する。
なお、所定の被写体の画像に限らず、画像のうちの、目立つ領域、ひと目を引く領域の画像が注目画像として検出されるようにしても良い。また、使用者が、入力部３６への操作によって注目画像を直接指定するようにしてもよい。
注目画像検出エンジン５３は、画像データによる画像における注目画像の範囲を示すデータを画像信号用バス５７または制御信号用バス５８を介して制御用CPU５６に供給する。
画素数変換エンジン５４は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、画像の画素数の変換の処理を画像データに適用する。画素数変換エンジン５４は、画素数が変換された画像の画像データを画像信号用バス５７を介してRAM３４に供給し、RAM３４に一時的に記憶させる。
画像表示用エンジン５５は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、読み出された画像データと表示部３５とに応じたイメージデータを生成し、そのイメージデータを表示部３５に供給することで、その読み出された画像データに応じた画像を表示部３５に表示させる。また、画像表示用エンジン５５は、制御用CPU５６の制御に応じて、GUI（Graphical User Interface）の画像を表示部３５に表示させる。
制御用CPU５６は、組み込み型のCPUから構成されるか、またはシステムICに内蔵されているCPUとして構成される。制御用CPU５６は、内蔵されているROM（Read Only Memory）またはRAMに記憶されているプログラムを実行して、入力インタフェース６０およびデータバス６１を介して供給される使用者の操作に応じた入力部３６からの信号に応じて、制御信号用バス５８を介して制御信号を取得し供給することで、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、外部メディアコントローラ５９、および入力インタフェース６０を制御する。
外部メディアコントローラ５９は、画像データを含む各種のデータの、装着されたメディア１１への記憶（記録）を制御すると共に、装着されたメディア１１に記憶（記録）されている各種のデータの読み出しを制御する。なお、メディア１１が磁気ディスクまたは光ディスクなどである場合、図示せぬドライブが設けられ、外部メディアコントローラ５９は、そのドライブによるメディア１１へのデータの記録または読み出しを制御する。
入力インタフェース６０は、入力部３６からの信号を入力して、入力した信号を整形し、所定の方式にするなどして、入力部３６からの信号をデータバス６１を介して制御用CPU５６に供給する。
図４は、プログラムを実行する制御用CPU５６によって実現される機能の構成を示すブロック図である。プログラムを実行する制御用CPU５６によって、画像読み込み部７１、構図補正部７２、画素数変換制御部７３、表示制御部７４、および記憶制御部７５が実現される。
画像読み込み部７１は、撮像された画像またはメディア１１に画像データとして記憶されている画像である、構図の補正の対象となる原画像を読み込む。
構図補正部７２は、読み込まれた原画像の構図を補正する。すなわち、構図補正部７２は、読み出された原画像から、より好ましい構図の画像を切り出す。
構図補正部７２は、注目画像重心検出部９１、全体重心計算部９２、切り出し領域決定部９３、および画像切り出し生成部９４を含む。
注目画像重心検出部９１は、読み込まれた原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する。全体重心計算部９２は、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算する。
切り出し領域決定部９３は、全体重心を基に、原画像のうち、より好ましい構図の画像の領域を決定する。より詳細には、切り出し領域決定部９３は、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように領域を決定する。
画像切り出し生成部９４は、決定された領域の画像を、原画像から切り出して、新たな画像を生成する。
構図補正部７２は、生成された新たな画像、すなわちより好ましい構図で切り出された画像を画素数変換制御部７３に供給する。
画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた画像の画素数を、所定の画素数に変換させる。例えば、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた画像の画素数を、原画像の画素数と同じに変換させる。
表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、原画像またはより好ましい構図とされ画素数が変換された画像を表示させる。
記憶制御部７５は、外部メディアコントローラ５９を制御して、より好ましい構図とされ画素数が変換された画像の画像データをメディア１１に記憶させる。
次に、図５のフローチャートを参照して、構図の補正の処理の例を説明する。ステップＳ１１において、画像読み込み部７１は、構図の補正の対象となる原画像を読み込む。
すなわち、例えば、撮像された画像の構図を補正する場合、画像読み込み部７１は、カメラ信号処理エンジン５１から供給された画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像を記憶するための特定の記憶領域に格納することによって、撮像された画像である原画像を読み込む。
また、例えば、メディア１１に記憶されている画像データによる画像の構図を補正する場合、画像読み込み部７１は、外部メディアコントローラ５９に、メディア１１に記憶されている画像データをメディア１１から読み出させる。読み出した画像データがJPEG方式で符号化されている場合、画像読み込み部７１は、JPEGエンジン５２にその画像データを復号させる。画像読み込み部７１は、このようにメディア１１から読み出した画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像を記憶するための特定の記憶領域に格納することによって、原画像を読み込む。
ステップＳ１２において、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に原画像を表示させる。
図６に示されるように、デジタルカメラ１の表示部３５は、原画像１０１を表示する。
なお、図６に示されるように、デジタルカメラ１の面のうち、表示部３５が設けられているデジタルカメラ１の面には、構図補正ボタン１０２、上向きのボタンと下向きのボタンと右向きのボタンと左向きのボタンとからなる十字ボタン１０３、決定ボタン１０４、およびメニューボタン１０５が配置されている。構図補正ボタン１０２、十字ボタン１０３、決定ボタン１０４、およびメニューボタン１０５は、入力部３６を構成する。
ステップＳ１３において、構図補正部７２は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、使用者によって構図補正ボタン１０２が押圧されて、原画像１０１の構図の補正が指示されたか否かを判定する。
ステップＳ１３において、構図補正ボタン１０２が使用者によって押圧されて、原画像１０１の構図の補正が指示されたと判定された場合、ステップＳ１４に進み、構図補正部７２の注目画像重心検出部９１は、原画像１０１上の複数の注目画像のそれぞれについて、重心および注目度を検出する。
ここで、注目度とは、注目画像の目立つ度合いまたはひと目を引く度合いを示す値である。
ステップＳ１４をより詳細に説明すると、注目画像重心検出部９１は、注目画像検出エンジン５３に、原画像１０１に含まれる注目画像を検出させ、原画像１０１における注目画像の範囲および注目画像の特徴量を示すデータを画像信号用バス５７または制御信号用バス５８を介して制御用CPU５６に供給させる。
例えば、顔の画像である注目画像を検出する場合、注目画像検出エンジン５３は、原画像１０１の画素のうち、肌色の所定の範囲の色相の画素を検出し、その画素が配置される領域のうち、所定の大きさ以上の領域の画像を特定する。さらに、注目画像検出エンジン５３は、特定された画像に、目の画像および口の画像が含まれるか否かを判定することによって、その画像が顔の画像であるかを判定する。
注目画像検出エンジン５３は、このように検出した顔の画像である注目画像の範囲を示すデータを制御用CPU５６に供給する。
また、例えば、この場合、注目画像検出エンジン５３は、注目画像の特徴量として、顔の画像の大きさを示すデータを制御用CPU５６に供給する。
例えば、図７で示されるように、原画像１０１に７人の人物の画像が含まれている場合、図８で示されるように、原画像１０１に含まれる７人の人物の顔の画像のそれぞれである注目画像１３１−１乃至注目画像１３１−７が検出される。例えば、図８で示されるように、それぞれ四角の範囲の顔の画像である注目画像１３１−１乃至注目画像１３１−７が検出されると、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲と大きさとを示すデータが制御用CPU５６に供給される。
例えば、原画像１０１に含まれる画像のうちの、他の画像と形状が異なるか、色が異なるか、大きさが異なるか、または模様が異なる画像である注目画像を検出する場合、注目画像重心検出部９１は、注目画像検出エンジン５３に、原画像１０１に含まれる画像の輪郭を検出させて、輪郭を検出した画像のそれぞれについて、形状、色、大きさ、模様などの特徴を示す特徴量を検出させる。そして、注目画像検出エンジン５３は、画像のそれぞれの特徴量を基に、より特徴的な画像である注目画像を検出する。例えば、注目画像検出エンジン５３は、検出した特徴量と予め定めた閾値とを比較し、閾値以上（以下）の特徴量の画像を注目画像として検出する。
注目画像検出エンジン５３は、このように検出した注目画像の範囲を示すデータを制御用CPU５６に供給する。
また、この場合、注目画像検出エンジン５３は、注目画像の特徴量を示すデータ、または、例えば、その特徴量を正規化した値を示すデータなどの特徴量に応じたデータを制御用CPU５６に供給する。
注目画像重心検出部９１は、注目画像検出エンジン５３から供給された、原画像１０１における注目画像の範囲を示すデータから、原画像１０１上の複数の注目画像のそれぞれについて、重心を計算することによって、注目画像の重心を検出する。注目画像重心検出部９１は、注目画像検出エンジン５３から供給された、注目画像の特徴量を示すデータから、注目画像の注目度を示すデータを計算することによって、注目画像の注目度を検出する。
例えば、図８で示される、四角の範囲の顔の画像である注目画像１３１−１乃至注目画像１３１−７が検出された場合、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲の中央の位置に相当する重心が、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて検出される。
また、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて注目度が検出される。
例えば、図８で示される、注目画像１３１−１乃至注目画像１３１−７のそれぞれに対して、後述する式（３）の関係を満たし、均等の（同じ値の）注目度が検出される。
また、例えば、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて、互いに異なる値の注目度が検出される。より具体的には、例えば、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲の大きさに応じた注目度が、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて検出される。この場合、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて、注目画像１３１−１乃至注目画像１３１−７の順に、より目立つことを示す、より大きい値の注目度が検出されることになる。
なお、注目画像検出エンジン５３が、注目画像のそれぞれの重心と注目度とを検出するようにしてもよい。
図５に戻り、ステップＳ１５において、構図補正部７２の全体重心計算部９２は、複数の注目画像のそれぞれの重心から、検出された注目度で重み付けして、複数の注目画像の全体の重心である全体重心を計算する。
注目画像の数が全部でN個であり、原画像１０１の座標上の、注目画像のそれぞれの重心の位置を（xk,yk）（k=1,2,・・・,N）で表し、注目画像の注目度をwkで表すと、原画像１０１における、全体重心の位置（xc,yc）のｘ座標上の座標値xcおよびｙ座標上の座標値ycは、式（１）および式（２）により計算される。ただし、式（１）および式（２）における注目度wkは、式（３）で示される条件を満たす。
Figure 2008061184
Figure 2008061184
Figure 2008061184
図８で示される例において、顔の画像である注目画像１３１−１乃至注目画像１３１−７のそれぞれについての重心と注目度から、全体重心１３２の位置（xc,yc）が計算されることになる。
なお、ステップＳ１４において、注目画像のそれぞれの位置（例えば、注目画像の範囲）および注目度が検出され、ステップＳ１５において、注目画像のそれぞれの位置および注目度から、全体重心１３２が計算されるようにしてもよい。
ステップＳ１６において、構図補正部７２の切り出し領域決定部９３は、その領域において全体重心１３２が予め決められた位置になるように、原画像１０１から切り出す領域を決定する。より具体的には、ステップＳ１６において、切り出し領域決定部９３は、原画像１０１における切り出す領域の向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、切り出す領域の向かい合う縁のうちの他方の縁から全体重心１３２までの距離との比率が、美感を起こさせる予め定めた値になるように切り出す領域を決定する。
例えば、図８で示されるように、全体重心１３２を基に、切り出す領域１３３が決定される。
さらに詳しく説明すると、図９で示されるように、全体重心１３２の水平方向の位置が領域１３３の水平方向の中心と一致し、全体重心１３２の鉛直（上下）方向の位置が領域１３３の上端から１／２．６の位置になるように、すなわち領域１３３の上下方向が全体重心１３２によって黄金率約１：１．６１８に分割され、かつ、領域１３３のアスペクト比が原画像１０１のアスペクト比と同一になり、なおかつ、領域１３３の面積が最大になるように、矩形の切り出す領域１３３が決定される。
すなわち、切り出し領域決定部９３は、矩形の領域１３３の左側の縁から全体重心１３２までの距離と、その右側の縁から全体重心１３２までの距離との比率が１：１になり、矩形の領域１３３の上側の縁から全体重心１３２までの距離と、下側の縁から全体重心１３２までの距離との比率が、黄金比である１：１．６１８になり、原画像１０１のアスペクト比と同じアスペクト比であって、原画像１０１の範囲で最大の面積となる矩形の領域１３３を決定する。
なお、図１０で示されるように、全体重心１３２が領域１３３の中心となるように切り出す領域１３３が決定されたり、図１１で示されるように、領域１３３における全体重心１３２の左右方向の位置が、領域１３３の左側の縁を基準として、予め決められたｍ：１−ｍ（０≦ｍ≦１）となり、領域１３３における全体重心１３２の上下方向の位置が、領域１３３の上側の縁を基準として、予め決められたｎ：１−ｎ（０≦ｎ≦１）となるように、切り出す領域１３３が決定されたりするようにしてもよい。
さらに、図１２で示されるように、領域１３３のうち、領域１３３の左右方向の比率が１：１．２：１となり、領域１３３の上下方向の比率が１：１．２：１となる中心の領域（図１２中において点線で表される領域）に全体重心１３２が収まるように切り出す領域１３３が決定されるようにしてもよい。すなわち、矩形の領域１３３の上下または左右に向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、他方の縁から全体重心１３２までの距離との比率が、１：１乃至１：２．２のいずれかの値になるように切り出す領域１３３が決定されるようにしてもよい。
この場合、切り出す領域１３３に含まれる画像の構図は、好ましい構図になる。例えば、全体重心１３２が領域１３３の中心に位置する場合のその領域１３３に含まれる画像の構図は、所定の領域のうち、その領域の左右方向の比率が１：１．２：１となり、その領域の上下方向の比率が１：１．２：１となる中心の領域から全体重心１３２がはみ出した位置にある場合のその領域に含まれる画像の構図に比較すると、良いと言える。所定の領域のうち、その領域の左右方向の比率が１：１．２：１となり、その領域の上下方向の比率が１：１．２：１となる中心の領域から全体重心１３２がはみ出した位置にある場合のその領域に含まれる画像において、注目画像があまりにも端によってしまうからである。
特に、矩形の領域１３３の上下または左右に向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、他方の縁から全体重心１３２までの距離との比率が、１：２の値になるように切り出す領域１３３が決定され、いわゆる３分構図とされると、その切り出す領域１３３の画像の構図は、良好なものとなる。
しかしながら、その比率が１：２．２を超えてしまうと、その構図は不快なものとなってしまう。
図５に戻り、ステップＳ１７において、構図補正部７２は、決定された領域１３３に注目画像の全てが入っているか否かを判定する。例えば、ステップＳ１７において、構図補正部７２は、切り出す領域１３３に顔の画像である注目画像１３１−１乃至注目画像１３１−７のすべてが入っているか否かを判定する。
ステップＳ１７において、決定された領域に注目画像の全てが入っていないと判定された場合、注目画像の欠けた画像を切り出すことは好ましくないので、ステップＳ１６に戻り、上述した処理を繰り返す。この場合、ステップＳ１６において、切り出し領域決定部９３は、原画像１０１における切り出す領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、切り出す領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値であって、前回のステップＳ１６における値と異なる値になるように切り出す領域を決定する。
このようにすることで、注目画像の全てが入った切り出す領域１３３を決定することができる。
ステップＳ１７において、決定された領域１３３に注目画像の全てが入っていると判定された場合、ステップＳ１８に進み、構図補正部７２の画像切り出し生成部９４は、決定された領域１３３の画像を原画像１０１から切り出して、切り出し後画像を生成する。生成された切り出し後画像は、画像データとしてRAM３４に記憶される。
例えば、図８で示されるように、原画像１０１上の顔の画像である注目画像１３１−１乃至注目画像１３１−７のそれぞれについて重心と注目度とが検出され、全体重心１３２の位置が計算され、切り出す領域１３３が決定されると、ステップＳ１８において、画像切り出し生成部９４は、切り出す領域１３３の画像を原画像１０１から切り出して、図１３で示されるように、切り出し後画像１５１を生成する。
ステップＳ１９において、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、原画像１０１の画素数と同じに変換させる。この際、画素数変換エンジン５４は、画素を補間するなどして、切り出し後画像１５１の縦および横のそれぞれのサイズおよび画素数を、原画像１０１の縦および横のそれぞれのサイズおよび画素数と同じになるように、変換する。
なお、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、予め決められた任意の画素数に変換させるようにしてもよい。
また、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、使用者から予め指定されている画素数に変換させるようにしてもよい。
ステップＳ２０において、表示制御部７４は、画像表示用エンジン５５を制御して、切り出し後画像１５１を表示部３５に表示させる。例えば、図１４で示されるように、デジタルカメラ１の表示部３５には、切り出し後画像１５１が表示される。
この場合、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、切り出し後画像１５１と共に、切り出し後画像１５１の保存を指示するためのボタン１７１および切り出し後画像１５１の保存の取消（切り出し後画像１５１の破棄）を指示するためのボタン１７２を表示させる。
使用者は、表示部３５に表示されている切り出し後画像１５１を見て、その切り出し後画像１５１が気に入った場合、ボタン１７１を操作し、その切り出し後画像１５１が気に入らない場合、ボタン１７２を操作することになる。
ステップＳ２１において、記憶制御部７５は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、切り出し後画像１５１の保存が指示されたか否かを判定する。
例えば、ステップＳ２１において、記憶制御部７５は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン１７１が表示されている位置がタップされるか、または十字ボタン１０３によってボタン１７１にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン１７１が操作されると、切り出し後画像１５１の保存が指示されたと判定する。例えば、ステップＳ２１において、記憶制御部７５は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン１７２が表示されている位置がタップされるか、または十字ボタン１０３によってボタン１７２にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン１７２が操作されると、切り出し後画像１５１の保存の取消（切り出し後画像１５１の破棄）が指示され、切り出し後画像１５１の保存が指示されていないと判定する。
ステップＳ２１において、切り出し後画像１５１の保存が指示されたと判定された場合、ステップＳ２２に進み、記憶制御部７５は、外部メディアコントローラ５９を制御して、RAM３４に記憶されている、より好ましい構図とされ画素数が変換された切り出し後画像１５１の画像データをメディア１１に記憶させ、処理は終了する。
なお、切り出し後画像１５１は、JPEGエンジン５２によってJPEG方式で符号化されてから、メディア１１に画像データとして記憶されるようにしてもよい。
一方、ステップＳ２１において、切り出し後画像１５１の保存が指示されていないと判定された場合、ステップＳ２２はスキップされて、切り出し後画像１５１の画像データをメディア１１に記憶させることなく、そのまま処理は終了する。
ステップＳ１３において、原画像１０１の構図の補正が指示されていないと判定された場合、構図を補正する必要はないので、ステップＳ１４乃至ステップＳ２２はスキップされて、処理は終了する。
このように、原画像１０１の構図を補正した、より好ましい構図の切り出し後画像１５１を簡単に得ることができ、切り出し後画像１５１を保存することができる。
切り出し後画像１５１を保存することによって、図１５で示されるように、原画像１０１と同様に、任意に所望の切り出し後画像１５１を表示部３５に表示させることができ、使用者が切り出し後画像１５１を任意に閲覧できるようになる。
なお、切り出し後画像１５１の画素数を変換することなく、原画像１０１の決定された領域１３３から切り出された切り出し後画像１５１の画像データをそのままメディア１１に記憶させるようにしてもよい。
図１６は、原画像１０１の他の例を示す図であり、図１７は、図１６の原画像１０１から、図５のフローチャートを参照して説明した構図の補正の処理により生成された切り出し後画像１５１の他の例を示す図である。また、図１８は、原画像１０１のさらに他の例を示す図であり、図１９は、図１８の原画像１０１から、図５のフローチャートを参照して説明した構図の補正の処理により生成された切り出し後画像１５１のさらに他の例を示す図である。
図１６乃至図１９で示されるように、構図がいまいちな原画像１０１から、簡単に、より好ましい構図の切り出し後画像１５１を切り出すことができる。
今までは「構図が悪い」ことで「失敗写真」とされていた写真（原画像１０１）は、往々にして削除されてしまうことが多かったが、切り出しなおして「良い構図」とされることにより、そういったせっかく撮った写真（原画像１０１）を捨てなくても良くなる。
撮像直後に限らず、撮像された写真の構図を撮影後にいつでも、しかも、面倒な選択や操作をすることなく「良い構図」の写真に直すことができるので、撮像のときに構図に気を配る必要がなく、より気楽に写真を撮ることができるようになる。
なお、原画像１０１について領域１３３を決定してから、領域１３３の画像を切り出すことなく、決定した領域１３３の画像を表示部３５に表示させるようにしてもよい。このようにすることで、画像データを増やすことなく、原画像１０１を、より良い構図の画像として表示し閲覧させることができる。
また、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正するようにすることもできる。
図２０は、メニューボタン１０５が押圧されることよって表示されるメニューのコマンドが選択されると実行される構図の補正の処理であって、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正する場合の、構図の補正の処理の他の例を説明するフローチャートである。
ステップＳ５１において、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、構図の補正の指示を受け付ける画面を表示させる。例えば、ステップＳ５１において、図２１で示されるように、「構図補正実行しますか？」などの文字が配置されている、構図の補正の指示を受け付ける画面２０１が表示部３５に表示される。画面２０１には、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正を指示するためのボタン２０２および構図の補正の取消を指示するためのボタン２０３が配置されている。
ステップＳ５２において、構図補正部７２は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたか否かを判定する。
例えば、ステップＳ５２において、構図補正部７２は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン２０２が表示されている位置がタップされるか、または十字ボタン１０３によってボタン２０２にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン２０２が操作されると、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたと判定する。例えば、ステップＳ５２において、構図補正部７２は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン２０３が表示されている位置がタップされるか、または十字ボタン１０３によってボタン２０３にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン２０３が操作されると、構図の補正の取消が指示され、構図の補正が指示されていないと判定する。
ステップＳ５２において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたと判定された場合、例えば、図２２で示されるように、「構図補正実行中です．．．」などの文字が配置されている、構図の補正の処理が実行中であることを示す画面２２１が表示部３５に表示されて、ステップＳ５３に進み、画像読み込み部７１は、メディア１１から構図の補正の対象となる原画像１０１を読み込む。
例えば、ステップＳ５３において、画像読み込み部７１は、外部メディアコントローラ５９に、メディア１１に記憶されている画像データをメディア１１から読み出させる。読み出した画像データがJPEG方式で符号化されている場合、画像読み込み部７１は、JPEGエンジン５２にその画像データを復号させる。画像読み込み部７１は、このようにメディア１１から読み出した画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像１０１を記憶するための特定の記憶領域に格納することによって、原画像１０１を読み込む。
ステップＳ５４乃至ステップＳ５６は、それぞれ、図５のステップＳ１４乃至ステップＳ１６のそれぞれと同様なので、その説明は省略する。
ステップＳ５７およびステップＳ５８は、それぞれ、図５のステップＳ１８およびステップＳ１９のそれぞれと同様なので、その説明は省略する。
ステップＳ５９は、図５のステップＳ２２と同様なので、その説明は省略する。
ステップＳ６０において、構図補正部７２は、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したか否かを判定する。例えば、ステップＳ６０において、構図補正部７２は、画像読み込み部７１から通知される、メディア１１に画像データとして記憶されている原画像１０１の総数と、ステップＳ５４乃至ステップＳ５９の処理によって構図を補正した原画像１０１の数とを比較することにより、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したか否かを判定する。
ステップＳ６０において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正していないと判定された場合、構図を補正すべき原画像１０１がまだあるので、ステップＳ６１に進み、画像読み込み部７１は、メディア１１から構図の補正の対象となる次の原画像１０１を読み込んで、ステップＳ５４に戻り、次の原画像１０１を対象として上述した処理を繰り返す。
ステップＳ６０において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したと判定された場合、処理は終了する。
また、ステップＳ５２において、全ての原画像１０１の構図の補正が指示されていないと判定された場合、構図を補正する必要はないので、ステップＳ５３乃至ステップＳ６１はスキップされて、処理は終了する。
このように、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正することができる。すなわち、メディア１１に画像データとして記憶されている複数の原画像１０１のそれぞれの構図を補正した、より好ましい構図の切り出し後画像１５１を簡単に切り出すことができ、切り出し後画像１５１を保存することができる。
これにより、メディア１１に画像データとして記憶されている原画像１０１の構図を補正した切り出し後画像１５１を、任意に、原画像１０１と同様に表示部３５に表示させることができ、使用者はこのような切り出し後画像１５１を任意に閲覧できるようになる。
なお、本発明は、デジタルカメラ１に限らず、画像を撮像する機器、画像を表示する機器、または画像を保存する機器など画像を取り扱う機器に適用することができ、具体的には、携帯電話機、携帯型の画像再生装置、据え置き型の画像再生装置若しくは画像記録装置、撮像した画像などを記憶するストレージ装置、または画像を提供するサーバなどに適用できる。
また、画像は、静止画像または動画像のいずれであってもよい。例えば、動画像である原画像の構図を補正する場合には、予め定めた時間間隔のフレームに上述した処理を適用して領域を決定し、決定した領域を基準として、動画像上の時間の経過に応じて領域が連続的に変化するようにすれば、より好ましい構図の動画を切り出すことができるようになる。
このように、原画像から、より好ましい構図の画像を切り出すようにした場合には、より好ましい構図の画像を得ることができる。また、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算し、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように領域を決定するようにした場合には、簡単に、より好ましい構図の画像を切り出すことができる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明の一実施の形態のデジタルカメラを示す図である。 本発明の一実施の形態のデジタルカメラを示す図である。 デジタルカメラの構成の例を示すブロック図である。 プログラムを実行する制御用CPUによって実現される機能の構成を示すブロック図である。 構図の補正の処理の例を説明するフローチャートである。 デジタルカメラの表示部および入力部を示す図である。 原画像の例を示す図である。 原画像、注目画像、全体重心、および切り出す領域の例を示す図である。 切り出す領域を説明する図である。 切り出す領域を説明する図である。 切り出す領域を説明する図である。 切り出す領域を説明する図である。 切り出し後画像の例を示す図である。 デジタルカメラの表示部および入力部を示す図である。 デジタルカメラの表示部および入力部を示す図である。 原画像の例を示す図である。 切り出し後画像の例を示す図である。 原画像の例を示す図である。 切り出し後画像の例を示す図である。 構図の補正の処理の他の例を説明するフローチャートである。 デジタルカメラの表示部および入力部を示す図である。 デジタルカメラの表示部および入力部を示す図である。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
１ デジタルカメラ， １１ メディア， ３１ 光学系， ３２ イメージャ， ３３ 信号処理部， ３４ RAM， ３５ 表示部， ３６ 入力部， ５１ カメラ信号処理エンジン， ５２ JPEGエンジン， ５３ 注目画像検出エンジン， ５４ 画素数変換エンジン， ５５ 画像表示用エンジン， ５６ 制御用CPU， ７１ 画像読み込み部， ７２ 構図補正部， ７３ 画素数変換制御部， ７４ 表示制御部， ７５ 記憶制御部， ９１ 注目画像重心検出部， ９２ 全体重心計算部， ９３ 切り出し領域決定部， ９４ 画像切り出し生成部， １０１ 原画像， １３１−１乃至１３１−７ 注目画像， １３２ 全体重心， １３３ 領域， １５１ 切り出し後画像， ３０１ CPU， ３０２ ROM， ３０３ RAM， ３０８ 記憶部， ３１１ リムーバブルメディア

Claims (15)

  1. 原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、
    複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、
    前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段と
    を備える画像処理装置。
  2. 前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段をさらに備える
    請求項２に記載の画像処理装置。
  4. 前記決定手段は、矩形の前記領域の上下または左右に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように矩形の前記領域を決定する
    請求項１に記載の画像処理装置。
  5. 前記決定手段は、前記原画像のアスペクト比と同じアスペクト比の矩形の前記領域を決定する
    請求項４に記載の画像処理装置。
  6. 前記決定手段は、前記原画像における最大の前記領域を決定する
    請求項５に記載の画像処理装置。
  7. 前記決定手段は、前記比率が１：１乃至１：２．２のいずれかの値になるように前記領域を決定する
    請求項１に記載の画像処理装置。
  8. 前記決定手段は、前記比率が１：２になるように前記領域を決定する
    請求項１に記載の画像処理装置。
  9. 前記決定手段は、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が１：２になるように前記領域を決定する
    請求項８に記載の画像処理装置。
  10. 前記決定手段は、前記比率が黄金比になるように前記領域を決定する
    請求項１に記載の画像処理装置。
  11. 前記決定手段は、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が黄金比になるように前記領域を決定する
    請求項１０に記載の画像処理装置。
  12. 前記検出手段は、複数の前記注目画像のそれぞれの注目度を検出し、
    前記計算手段は、複数の前記注目画像のそれぞれの重心から、前記注目度を重みとして、前記全体重心を計算する
    請求項１に記載の画像処理装置。
  13. 原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、
    複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、
    前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する
    ステップを含む画像処理方法。
  14. 原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、
    複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、
    前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する
    ステップをコンピュータに実行させるプログラム。
  15. 原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、
    複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、
    前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段と
    を備える撮像装置。
JP2006238917A 2006-09-04 2006-09-04 画像処理装置および方法、プログラム、並びに撮像装置 Pending JP2008061184A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006238917A JP2008061184A (ja) 2006-09-04 2006-09-04 画像処理装置および方法、プログラム、並びに撮像装置
TW096131247A TW200818061A (en) 2006-09-04 2007-08-23 Image processing apparatus and image processing method, computer program, and imaging apparatus
KR1020070085966A KR20080021519A (ko) 2006-09-04 2007-08-27 화상 처리 장치 및 방법, 프로그램 및 촬상 장치
US11/897,209 US8306358B2 (en) 2006-09-04 2007-08-29 Image processing apparatus, image processing method, and imaging apparatus for slicing an image
CNA2007101495181A CN101141565A (zh) 2006-09-04 2007-09-04 图像处理装置和图像处理方法、计算机程序及摄像装置
CN200910167564A CN101661558A (zh) 2006-09-04 2007-09-04 图像处理装置和图像处理方法及摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006238917A JP2008061184A (ja) 2006-09-04 2006-09-04 画像処理装置および方法、プログラム、並びに撮像装置

Publications (1)

Publication Number Publication Date
JP2008061184A true JP2008061184A (ja) 2008-03-13

Family

ID=39188688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006238917A Pending JP2008061184A (ja) 2006-09-04 2006-09-04 画像処理装置および方法、プログラム、並びに撮像装置

Country Status (5)

Country Link
US (1) US8306358B2 (ja)
JP (1) JP2008061184A (ja)
KR (1) KR20080021519A (ja)
CN (2) CN101141565A (ja)
TW (1) TW200818061A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095919B2 (en) 2015-03-23 2018-10-09 Casio Computer Co., Ltd. Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655765A (zh) * 2008-08-22 2010-02-24 深圳富泰宏精密工业有限公司 利用虚拟方向键进行操作的电子装置及相应的操作方法
CN101546307B (zh) * 2008-09-17 2011-01-12 厦门市美亚柏科信息股份有限公司 一种基于边缘重心特征的图像检索系统及其图像检索方法
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
KR101642402B1 (ko) * 2010-02-01 2016-07-25 삼성전자주식회사 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP6504899B2 (ja) * 2015-04-21 2019-04-24 キヤノン株式会社 制御装置、光学機器、撮像装置および制御方法
CN108206910B (zh) * 2016-12-20 2021-04-06 北京小米移动软件有限公司 图像拍摄的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62169284A (ja) 1986-01-22 1987-07-25 Fujitsu Ltd 画像の位置合わせ方式
JPH08110603A (ja) 1994-10-12 1996-04-30 Konica Corp 色調整方法および装置
JP3936351B2 (ja) 1995-01-11 2007-06-27 富士通株式会社 音声応答サービス装置
JP2000098456A (ja) 1998-09-28 2000-04-07 Minolta Co Ltd オート構図機能を有するカメラ
US6654506B1 (en) * 2000-01-25 2003-11-25 Eastman Kodak Company Method for automatically creating cropped and zoomed versions of photographic images
US6545743B1 (en) * 2000-05-22 2003-04-08 Eastman Kodak Company Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
JP4405750B2 (ja) 2003-05-28 2010-01-27 キヤノン株式会社 画像編集装置
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
JP2005033508A (ja) 2003-07-14 2005-02-03 Minolta Co Ltd 撮像装置
US7382903B2 (en) * 2003-11-19 2008-06-03 Eastman Kodak Company Method for selecting an emphasis image from an image collection based upon content recognition
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095919B2 (en) 2015-03-23 2018-10-09 Casio Computer Co., Ltd. Image processing apparatus, image processing method and storage medium to suitably clip a subject region from a moving image

Also Published As

Publication number Publication date
TW200818061A (en) 2008-04-16
CN101661558A (zh) 2010-03-03
US8306358B2 (en) 2012-11-06
US20080069468A1 (en) 2008-03-20
CN101141565A (zh) 2008-03-12
KR20080021519A (ko) 2008-03-07

Similar Documents

Publication Publication Date Title
JP4902562B2 (ja) 撮像装置、画像処理装置、制御方法およびプログラム
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US9679394B2 (en) Composition determination device, composition determination method, and program
JP5251547B2 (ja) 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
US8582891B2 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
US8477207B2 (en) Image capturing apparatus, image capturing method, and computer program
JP5824972B2 (ja) 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム
JP2008061184A (ja) 画像処理装置および方法、プログラム、並びに撮像装置
JP2007158868A (ja) 画像処理装置および方法
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP2009089220A (ja) 撮像装置
JP2008109305A (ja) 画像処理装置および画像処理装置の制御方法
JP2010016878A (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4636786B2 (ja) 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2008236015A (ja) 画像処理装置、撮像装置及びそのプログラム
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2006109005A (ja) 画像出力装置および撮像装置
JP2006318260A (ja) 画像処理装置およびその方法
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP5351663B2 (ja) 撮像装置およびその制御方法
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081008

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081120