JP2009060291A - Image processing apparatus, image processing method and program - Google Patents

Image processing apparatus, image processing method and program Download PDF

Info

Publication number
JP2009060291A
JP2009060291A JP2007224785A JP2007224785A JP2009060291A JP 2009060291 A JP2009060291 A JP 2009060291A JP 2007224785 A JP2007224785 A JP 2007224785A JP 2007224785 A JP2007224785 A JP 2007224785A JP 2009060291 A JP2009060291 A JP 2009060291A
Authority
JP
Japan
Prior art keywords
trimming frame
trimming
face
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007224785A
Other languages
Japanese (ja)
Other versions
JP4916403B2 (en
JP2009060291A5 (en
Inventor
Tomoyumi Niwa
智弓 丹羽
Atsushi Inagaki
温 稲垣
Masahito Sanno
雅人 参納
Taira Ikeda
平 池田
Yuichi Nakase
雄一 中瀬
Hitoshi Watanabe
等 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007224785A priority Critical patent/JP4916403B2/en
Publication of JP2009060291A publication Critical patent/JP2009060291A/en
Publication of JP2009060291A5 publication Critical patent/JP2009060291A5/ja
Application granted granted Critical
Publication of JP4916403B2 publication Critical patent/JP4916403B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P20/00Technologies relating to chemical industry
    • Y02P20/50Improvements relating to the production of bulk chemicals
    • Y02P20/52Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus for simply performing trimming processes by providing a trimming frame which a user desires. <P>SOLUTION: The image processing apparatus is characterized by including: a face information detecting means for detecting face information of an imaging object from the imaging data obtained; a trimming frame generating means for generating a plurality of trimming frames showing ranges of the trimming based on the face information of the object detected by the face information detecting means; and a display processing means for displaying the trimming frames generated by the trimming frame generating means together with the imaged data. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものであり、撮像した画像の画像処理を行うことができるデジタルカメラやプリンタに用いられて好適である。   The present invention relates to an image processing apparatus, an image processing method, and a program, and is suitable for use in a digital camera or a printer that can perform image processing of a captured image.

従来から、撮像した画像等に対して、不要な部分を取り除き画像を整える、いわゆるトリミングを行うことができる画像処理装置が知られている。トリミングを行うとき、ユーザは画像に対してトリミング枠を指定する必要がある。例えば、画像に人物が含まれており、その人物をトリミングする場合、ユーザはトリミング枠の大きさを人物に一致するように変更したり、トリミング枠の位置を人物の位置に一致するように変更したりする操作を行わなければならず、操作が煩雑であった。   2. Description of the Related Art Conventionally, there has been known an image processing apparatus that can perform so-called trimming that removes unnecessary portions from a captured image or the like and arranges the image. When trimming, the user needs to specify a trimming frame for the image. For example, when a person is included in an image and the person is trimmed, the user changes the size of the trimming frame to match the person, or changes the position of the trimming frame to match the position of the person. Operation had to be performed, and the operation was complicated.

一方、特許文献1には、撮像した画像から、人物画像が立っているか座っているかを表す情報、顔の向きを表す情報、人数を表す情報又は持ち物を表す情報の少なくとも一つの情報から、トリミング枠を自動的に表示する画像処理装置が開示されている。   On the other hand, in Patent Document 1, trimming is performed based on at least one of information indicating whether a person image is standing or sitting, information indicating the orientation of a face, information indicating the number of people, or information indicating belongings from a captured image. An image processing apparatus that automatically displays frames is disclosed.

特開2004−274428号公報JP 2004-274428 A

しかしながら、特許文献1に開示された技術は、撮像した画像に複数の人物が含まれている場合、全ての人物を含むようなトリミング枠が提供されるのみである。従って、例えばユーザが所定の人物のみをトリミングしたい場合や所定の複数の人物をトリミングしたい場合、ユーザはトリミング枠の大きさや位置を調整し直さなければならず、その操作は煩雑であった。   However, the technique disclosed in Patent Document 1 only provides a trimming frame that includes all persons when the captured image includes a plurality of persons. Therefore, for example, when the user wants to trim only a predetermined person or trims a plurality of predetermined persons, the user has to readjust the size and position of the trimming frame, and the operation is complicated.

本発明は上述したような問題点に鑑みてなされたものであり、ユーザに対しユーザが所望するトリミング枠を提供できるようにすることを目的とする。   The present invention has been made in view of the above-described problems, and an object thereof is to provide a user with a trimming frame desired by the user.

本発明の画像処理装置は、撮像された画像から被写体の顔情報を検出する顔情報検出手段と、前記顔情報検出手段において検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成手段と、前記トリミング枠作成手段において作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理手段と、を有することを特徴とする。   An image processing apparatus according to the present invention includes a face information detection unit that detects face information of a subject from a captured image, and a trimming that indicates a range to be trimmed based on the face information of the subject detected by the face information detection unit Trimming frame creation means for creating a plurality of frames; and display processing means for displaying the trimming frame created by the trimming frame creation means together with the captured image on a display device.

また、本発明の画像処理方法は、撮像された画像から被写体の顔情報を検出する顔情報検出ステップと、前記顔情報検出ステップにおいて検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成ステップと、前記トリミング枠作成ステップにおいて作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理ステップと、を有することを特徴とする。   The image processing method of the present invention includes a face information detection step for detecting face information of a subject from a captured image, and a range in which trimming is performed based on the face information of the subject detected in the face information detection step. A trimming frame creating step for creating a plurality of trimming frames to be displayed; and a display processing step for displaying the trimming frame created in the trimming frame creating step together with the captured image on a display device.

また、本発明のプログラムは、撮像された画像から被写体の顔情報を検出する顔情報検出ステップと、前記顔情報検出ステップにおいて検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成ステップと、前記トリミング枠作成ステップにおいて作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理ステップと、をコンピュータに実行させるためのプログラムである。   The program of the present invention includes a face information detection step for detecting face information of a subject from a captured image, and a trimming indicating a range to be trimmed based on the face information of the subject detected in the face information detection step. A program for causing a computer to execute a trimming frame creation step for creating a plurality of frames, and a display processing step for displaying the trimming frame created in the trimming frame creation step together with the captured image on a display device. .

本発明によれば、ユーザが所望するトリミング枠が提供されるので、トリミングの処理を簡単に行うことができる。   According to the present invention, since a trimming frame desired by the user is provided, trimming processing can be easily performed.

以下、図面を参照して本発明に係る実施形態について説明する。
図1は、本発明を適用した画像処理装置を含むデジタルカメラ100の構成を示す図である。
図1において、10は撮影レンズである。12は絞り機能を備えるシャッターである。14は光学像を電気信号に変換する撮像素子である。16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。
Embodiments according to the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a digital camera 100 including an image processing apparatus to which the present invention is applied.
In FIG. 1, reference numeral 10 denotes a photographing lens. Reference numeral 12 denotes a shutter having an aperture function. An image sensor 14 converts an optical image into an electric signal. Reference numeral 16 denotes an A / D converter that converts an analog signal output from the image sensor 14 into a digital signal.

18は撮像素子14と、A/D変換器16と、D/A変換器26とにクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御部22及びシステム制御部50により制御される。   A timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14, the A / D converter 16, and the D / A converter 26, and is controlled by the memory control unit 22 and the system control unit 50. .

20は画像処理部であり、A/D変換器16からのデータ或いはメモリ制御部22からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理部20は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御部50が露光制御部40、測距制御部42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行う。さらに、画像処理部20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。   An image processing unit 20 performs predetermined pixel interpolation processing and color conversion processing on the data from the A / D converter 16 or the data from the memory control unit 22. The image processing unit 20 performs predetermined calculation processing using the captured image data. The system control unit 50 controls the exposure control unit 40 and the distance measurement control unit 42 based on the obtained calculation result. TTL (through-the-lens) AF (auto focus) processing, AE (automatic) Exposure) processing and EF (flash pre-emission) processing are performed. Further, the image processing unit 20 performs predetermined calculation processing using the captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained calculation result.

22はメモリ制御部であり、A/D変換器16、タイミング発生回路18、画像処理部20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理部20、メモリ制御部22を介して、或いはA/D変換器16のデータが直接メモリ制御部22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。   A memory control unit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing unit 20, the image display memory 24, the D / A converter 26, the memory 30, and the compression / decompression circuit 32. The data of the A / D converter 16 is written into the image display memory 24 or the memory 30 via the image processing unit 20 and the memory control unit 22 or the data of the A / D converter 16 is directly written via the memory control unit 22. It is.

24は画像表示メモリである。26はD/A変換器である。28はTFTLCD等からなる表示装置としての画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部28は、システム制御部50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはデジタルカメラ100の電力消費を大幅に低減することができる。   Reference numeral 24 denotes an image display memory. Reference numeral 26 denotes a D / A converter. Reference numeral 28 denotes an image display unit as a display device including a TFT LCD or the like. The display image data written in the image display memory 24 is displayed by the image display unit 28 via the D / A converter 26. If the image data captured using the image display unit 28 is sequentially displayed, the electronic viewfinder function can be realized. The image display unit 28 can arbitrarily turn on / off the display according to an instruction from the system control unit 50. When the display is turned off, the power consumption of the digital camera 100 can be significantly reduced. it can.

30は撮影した画像(静止画像データや動画像データ)を格納するためのメモリであり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像データを連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御部50の作業領域としても使用することが可能である。   Reference numeral 30 denotes a memory for storing captured images (still image data and moving image data), and has a sufficient storage capacity for storing a predetermined number of still image data and moving image data for a predetermined time. Accordingly, even in the case of continuous shooting or panoramic shooting in which a plurality of still image data are continuously shot, it is possible to write a large amount of images to the memory 30 at high speed. The memory 30 can also be used as a work area for the system control unit 50.

32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。34は暗号復号部である。   Reference numeral 32 denotes a compression / decompression circuit that compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads an image stored in the memory 30, performs compression processing or decompression processing, and stores the processed data in the memory 30. Write to. Reference numeral 34 denotes an encryption / decryption unit.

40は絞り機能を備えるシャッター12を制御する露光制御部であり、フラッシュ48と連携することによりフラッシュ調光機能も有するものである。42は撮影レンズ10のフォーカシングを制御する測距制御部である。44は撮影レンズ10のズーミングを制御するズーム制御部である。46はバリア86の動作を制御するバリア制御部である。48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。   Reference numeral 40 denotes an exposure control unit that controls the shutter 12 having an aperture function, and has a flash light control function in cooperation with the flash 48. A distance measuring control unit 42 controls focusing of the photographing lens 10. A zoom control unit 44 controls zooming of the photographing lens 10. A barrier control unit 46 controls the operation of the barrier 86. A flash 48 has an AF auxiliary light projecting function and a flash light control function.

露光制御部40及び測距制御部42はTTL方式を用いて制御されており、撮像した画像データを画像処理部20によって演算した演算結果に基づき、システム制御部50が露光制御部40及び測距制御部42に対して制御を行う。50はデジタルカメラ100全体を制御するシステム制御部である。52はシステム制御部50の動作用の定数、変数及びプログラム等を記憶するメモリである。   The exposure control unit 40 and the distance measurement control unit 42 are controlled using the TTL method, and the system control unit 50 performs the exposure control unit 40 and the distance measurement based on the calculation result obtained by calculating the captured image data by the image processing unit 20. The controller 42 is controlled. A system control unit 50 controls the entire digital camera 100. A memory 52 stores constants, variables, programs, and the like for operation of the system control unit 50.

54はシステム制御部50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置(スピーカー等を含む)の表示部である。表示部54は、デジタルカメラ100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、表示部54は、その一部の機能が光学ファインダ88内に設置されている。   Reference numeral 54 denotes a display unit of a liquid crystal display device (including a speaker and the like) that displays an operation state, a message, and the like using characters, images, sounds, and the like in accordance with execution of a program in the system control unit 50. The display unit 54 is installed at a single or a plurality of positions near the operation unit of the digital camera 100 so that the display unit 54 can be visually recognized. In addition, the display unit 54 is partially installed in the optical viewfinder 88.

表示部54の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示がある。その他、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体102の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。   Among the display contents of the display unit 54, what is displayed on the LCD or the like includes single shot / continuous shooting display, self-timer display, compression rate display, number of recorded pixels, number of recorded pixels, number of remaining images that can be captured, shutter There are speed display and aperture value display. In addition, exposure compensation display, flash display, red-eye reduction display, macro shooting display, buzzer setting display, clock battery level display, battery level display, error display, multi-digit number information display, and attachment / detachment status of recording medium 102 Display, communication I / F operation display, date / time display, and the like.

また、表示部54の表示内容のうち、光学ファインダ88内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。58は識別情報である。
Among the display contents of the display unit 54, what is displayed in the optical viewfinder 88 includes in-focus display, camera shake warning display, flash charge display, shutter speed display, aperture value display, exposure correction display, and the like.
Reference numeral 56 denotes an electrically erasable / recordable nonvolatile memory such as an EEPROM. 58 is identification information.

60、62、64及び66は、システム制御部50に各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。   Reference numerals 60, 62, 64, and 66 denote operation units for inputting various operation instructions to the system control unit 50. The operation units 60, 62, 64, and 66 may be a single or a combination of a switch, a dial, a touch panel, pointing by line-of-sight detection, and a voice recognition device. Composed.

ここで、これらの操作部の具体的な説明を行う。60はメインスイッチであり、デジタルカメラ100の電源をON/OFFすることができる。
62はシャッタースイッチSW1であり、シャッターボタンの操作途中(半押し)でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を指示する。
Here, a specific description of these operation units will be given. Reference numeral 60 denotes a main switch, which can turn on / off the power of the digital camera 100.
Reference numeral 62 denotes a shutter switch SW1, which is turned on when the shutter button is being operated halfway (half-press), and AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, and EF (flash pre-flash) processing. Instruct the start of the operation.

64はシャッタースイッチSW2であり、シャッターボタンの操作完了(全押し)でONとなる。SW2がONになると、撮像素子14から読み出した信号をA/D変換器16、メモリ制御部22を介してメモリ30に画像データを書き込む露光処理、画像処理部20やメモリ制御部22での演算を用いた現像処理が行われる。さらにメモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体102に画像データを書き込む記録処理が行われる。
66は各種ボタンやタッチパネル等からなる操作部であり、詳細は後述する。
A shutter switch SW2 64 is turned on when the operation of the shutter button is completed (fully pressed). When SW2 is turned ON, an exposure process for writing a signal read from the image sensor 14 to the memory 30 via the A / D converter 16 and the memory control unit 22, and an operation in the image processing unit 20 and the memory control unit 22 Development processing using is performed. Further, a recording process is performed in which the image data is read from the memory 30, compressed by the compression / decompression circuit 32, and the image data is written to the recording medium 102.
Reference numeral 66 denotes an operation unit including various buttons, a touch panel, and the like, and details will be described later.

70は電源制御部であり、電池検出回路と、DC−DCコンバータと、通電するブロックを切り替えるスイッチ回路等とにより構成されている。電源制御部70は電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体102を含む各部へ供給する。   Reference numeral 70 denotes a power supply control unit, which includes a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like. The power supply control unit 70 detects the presence / absence of a battery, the type of battery, and the remaining battery level, controls the DC-DC converter based on the detection result and an instruction from the system control unit 50, and supplies a necessary voltage for a necessary period. , And supplied to each unit including the recording medium 102.

72及び74はコネクタである。76はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。80はメモリカードやハードディスク等の記録媒体102とのインタフェースである。82はメモリカードやハードディスク等の記録媒体102と接続を行うコネクタである。84はコネクタ82に記録媒体102が装着されているか否かを検知する着脱検知部である。   72 and 74 are connectors. A power source 76 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like. Reference numeral 80 denotes an interface with a recording medium 102 such as a memory card or a hard disk. A connector 82 is connected to the recording medium 102 such as a memory card or a hard disk. Reference numeral 84 denotes an attachment / detachment detection unit that detects whether or not the recording medium 102 is attached to the connector 82.

なお、本実施形態では記録媒体102を取り付けるインタフェース80及びコネクタ82としては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成してもよい。その場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カードを接続する。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。   In the present embodiment, the interface 80 and the connector 82 for attaching the recording medium 102 may be configured using a PCMCIA card, a CF (Compact Flash (registered trademark)) card, or the like. In that case, a communication card such as a LAN card, modem card, USB card, IEEE 1394 card, P1284 card, SCSI card, PHS or the like is connected. As a result, image data and management information attached to the image data can be transferred to and from peripheral devices such as other computers and printers.

86は保護手段としてのバリアであり、デジタルカメラ100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。88は光学ファインダであり、画像表示部28による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ88内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が配置されている。   Reference numeral 86 denotes a barrier as a protection means, which covers the imaging unit including the lens 10 of the digital camera 100 to prevent the imaging unit from being soiled or damaged. Reference numeral 88 denotes an optical viewfinder, which can take an image using only the optical viewfinder without using the electronic viewfinder function of the image display unit 28. In the optical viewfinder 88, some functions of the display unit 54, for example, focus display, camera shake warning display, flash charge display, shutter speed display, aperture value display, exposure correction display, and the like are arranged.

90はカメラ姿勢検知部であり、デジタルカメラ100の姿勢状態、即ち撮像素子14の撮像面の向きの状態を検出する。カメラ姿勢検知部90は、例えば重力センサーである。
92は日時制御部であり、デジタルカメラ100に内蔵している時計であるリアルタイムクロック(RTC)を使用して時間を計時する。デジタルカメラ100の電源OFFであっても、内蔵電池から電源を供給して動作する。
Reference numeral 90 denotes a camera posture detection unit that detects the posture state of the digital camera 100, that is, the state of the imaging surface of the image sensor 14. The camera posture detection unit 90 is, for example, a gravity sensor.
A date / time control unit 92 measures time using a real time clock (RTC) which is a clock built in the digital camera 100. Even when the power of the digital camera 100 is turned off, the power is supplied from the built-in battery to operate.

94は通信部であり、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信等の各種通信機能を有する。96は通信部94によりデジタルカメラ100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。   A communication unit 94 has various communication functions such as RS232C, USB, IEEE1394, P1284, SCSI, modem, LAN, and wireless communication. Reference numeral 96 denotes a connector for connecting the digital camera 100 to other devices by the communication unit 94 or an antenna in the case of wireless communication.

102はメモリカードやハードディスク等の記録媒体である。記録媒体102は、半導体メモリや磁気ディスク等から構成される記録部104、デジタルカメラ100とのインタフェース106、デジタルカメラ100と接続を行うコネクタ108を備えている。   Reference numeral 102 denotes a recording medium such as a memory card or a hard disk. The recording medium 102 includes a recording unit 104 composed of a semiconductor memory, a magnetic disk, and the like, an interface 106 with the digital camera 100, and a connector 108 that connects to the digital camera 100.

図2は、デジタルカメラ100を背面側から見た外観を示す図である。図1と同一構成は、同一符号を付する。
図2において、60はメインスイッチである。201はモード切り替えレバーである。ユーザによるモード切り替えレバー201をスライドさせる操作に応じて、デジタルカメラ100は、「再生モード」、「動画撮影モード」、「静止画撮影モード」等の各機能モードの切り替え設定を行う。
FIG. 2 is a diagram illustrating an external appearance of the digital camera 100 as viewed from the back side. The same components as those in FIG.
In FIG. 2, 60 is a main switch. Reference numeral 201 denotes a mode switching lever. In response to the user's operation to slide the mode switching lever 201, the digital camera 100 performs switching setting of each function mode such as “playback mode”, “moving image shooting mode”, and “still image shooting mode”.

202はシャッターボタンである。上述したようにユーザによってシャッターボタン202が半押しされた場合、シャッタースイッチSW1がONとなる。またシャッターボタン202が全押しされた場合、シャッタースイッチSW2がONになる。
54は、表示部である。上述したように表示部54には、シングルショット/連写撮影表示等が表示される。
Reference numeral 202 denotes a shutter button. As described above, when the shutter button 202 is half-pressed by the user, the shutter switch SW1 is turned on. When the shutter button 202 is fully pressed, the shutter switch SW2 is turned on.
Reference numeral 54 denotes a display unit. As described above, the display unit 54 displays a single shot / continuous shooting display or the like.

203はズームレバー([T/W]ボタン)である。ズームレバー203は、矢印方向に回転できるように構成されている。例えば、ズームレバー203を図2に示される「TELE」側に回転させると望遠側に画角が変わり、「WIDE」側に回転させると広角側に画角が変わる。204はメニューボタン([MENU]ボタン)であり、例えば各種メニューが表示される。205はディスプレイボタン([DISP]ボタン)であり、例えば撮影した画像等が表示される。206は十字ボタン([CROSS]ボタン)であり、例えば撮影した画像等を選択できる。207はセットボタン([SET]ボタン)であり、例えば選択した項目を確定させることができる。208はプリントボタン([PS]ボタン)である。プリントボタン208は、デジタルカメラ100をプリンタに接続したときに、プリンタ側に撮像した画像を出力する場合に選択される。209はジャンプボタン([JUMP]ボタン)である。210は消去ボタンである。本実施形態では消去ボタン210は、十字ボタン206のうち下ボタンに割り当てられている。   Reference numeral 203 denotes a zoom lever ([T / W] button). The zoom lever 203 is configured to be rotatable in the arrow direction. For example, when the zoom lever 203 is rotated to the “TELE” side shown in FIG. 2, the field angle changes to the telephoto side, and when the zoom lever 203 rotates to the “WIDE” side, the field angle changes to the wide angle side. Reference numeral 204 denotes a menu button ([MENU] button), which displays various menus, for example. Reference numeral 205 denotes a display button ([DISP] button) on which, for example, a photographed image is displayed. Reference numeral 206 denotes a cross button ([CROSS] button) that can select, for example, a photographed image. Reference numeral 207 denotes a set button ([SET] button) that can confirm the selected item, for example. Reference numeral 208 denotes a print button ([PS] button). The print button 208 is selected when outputting a captured image to the printer side when the digital camera 100 is connected to the printer. Reference numeral 209 denotes a jump button ([JUMP] button). Reference numeral 210 denotes an erase button. In this embodiment, the delete button 210 is assigned to the lower button of the cross button 206.

次に、ユーザが撮像した画像をトリミングしたい場合において、デジタルカメラ100がトリミング枠を表示する画像処理について図3〜図6の図面を参照して説明する。ここで、図1に示すデジタルカメラ100のメモリ30又は記録媒体102には、撮像した画像(画像データ)が記憶されているものとする。
まず、ユーザは図2の切り替えレバー201を再生モードにスライドさせる。システム制御部50は、ユーザによるスライド操作を検出すると、メモリ30又は記録媒体102(以下、記憶装置という)に記憶されている画像を画像表示部28に表示する。
Next, image processing in which the digital camera 100 displays a trimming frame when the user wants to trim an image captured will be described with reference to FIGS. Here, it is assumed that captured images (image data) are stored in the memory 30 or the recording medium 102 of the digital camera 100 shown in FIG.
First, the user slides the switching lever 201 in FIG. 2 to the reproduction mode. When detecting a slide operation by the user, the system control unit 50 displays an image stored in the memory 30 or the recording medium 102 (hereinafter referred to as a storage device) on the image display unit 28.

次にユーザはメニューボタン204及び十字ボタン206により、トリミングメニューを選択する。システム制御部50は、ユーザによるトリミングメニューの選択を検出すると、システム制御部50は、図3(a)に示すように、トリミング処理を行う旨を表す「Trimming」310を表示する。また、システム制御部50は、表示された画像に対してトリミング処理を行うかをユーザに確認する確認表示「[SET]Trim [Menu]Return」311を表示する。なお、図3(a)は、被写体として人物「A」「B」「C」の3人が撮像された画像である。   Next, the user selects a trimming menu using the menu button 204 and the cross button 206. When the system control unit 50 detects selection of the trimming menu by the user, the system control unit 50 displays “Trimming” 310 indicating that trimming processing is performed, as shown in FIG. In addition, the system control unit 50 displays a confirmation display “[SET] Trim [Menu] Return” 311 for confirming to the user whether or not to perform trimming processing on the displayed image. FIG. 3A is an image in which three persons “A”, “B”, and “C” are captured as subjects.

次に、ユーザはトリミングしたい画像を変更したい場合、例えば、十字ボタン206の左右ボタンを選択することで、システム制御部50は、記憶装置に記憶されている画像を順次読み込んで画像表示部28に表示する。   Next, when the user wants to change the image to be trimmed, for example, by selecting the left and right buttons of the cross button 206, the system control unit 50 sequentially reads the images stored in the storage device and displays them in the image display unit 28. indicate.

ユーザはセットボタン207を選択することで、システム制御部50は、画像表示部28に表示されている画像をトリミングする対象の画像として判断する。次に、システム制御部50は、後述する画像処理により図3(b)に示すようなトリミングを行う画像と共にトリミングを行う範囲を示すトリミング枠を複数、表示する。   When the user selects the set button 207, the system control unit 50 determines that the image displayed on the image display unit 28 is an image to be trimmed. Next, the system control unit 50 displays a plurality of trimming frames indicating a trimming range together with an image to be trimmed as shown in FIG.

図3(b)に示すように、システム制御部50は、画像表示部28の左上に全体の画像と複数のトリミング枠とを表示するトリミング枠表示画面312を表示している。また、システム制御部50は、画像表示部28の右下にはトリミング枠表示画面312で選択されているトリミング枠314によってトリミングされる予想画像を表示するトリミング画面313を表示している。なお、図3(b)(c)(d)(e)のトリミング枠表示画面312の拡大図をそれぞれ、図4(b)(c)(d)(e)に示している。   As illustrated in FIG. 3B, the system control unit 50 displays a trimming frame display screen 312 that displays the entire image and a plurality of trimming frames on the upper left of the image display unit 28. Further, the system control unit 50 displays a trimming screen 313 for displaying an expected image trimmed by the trimming frame 314 selected on the trimming frame display screen 312 at the lower right of the image display unit 28. Note that enlarged views of the trimming frame display screen 312 shown in FIGS. 3B, 3C, 3D, and 3E are shown in FIGS. 4B, 4C, 4D, and 4E, respectively.

システム制御部50は、図3(b)のトリミング枠表示画面312に、4つのトリミング枠314〜317を表示している。トリミング枠314は、図3(a)から図3(b)のようにトリミングを行う処理に移行した場合に、最初に選択状態となるデフォルトとしてのトリミング枠である。デフォルトとしてのトリミング枠314は、表示する位置や大きさが記憶装置に記憶されている。記憶装置に記憶されているトリミング枠314を記憶枠314という。トリミング枠315〜317は、それぞれ、人物「A」〜「C」を中心とした、後述する画像処理によって作成されたトリミング枠である。また、システム制御部50は、図3(b)に示すように、選択状態にあるトリミング枠の内側の画像を透明で表示し、その外側を半透明で表示している。なお、図3(b)では、システム制御部50は、選択されているトリミング枠314を点線で表示しているが、これに限られるものではない。システム制御部50は、例えば、選択されているトリミング枠のみ表示しないようにしたり、選択されているトリミング枠の色を変更したりして、選択されていないトリミング枠と識別できるように表示すればよい。   The system control unit 50 displays four trimming frames 314 to 317 on the trimming frame display screen 312 in FIG. The trimming frame 314 is a default trimming frame that is first selected when the process proceeds to trimming as shown in FIG. 3A to FIG. 3B. The default trimming frame 314 has a display position and size stored in the storage device. The trimming frame 314 stored in the storage device is referred to as a storage frame 314. The trimming frames 315 to 317 are trimming frames created by image processing, which will be described later, centering on the persons “A” to “C”, respectively. Further, as shown in FIG. 3B, the system control unit 50 displays the image inside the trimming frame in the selected state in a transparent manner and displays the outside in a semi-transparent manner. In FIG. 3B, the system control unit 50 displays the selected trimming frame 314 with a dotted line, but the present invention is not limited to this. For example, the system control unit 50 may not display only the selected trimming frame or change the color of the selected trimming frame so that the trimming frame can be identified from the unselected trimming frame. Good.

また、システム制御部50は、図3(b)に示すようにトリミング画面313の上側にトリミングされた後の画像のサイズ307を表示する。また、システム制御部50は、図3(b)に示すようにトリミング画面313の左側にユーザに対してトリミング操作のガイドとなる案内表示を行う。より具体的に説明すると、システム制御部50は、「DISP」表示301、「PS」FACE表示302、「CROSS」MOVE表示303、「T/M」SIZE表示304、「SET」OK表示305、「MENU」Ret表示306を表示している。   Further, the system control unit 50 displays the size 307 of the image after trimming on the upper side of the trimming screen 313 as shown in FIG. Further, the system control unit 50 displays a guidance display as a guide for the trimming operation for the user on the left side of the trimming screen 313 as shown in FIG. More specifically, the system control unit 50 includes a “DISP” display 301, a “PS” FACE display 302, a “CROSS” MOVE display 303, a “T / M” SIZE display 304, a “SET” OK display 305, “ The “MENU” Ret display 306 is displayed.

ここで、ユーザによる「DISP」ボタン205の選択を検出すると、システム制御部50は、画像表示部28に表示している画像の縦と横を入れ替える処理を行う。ユーザによる「PS」ボタン208の選択を検出すると、システム制御部50は、トリミング枠の選択を次のトリミング枠に変更する処理を行う。ユーザによる[CROSS]ボタン206の選択を検出すると、システム制御部50は、選択されているトリミング枠を十字ボタンに応じた位置に移動させる。ユーザによるズームレバー203の選択を検出すると、システム制御部50は、ズームレバー203の選択に応じて、選択されているトリミング枠の大きさを拡大したり縮小したりする。ユーザによる[SET]ボタン207の選択を検出すると、システム制御部50は、選択されたトリミング枠でトリミング処理を行うことをユーザに確認するために、後述する図3(f)に示すような確認画面325を表示する。ユーザによる[MENU]ボタン204の選択を検出すると、システム制御部50は、トリミングの処理を中止して、例えば単なる再生モードに戻る処理を行う。   Here, when the selection of the “DISP” button 205 by the user is detected, the system control unit 50 performs processing for switching the vertical and horizontal directions of the image displayed on the image display unit 28. When the selection of the “PS” button 208 by the user is detected, the system control unit 50 performs processing for changing the trimming frame selection to the next trimming frame. When the selection of the [CROSS] button 206 by the user is detected, the system control unit 50 moves the selected trimming frame to a position corresponding to the cross button. When the selection of the zoom lever 203 by the user is detected, the system control unit 50 enlarges or reduces the size of the selected trimming frame in accordance with the selection of the zoom lever 203. When the selection of the [SET] button 207 by the user is detected, the system control unit 50 performs confirmation as shown in FIG. 3F described later in order to confirm to the user that the trimming process is to be performed with the selected trimming frame. A screen 325 is displayed. When the selection of the [MENU] button 204 by the user is detected, the system control unit 50 stops the trimming process and performs, for example, a process for returning to the simple reproduction mode.

次に、システム制御部50が、図3(b)に示すトリミング枠を表示する処理について図3及び図4を参照し、図5及び図6のフローチャートを用いて説明する。
図5は、被写体の顔情報を検出する処理を示すフローチャートである。このフローチャートは、システム制御部50が図3(a)に示す状態からユーザによるセットボタン207を検出したときに実行される。このフローチャートでは、システム制御部50が、画像表示部28に表示された画像に人の顔が存在するか否かを判定し、人の顔(顔情報)を検出する顔情報検出を行う。
Next, the process in which the system control unit 50 displays the trimming frame shown in FIG. 3B will be described with reference to FIGS. 3 and 4 and the flowcharts of FIGS.
FIG. 5 is a flowchart showing processing for detecting face information of a subject. This flowchart is executed when the system control unit 50 detects the set button 207 by the user from the state shown in FIG. In this flowchart, the system control unit 50 determines whether or not a human face exists in the image displayed on the image display unit 28, and performs face information detection for detecting a human face (face information).

まず、ステップS401において、システム制御部50は顔情報を検出する対象の画像データを画像処理部20に送る。次に、ステップS402において、システム制御部50の制御下で画像処理部20は、画像データに対して水平方向にバンドパスフィルタ(BPF)処理を行う。次に、ステップS403において、システム制御部50の制御下で画像処理部20は、ステップS402で処理された画像データに対して垂直方向にバンドパスフィルタ(BPF)処理を行う。画像処理部20が水平方向及び垂直方向のバンドパスフィルタ処理行うことにより、画像データよりエッジ成分が検出される。   First, in step S <b> 401, the system control unit 50 sends image data to be detected for face information to the image processing unit 20. Next, in step S402, the image processing unit 20 performs a band pass filter (BPF) process on the image data in the horizontal direction under the control of the system control unit 50. Next, in step S403, under the control of the system control unit 50, the image processing unit 20 performs band pass filter (BPF) processing in the vertical direction on the image data processed in step S402. When the image processing unit 20 performs the band pass filter processing in the horizontal direction and the vertical direction, an edge component is detected from the image data.

次に、ステップS404において、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目、鼻、口及び耳の候補群を抽出する。
次に、ステップS405において、システム制御部50は、ステップS404で抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。
Next, in step S404, the system control unit 50 performs pattern matching on the detected edge component, and extracts a candidate group for eyes, nose, mouth, and ears.
Next, in step S405, the system control unit 50 selects an eye that satisfies a preset condition (for example, distance between two eyes, inclination, etc.) from the eye candidate group extracted in step S404. Judge as a pair, and narrow down only those with eye pairs as eye candidate groups.

次に、ステップS406において、システム制御部50は、ステップS405で絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ここで、検出された顔が後述するトリミング枠によって囲まれる顔の候補となる。
次に、ステップS407において、システム制御部50は、ステップS406による顔の検出結果に応じて、検出された顔の顔情報を検出された顔毎に識別できるように記憶装置に記憶して処理を終了する。ここで、顔情報には、検出した顔のサイズを示す顔サイズ情報や、検出された顔の位置する座標を示す顔座標情報等が含まれている。このように、画像の特徴を抽出して、顔情報を検出することができる。
Next, in step S406, the system control unit 50 associates the eye candidate group narrowed down in step S405 with other parts (nose, mouth, ears) that form a face corresponding to the eye candidate group. A face is detected by passing through a non-face condition filter. Here, the detected face becomes a candidate for a face surrounded by a trimming frame to be described later.
Next, in step S407, the system control unit 50 stores the processing in the storage device so that the detected face information can be identified for each detected face according to the face detection result in step S406. finish. Here, the face information includes face size information indicating the size of the detected face, face coordinate information indicating the coordinates where the detected face is located, and the like. In this manner, face information can be detected by extracting image features.

次に、システム制御部50が検出された顔情報に基づいて画像表示部28にトリミング枠を表示する画像処理について図6のフローチャートを参照して説明する。図6は、トリミング枠を表示する画像処理のフローチャートを示す図である。
まず、ステップS501において、システム制御部50は、記憶装置に記憶された顔情報に基づいて、画像に含まれる顔数を算出する(顔数算出手段)。システム制御部50は記憶装置にFACE変数の領域を設け、FACE変数に算出した顔数を記憶する。また、システム制御部50は、顔情報に基づいてトリミング枠を作成し(トリミング枠作成手段)、作成したトリミング枠を画像表示部28に表示する(表示処理手段)。
Next, image processing for displaying a trimming frame on the image display unit 28 based on the detected face information by the system control unit 50 will be described with reference to the flowchart of FIG. FIG. 6 is a diagram illustrating a flowchart of image processing for displaying a trimming frame.
First, in step S501, the system control unit 50 calculates the number of faces included in the image based on the face information stored in the storage device (face number calculation means). The system control unit 50 provides a FACE variable area in the storage device, and stores the calculated number of faces in the FACE variable. Further, the system control unit 50 creates a trimming frame based on the face information (trimming frame creating unit), and displays the created trimming frame on the image display unit 28 (display processing unit).

より具体的に説明すると、システム制御部50は、顔情報に含まれる顔サイズ情報に基づき、画像表示部28に表示された顔を中心として顔サイズの200%の大きさのトリミング枠を作成し、表示する。また、システム制御部50は、作成したトリミング枠には識別番号を設定する。ここで、顔検出処理によって検出された顔情報に基づいて表示されたトリミング枠を顔候補枠と称し、記憶枠と区別される。図3(b)のトリミング枠表示画面312に示される例では、人物「A」〜「C」の顔をそれぞれ囲んでいるトリミング枠315〜317が、顔候補枠315〜317である。また、本実施形態では顔候補枠316に識別番号「1」、顔候補枠315に識別番号「2」、顔候補枠317に識別番号「3」が付されている。   More specifically, the system control unit 50 creates a trimming frame having a size of 200% of the face size around the face displayed on the image display unit 28 based on the face size information included in the face information. ,indicate. In addition, the system control unit 50 sets an identification number for the created trimming frame. Here, the trimming frame displayed based on the face information detected by the face detection process is referred to as a face candidate frame and is distinguished from the storage frame. In the example shown in the trimming frame display screen 312 of FIG. 3B, the trimming frames 315 to 317 surrounding the faces of the persons “A” to “C” are the face candidate frames 315 to 317, respectively. In this embodiment, the identification number “1” is assigned to the face candidate frame 316, the identification number “2” is assigned to the face candidate frame 315, and the identification number “3” is assigned to the face candidate frame 317.

次に、ステップS502において、システム制御部50は、記憶装置に記憶されている記憶枠314をトリミング枠表示画面312に表示する。また、システム制御部50は、記憶枠314を最初に選択状態であることをユーザが識別できるようにトリミング枠表示画面312に記憶枠314の内側の画像を透明で表示し、外側の画像を半透明で表示する。ここで、記憶枠314の大きさは、ユーザによるズームレバー203の操作により、例えば8段階に変更可能である。本実施形態の記憶枠314は、最大サイズの次に大きなサイズで表示するように記憶装置に設定されている。また、本実施形態の記憶枠314の識別番号は「0」が付されている。   Next, in step S <b> 502, the system control unit 50 displays the storage frame 314 stored in the storage device on the trimming frame display screen 312. In addition, the system control unit 50 displays the image inside the storage frame 314 in a transparent manner on the trimming frame display screen 312 so that the user can identify that the storage frame 314 is initially selected. Display with transparency. Here, the size of the storage frame 314 can be changed, for example, in 8 steps by the operation of the zoom lever 203 by the user. The storage frame 314 of this embodiment is set in the storage device so as to display the next largest size after the maximum size. Further, “0” is assigned to the identification number of the storage frame 314 of the present embodiment.

また、システム制御部50は、記憶装置に、CURRENT変数の領域を設ける。このCURRENT変数には選択されたトリミング枠の識別番号が記憶される。最初にシステム制御部50は、CURRENT変数に記憶枠314の識別番号「0」を代入する。   The system control unit 50 also provides a CURRENT variable area in the storage device. In this CURRENT variable, the identification number of the selected trimming frame is stored. First, the system control unit 50 assigns the identification number “0” of the storage frame 314 to the CURRENT variable.

次に、ステップS503において、システム制御部50は、ユーザによる[PS]ボタン208の選択を検出したか否か、即ち、ユーザ操作によってトリミング枠の選択を検出(トリミング枠選択検出手段)したか否かを判定する。選択を検出した場合、システム制御部50は、ステップS504に進む。選択を検出しなかった場合、システム制御部50は、ステップS508に進む。   Next, in step S503, the system control unit 50 detects whether or not the user has selected the [PS] button 208, that is, whether or not selection of a trimming frame has been detected by a user operation (trimming frame selection detecting unit). Determine whether. When the selection is detected, the system control unit 50 proceeds to step S504. If no selection is detected, the system control unit 50 proceeds to step S508.

ステップS504において、システム制御部50は、記憶装置に記憶されたCURRENT変数に、インクリメントする。
次に、ステップS505において、システム制御部50は、インクリメントされたCURRENT変数と、顔数とを比較し、CURRENT変数が大きいか否かを判定する。大きい場合、システム制御部50は、ステップS507に進む。大きくない場合、システム制御部50は、ステップS506に進む。
In step S504, the system control unit 50 increments the CURRENT variable stored in the storage device.
Next, in step S505, the system control unit 50 compares the incremented CURRENT variable with the number of faces, and determines whether the CURRENT variable is large. If larger, the system control unit 50 proceeds to step S507. If not, the system control unit 50 proceeds to step S506.

ステップS506において、システム制御部50は、記憶装置に記憶されたCURRENT変数に代入されている数の識別番号を有するトリミング枠を選択状態になるように表示する。例えば、システム制御部50は、図3(b)の記憶枠314が選択された状態から、図3(c)に示すように、人物「A」を囲む顔候補枠316が選択された状態に表示する。   In step S506, the system control unit 50 displays a trimming frame having the number of identification numbers assigned to the CURRENT variable stored in the storage device so as to be selected. For example, the system control unit 50 changes from the state in which the storage frame 314 in FIG. 3B is selected to the state in which the face candidate frame 316 surrounding the person “A” is selected as shown in FIG. indicate.

ステップS507において、全ての顔候補枠の選択は完了しているため、システム制御部50は、CURRNET変数に「0」を代入する。また、システム制御部50は、記憶装置に記憶されたCURRENT変数に代入されている数「0」の識別番号に係るトリミング枠、即ち記憶枠314を選択状態になるように表示する。このように、ユーザ操作によってトリミング枠の選択が行われる毎に、システム制御部50は、異なるトリミング枠を順番に選択状態に表示し、一回り選択された後は、記憶枠314を選択状態に表示する。また、システム制御部50は、顔候補枠が選択された状態であっても、記憶枠であることをユーザが識別できるように例えば、記憶枠の枠色を他のトリミング枠の枠色と異なるように表示する等、他のトリミング枠と識別できるように表示する。   In step S507, since selection of all face candidate frames has been completed, the system control unit 50 substitutes “0” for the CURRNET variable. Further, the system control unit 50 displays the trimming frame relating to the identification number “0” assigned to the CURRENT variable stored in the storage device, that is, the storage frame 314 in a selected state. As described above, every time a trimming frame is selected by a user operation, the system control unit 50 sequentially displays different trimming frames in a selected state, and once selected, the storage frame 314 is set in a selected state. indicate. Further, the system control unit 50 may, for example, change the frame color of the storage frame from the frame colors of the other trimming frames so that the user can identify the storage frame even when the face candidate frame is selected. Display so that it can be distinguished from other trimming frames.

ステップS508において、システム制御部50は、選択状態にあるトリミング枠について、ユーザによるズームレバー203、十字ボタン206又はディスプレイボタン205のいずれかの選択を検出(操作検出手段)したか否かを判定する。即ち、システム制御部50は、選択中のトリミング枠について、トリミング枠のサイズ変更操作、トリミング枠の位置変更操作又はトリミング枠の向き変更操作等のトリミング枠変更操作を検出したか否かを判定する。上述した変更操作を検出した場合、システム制御部50は、ステップS509に進む。上述した変更操作を検出しない場合、システム制御部50は、ステップS503に戻る。   In step S <b> 508, the system control unit 50 determines whether the user has selected (operation detection means) the selection of the zoom lever 203, the cross button 206, or the display button 205 for the trimming frame in the selected state. . That is, the system control unit 50 determines whether a trimming frame change operation such as a trimming frame size changing operation, a trimming frame position changing operation, or a trimming frame orientation changing operation has been detected for the selected trimming frame. . When the change operation described above is detected, the system control unit 50 proceeds to step S509. When the change operation described above is not detected, the system control unit 50 returns to step S503.

ステップS509において、システム制御部50は、選択状態にあるトリミング枠の識別番号が「0」であるか否かを判定する。即ちシステム制御部50は、現在選択されているトリミング枠が記憶装置に記憶されている記憶枠(トリミング枠)であるか否かを判定する。記憶枠である場合、システム制御部50は、ステップS511に進む。記憶枠でない場合、システム制御部50は、ステップS510に進む。   In step S509, the system control unit 50 determines whether the identification number of the trimming frame in the selected state is “0”. That is, the system control unit 50 determines whether or not the currently selected trimming frame is a storage frame (trimming frame) stored in the storage device. If it is a storage frame, the system control unit 50 proceeds to step S511. If it is not a storage frame, the system control unit 50 proceeds to step S510.

ステップS510において、システム制御部50は、現在選択されているトリミング枠(顔候補枠)を記憶装置に記憶されている記憶枠に置換する処理を行う(記憶処理手段)。
次に、ステップS511において、システム制御部50は、ステップS508で検出したトリミング枠変更操作に応じて、トリミング枠のサイズ変更をしたり、トリミング枠の位置変更をしたり、トリミング枠の向き変更をしたりして、トリミング枠表示画面312に表示されているトリミング枠の表示を変更する。また、システム制御部50は、トリミング枠の表示の変更と共に、変更されたトリミング枠に応じてトリミング画面313に表示されているトリミングされる予想画像の表示を変更する。
In step S510, the system control unit 50 performs a process of replacing the currently selected trimming frame (face candidate frame) with a storage frame stored in the storage device (storage processing unit).
Next, in step S511, the system control unit 50 changes the size of the trimming frame, changes the position of the trimming frame, or changes the direction of the trimming frame in accordance with the trimming frame change operation detected in step S508. To change the display of the trimming frame displayed on the trimming frame display screen 312. The system control unit 50 changes the display of the expected image to be trimmed displayed on the trimming screen 313 according to the changed trimming frame, along with the change of the display of the trimming frame.

また、システム制御部50は、ユーザによるトリミング枠の変更操作が行われている間は、現在選択されているトリミング枠のみしか表示しないようにする。また、システム制御部50は、ユーザ操作に応じて変更したトリミング枠の大きさ、位置及び向き等の情報を記憶装置に記憶する。   Further, the system control unit 50 displays only the currently selected trimming frame while the user is changing the trimming frame. In addition, the system control unit 50 stores information such as the size, position, and orientation of the trimming frame changed according to the user operation in the storage device.

より具体的に説明すると、図3(c)に示すようにトリミング枠316が選択された状態で、システム制御部50が、ユーザによる十字ボタン206やズームレバー203によりトリミング枠を大きくしたり位置を変更したりするトリミング枠変更操作を検出する。すると、図3(d)に示すように、システム制御部50は、トリミング枠変更操作に応じてトリミング枠を大きくしたり位置を変更したりしたトリミング枠321を表示する。また、このとき、システム制御部50は、トリミング枠321の表示の変更に対応させて、トリミング画面313の表示を変更する。さらに、システム制御部50は、現在選択されているトリミング枠321以外のトリミング枠の表示を行わないようにする。   More specifically, in the state where the trimming frame 316 is selected as shown in FIG. 3C, the system control unit 50 enlarges the trimming frame or positions the trimming frame with the cross button 206 or the zoom lever 203 by the user. A trimming frame changing operation to be changed is detected. Then, as shown in FIG. 3D, the system control unit 50 displays a trimming frame 321 in which the trimming frame is enlarged or the position is changed in accordance with the trimming frame changing operation. At this time, the system control unit 50 changes the display of the trimming screen 313 in accordance with the change of the display of the trimming frame 321. Further, the system control unit 50 does not display trimming frames other than the currently selected trimming frame 321.

ステップS512において、システム制御部50は、ユーザによるセットボタンの選択を検出したか否か、即ちユーザ操作によってトリミング枠の決定を検出したか否かを判定する。選択を検出した場合、システム制御部50は、ステップS513に進む。選択を検出しなかった場合、システム制御部50は、ステップS503に戻る。   In step S512, the system control unit 50 determines whether the selection of the set button by the user has been detected, that is, whether the determination of the trimming frame has been detected by the user operation. When the selection is detected, the system control unit 50 proceeds to step S513. When the selection is not detected, the system control unit 50 returns to step S503.

ステップS503において、システム制御部50は、再び、ユーザによる[PS]ボタン208の選択を検出したか否か、即ち、ユーザ操作によってトリミング枠の選択を検出したか否かを判定する。ここで、図3(d)に示す状態から、ステップS503においてトリミング枠の選択が行われた状態を図3(e)に示す。システム制御部50は、次の識別番号であるトリミング枠315を選択された状態に表示する。また、システム制御部50は、ステップS511において記憶装置に置換された記憶枠321をトリミング枠表示画面312に表示する。   In step S503, the system control unit 50 determines again whether or not the selection of the [PS] button 208 by the user has been detected, that is, whether or not the selection of the trimming frame has been detected by the user operation. Here, FIG. 3E shows a state in which the trimming frame is selected in step S503 from the state shown in FIG. The system control unit 50 displays the trimming frame 315 that is the next identification number in a selected state. In addition, the system control unit 50 displays the storage frame 321 replaced with the storage device in step S511 on the trimming frame display screen 312.

ステップS513において、システム制御部50は、画像表示部28に確認画面を表示する。より具体的に説明すると、システム制御部50は、図3(f)に示すような確認画面325を表示する。図3(f)では、システム制御部50は、トリミングした画像を保存するかを確認する「キャンセル」と「OK」とを表示している。   In step S513, the system control unit 50 displays a confirmation screen on the image display unit 28. More specifically, the system control unit 50 displays a confirmation screen 325 as shown in FIG. In FIG. 3F, the system control unit 50 displays “Cancel” and “OK” for confirming whether to save the trimmed image.

次に、ステップS514において、システム制御部50は、「OK」が検出されたか、即ちユーザによる確認操作が行われたか否かを判定する。確認操作が行われた場合、システム制御部50はステップS515に進む。確認操作が行われなかった場合、システム制御部50はステップS503に戻る。
ステップS515において、システム制御部50は、トリミングの処理を行うと共に、トリミングした後の画像を記憶装置に記憶する。
Next, in step S514, the system control unit 50 determines whether “OK” has been detected, that is, whether a confirmation operation by the user has been performed. When the confirmation operation is performed, the system control unit 50 proceeds to step S515. If the confirmation operation has not been performed, the system control unit 50 returns to step S503.
In step S515, the system control unit 50 performs trimming processing and stores the trimmed image in the storage device.

なお、システム制御部50は、顔情報に含まれる顔サイズ情報に基づき、画像表示部28に表示された顔を中心として顔サイズの200%の大きさのトリミング枠を作成し、表示する場合についてのみ説明したが、この場合に限られるものではない。例えば、システム制御部50は、顔サイズの200%より大きく、又は小さくトリミング枠を作成してもよい。また、ユーザがトリミング枠の大きさを変更できることを容易に認識できるように、作成されるトリミング枠は、ユーザ操作に応じてその大きさを拡大及び縮小できるサイズにすることが好ましい。   Note that the system control unit 50 creates and displays a trimming frame having a size of 200% of the face size around the face displayed on the image display unit 28 based on the face size information included in the face information. However, the present invention is not limited to this case. For example, the system control unit 50 may create a trimming frame that is larger or smaller than 200% of the face size. Moreover, it is preferable that the trimming frame to be created has a size that can be enlarged and reduced according to a user operation so that the user can easily recognize that the size of the trimming frame can be changed.

このように、第1の実施形態によれば、システム制御部50は、複数のトリミング枠を作成し、表示する。従って、ユーザのトリミング枠の作成が煩雑にならず、トリミングの処理を簡単に行うことができる。
また、システム制御部50が、トリミング枠のサイズ変更操作、トリミング枠の位置変更操作又はトリミング枠の向き変更操作を検出する。すると、システム制御部50は、トリミング枠のサイズ変更をしたり、トリミング枠の位置変更をしたり、トリミング枠の向き変更をしたりして、トリミング枠表示画面312に表示されているトリミング枠の表示を変更する。従って、ユーザはトリミング枠を自由に変更することでき、ユーザの目的にあったトリミングの処理を行うことができる。
As described above, according to the first embodiment, the system control unit 50 creates and displays a plurality of trimming frames. Accordingly, the creation of the trimming frame by the user is not complicated, and the trimming process can be easily performed.
Further, the system control unit 50 detects a trimming frame size changing operation, a trimming frame position changing operation, or a trimming frame direction changing operation. Then, the system control unit 50 changes the size of the trimming frame, changes the position of the trimming frame, changes the direction of the trimming frame, and changes the trimming frame displayed on the trimming frame display screen 312. Change the display. Therefore, the user can freely change the trimming frame and can perform trimming processing suitable for the user's purpose.

(第2の実施形態)
第1の実施形態では、トリミング枠に含まれる顔数を1にする場合についてのみ説明した。第2の実施形態では、ユーザがトリミング枠に含まれる顔数を選択することができる画像処理装置について図7を参照して説明する。図7は入力された顔数を含むようにトリミング枠を表示した画像表示部28の図である。
本実施形態では、システム制御部50は、画像表示部28に、図7(1)及び図7(2)に示すようなユーザが顔数を入力することができる顔数入力部601を表示する。ここで、ユーザは十字ボタン206を用いて顔数入力部601の顔数を増減させることができる。
(Second Embodiment)
In the first embodiment, only the case where the number of faces included in the trimming frame is set to 1 has been described. In the second embodiment, an image processing apparatus that allows the user to select the number of faces included in the trimming frame will be described with reference to FIG. FIG. 7 is a diagram of the image display unit 28 displaying a trimming frame so as to include the input number of faces.
In the present embodiment, the system control unit 50 displays a face number input unit 601 on which the user can input the number of faces as shown in FIGS. 7A and 7B on the image display unit 28. . Here, the user can increase or decrease the number of faces in the face number input unit 601 by using the cross button 206.

顔数入力部601に顔数「1」が選択された場合について、図7(1)を参照して説明する。システム制御部50は、顔数入力部601に入力された顔数「1」を検出する(顔数入力検出手段)。次にシステム制御部50は、顔数が「1」になるように、図7(1)(a)のような人物「A」のみの顔を含むようにトリミング枠602を作成し、画像表示部28に表示する。次に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。すると、システム制御部50は、顔数が「1」になるように、図7(1)(b)のような人物「B」のみの顔を含むようにトリミング枠603を作成し、画像表示部28に表示する。同様にシステム制御部50は、顔数が「1」になるように、図7(1)(c)のような人物「C」のみの顔を含むようにトリミング枠604を作成し、画像表示部28に表示する。   A case where the number of faces “1” is selected in the face number input unit 601 will be described with reference to FIG. The system control unit 50 detects the number of faces “1” input to the face number input unit 601 (face number input detection means). Next, the system control unit 50 creates a trimming frame 602 so as to include only the face of the person “A” as shown in FIGS. 7A and 7A so that the number of faces becomes “1”, and displays an image. Displayed on the unit 28. Next, the system control unit 50 detects an operation for displaying the user's next trimming frame. Then, the system control unit 50 creates the trimming frame 603 so as to include only the face of the person “B” as shown in FIGS. 7A and 7B so that the number of faces becomes “1”, and displays the image. Displayed on the unit 28. Similarly, the system control unit 50 creates the trimming frame 604 so as to include the face of only the person “C” as shown in FIGS. 7A and 7C so that the number of faces becomes “1”, and displays the image. Displayed on the unit 28.

顔数入力部601に顔数「2」が選択された場合について図7(2)を参照して説明する。システム制御部50は、顔数入力部601に入力された顔数「2」を検出する。次に、システム制御部50は、顔数が「2」になるように、図7(2)(a)のような人物「A」及び「B」の顔を含むようにトリミング枠605を作成し、画像表示部28に表示する。次に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。すると、システム制御部50は、顔数が「2」になるように、図7(2)(b)のような人物「A」及び「C」の顔を含むようにトリミング枠606を作成し、画像表示部28に表示する。次に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。しかしながら、顔数が「2」になるように、人物「B」及び「C」の顔を含むようなトリミング枠は、その間に人物「A」を含んでしまうため、システム制御部50は、人物「B」及び「C」の顔を含むようなトリミング枠は作成しない。ここで、顔数「2」の入力に対して、選択された2つの顔の間に異なる顔を含むか否かは、システム制御部50が、図7(1)(c)に示すような顔サイズ607〜609、即ち顔情報に含まれる顔サイズ情報及び顔座標情報等に基づいて判定する。   A case where the face number “2” is selected in the face number input unit 601 will be described with reference to FIG. The system control unit 50 detects the number of faces “2” input to the face number input unit 601. Next, the system control unit 50 creates the trimming frame 605 so as to include the faces of the persons “A” and “B” as shown in FIG. 7 (2) (a) so that the number of faces becomes “2”. And displayed on the image display unit 28. Next, the system control unit 50 detects an operation for displaying the user's next trimming frame. Then, the system control unit 50 creates the trimming frame 606 so as to include the faces of the persons “A” and “C” as shown in FIGS. 7B and 7B so that the number of faces becomes “2”. Is displayed on the image display unit 28. Next, the system control unit 50 detects an operation for displaying the user's next trimming frame. However, since the trimming frame including the faces of the persons “B” and “C” includes the person “A” between them so that the number of faces becomes “2”, the system control unit 50 A trimming frame that includes faces “B” and “C” is not created. Here, in response to the input of the number of faces “2”, whether or not a different face is included between the two selected faces is determined by the system control unit 50 as shown in FIGS. Determination is made based on the face sizes 607 to 609, that is, face size information and face coordinate information included in the face information.

このように、第2の実施形態によれば、トリミング枠に含まれる顔数を選択することができるので、ユーザの目的にあったトリミング枠を作成することができ、ユーザのトリミング枠の作成が煩雑にならず、トリミングの処理を簡単に行うことができる。   Thus, according to the second embodiment, since the number of faces included in the trimming frame can be selected, a trimming frame suitable for the user's purpose can be created, and the user's trimming frame can be created. Trimming can be easily performed without being complicated.

(第3の実施形態)
第3の実施形態では、異なる顔数になるようにトリミング枠を表示する画像処理装置について図8を参照して説明する。図8は異なる顔数になるようにトリミング枠を表示した画像表示部28の図である。まず、システム制御部50は、顔数が「1」になるように、図8(a)のような人物「A」のみの顔を含むようにトリミング枠701を作成し、画像表示部28に表示する。次に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。操作が検出される毎に、システム制御部50は、顔数が「1」になるように、図8(b)、図8(c)のようにトリミング枠702、703を作成し、画像表示部28に表示する。
(Third embodiment)
In the third embodiment, an image processing apparatus that displays trimming frames so as to have different numbers of faces will be described with reference to FIG. FIG. 8 is a diagram of the image display unit 28 displaying trimming frames so that the number of faces is different. First, the system control unit 50 creates a trimming frame 701 so as to include only the face of the person “A” as shown in FIG. 8A so that the number of faces becomes “1”. indicate. Next, the system control unit 50 detects an operation for displaying the user's next trimming frame. Each time an operation is detected, the system control unit 50 creates trimming frames 702 and 703 as shown in FIGS. 8B and 8C so that the number of faces becomes “1”, and displays an image. Displayed on the unit 28.

顔数が「1」になるようなトリミング枠をすべて表示した後に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。すると、システム制御部50は、顔数が「2」になるよう、図8(d)のように人物「A」及び「B」の顔を含むようにトリミング枠704を作成し、画像表示部28に表示する。同様にシステム制御部50は、顔数が「2」になるように、図8(e)のような人物「A」及び「C」の顔を含むようにトリミング枠705を作成し、画像表示部28に表示する。   After displaying all the trimming frames with the number of faces “1”, the system control unit 50 detects an operation of displaying the next trimming frame of the user. Then, the system control unit 50 creates the trimming frame 704 so as to include the faces of the persons “A” and “B” as shown in FIG. 28. Similarly, the system control unit 50 creates the trimming frame 705 so as to include the faces of the persons “A” and “C” as shown in FIG. Displayed on the unit 28.

顔数が「2」になるようなトリミング枠をすべて表示した後に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。すると、システム制御部50は、顔数が「3」になるよう、図8(f)に示すように人物「A」〜「C」の顔を含むようにトリミング枠706を作成し、画像表示部28に表示する。
このように、第3の実施形態によれば、システム制御部50は、異なる顔数になるようにトリミング枠を作成し、表示する。従って、ユーザのトリミング枠の作成が煩雑にならず、トリミングの処理を簡単に行うことができる。
After displaying all the trimming frames with the number of faces being “2”, the system control unit 50 detects an operation of displaying the next trimming frame of the user. Then, the system control unit 50 creates the trimming frame 706 so as to include the faces of the persons “A” to “C” as shown in FIG. Displayed on the unit 28.
Thus, according to the third embodiment, the system control unit 50 creates and displays trimming frames so that the number of faces is different. Accordingly, the creation of the trimming frame by the user is not complicated, and the trimming process can be easily performed.

(第4の実施形態)
第4の実施形態では、検出した顔情報に基づいてトリミング枠を作成し、表示する画像処理装置について図9を参照して説明する。図9は顔情報に基づいてトリミング枠を表示した画像表示部28の図である。システム制御部50は、顔情報に含まれる顔サイズ情報に基づいて、略同一のサイズの顔を含むようにトリミング枠を作成して、表示する。図9(c)を参照して、画像表示部28に表示されている人物「A」〜「D」の顔サイズについて説明する。図9(c)に示すように、人物「A」の顔サイズ805と、人物「B」の顔サイズ804と、人物「C」の顔サイズ806とは同じ大きさである。一方、人物「D」の顔サイズ803は、人物「A」等の顔サイズに比べて大きい。
(Fourth embodiment)
In the fourth embodiment, an image processing apparatus that creates and displays a trimming frame based on detected face information will be described with reference to FIG. FIG. 9 is a diagram of the image display unit 28 displaying a trimming frame based on face information. Based on the face size information included in the face information, the system control unit 50 creates and displays a trimming frame so as to include faces of substantially the same size. The face sizes of the persons “A” to “D” displayed on the image display unit 28 will be described with reference to FIG. As shown in FIG. 9C, the face size 805 of the person “A”, the face size 804 of the person “B”, and the face size 806 of the person “C” are the same size. On the other hand, the face size 803 of the person “D” is larger than the face size of the person “A” or the like.

まず、システム制御部50は、上述した顔サイズ情報に基づいて、顔サイズ803と同じ大きさの顔サイズを検出する。ここでは、顔サイズ803と同じ大きさの顔サイズは、人物「D」のみであるので、システム制御部50は、図9(a)に示すように、人物「D」の顔を含むようにトリミング枠801を作成し、画像表示部28に表示する。次に、システム制御部50は、ユーザの次のトリミング枠を表示する操作を検出する。システム制御部50は、顔サイズ情報に基づいて、顔サイズ805と略同一の大きさの顔サイズを検出する。ここでは、顔サイズ805と同じ大きさの顔サイズは、人物「B」及び「C」であり、システム制御部50は、図9(b)に示すように、人物「A」〜「C」とを含むようにトリミング枠802を作成し、画像表示部28に表示する。なお、システム制御部50は、同じ顔サイズであっても、顔情報に含まれる顔座標情報に基づいて顔の距離を検出し、近い顔同士のみを含むようにトリミング枠を作成するようにしてもよい。
このように、第4の実施形態によれば、システム制御部50は、顔情報に含まれる顔サイズ情報に基づいて、同じ顔サイズの顔を含むようにトリミング枠を作成し、表示する。従って、ユーザのトリミング枠の作成が煩雑にならず、トリミングの処理を簡単に行うことができる。
First, the system control unit 50 detects a face size that is the same as the face size 803 based on the face size information described above. Here, since the face size of the same size as the face size 803 is only the person “D”, the system control unit 50 includes the face of the person “D” as shown in FIG. A trimming frame 801 is created and displayed on the image display unit 28. Next, the system control unit 50 detects an operation for displaying the user's next trimming frame. The system control unit 50 detects a face size that is substantially the same as the face size 805 based on the face size information. Here, the face sizes of the same size as the face size 805 are the persons “B” and “C”, and the system control unit 50 determines the persons “A” to “C” as shown in FIG. A trimming frame 802 is created so as to include and displayed on the image display unit 28. The system control unit 50 detects the distance of the face based on the face coordinate information included in the face information even if the face size is the same, and creates a trimming frame so as to include only close faces. Also good.
As described above, according to the fourth embodiment, the system control unit 50 creates and displays a trimming frame so as to include faces of the same face size based on the face size information included in the face information. Accordingly, the creation of the trimming frame by the user is not complicated, and the trimming process can be easily performed.

(第5の実施形態)
第5の実施形態では、撮影時の撮影情報に基づいてトリミング枠を作成し、表示する画像処理装置について図10を参照して説明する。図10は撮影情報に基づいてトリミング枠を表示した画像表示部28の図である。システム制御部50は、撮影したときに、焦点となった領域を撮影情報(フォーカス情報)として撮影した画像と共に記録する。システム制御部50は、図10に示すように、撮影情報に基づいて焦点となった領域902と距離が近い顔を含むようにトリミング枠901を作成し、画像表示部28に表示する。
このように、第5の実施形態によれば、システム制御部50は、撮影時の撮影情報に基づいてトリミング枠を作成し、表示する。従って、ユーザのトリミング枠の作成が煩雑にならず、トリミングの処理を簡単に行うことができる。
(Fifth embodiment)
In the fifth embodiment, an image processing apparatus that creates and displays a trimming frame based on shooting information at the time of shooting will be described with reference to FIG. FIG. 10 is a diagram of the image display unit 28 displaying a trimming frame based on the shooting information. The system control unit 50 records the focused area together with the captured image as shooting information (focus information) when shooting. As shown in FIG. 10, the system control unit 50 creates a trimming frame 901 so as to include a face that is close to the focus area 902 based on the photographing information, and displays the trimming frame 901 on the image display unit 28.
Thus, according to the fifth embodiment, the system control unit 50 creates and displays a trimming frame based on the shooting information at the time of shooting. Accordingly, the creation of the trimming frame by the user is not complicated, and the trimming process can be easily performed.

なお、システム制御部50は、画像に含まれる顔数に基づいて、トリミング枠を表示するようにしてもよい。より具体的に説明すると、システム制御部50が、図5のフローチャートのステップS502において算出された顔数が、所定数以上であるか否かを判定する。所定数以上である場合、システム制御部50は、全ての顔を含むようなトリミング枠を作成し、画像表示部28に表示する。   The system control unit 50 may display a trimming frame based on the number of faces included in the image. More specifically, the system control unit 50 determines whether or not the number of faces calculated in step S502 in the flowchart of FIG. 5 is greater than or equal to a predetermined number. If the number is greater than or equal to the predetermined number, the system control unit 50 creates a trimming frame that includes all faces and displays the trimming frame on the image display unit 28.

また、システム制御部50は、顔情報に含まれる顔座標情報に基づいて顔の距離を算出し、所定の距離以内の顔同士を含むようにトリミング枠を作成するようにしてもよい。
また、上述した実施形態では、デジタルカメラのみについて例を挙げて説明したが、この場合に限られない。本発明の画像処理装置は、例えばプリンタ等にも適用することができる。
Further, the system control unit 50 may calculate the face distance based on the face coordinate information included in the face information, and create a trimming frame so as to include faces within a predetermined distance.
In the above-described embodiment, only the digital camera has been described as an example. However, the present invention is not limited to this case. The image processing apparatus of the present invention can also be applied to, for example, a printer.

上述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによっても実現できる。その場合、このプログラム及びこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Each means constituting the image processing apparatus and each step of the image processing method in the embodiment of the present invention described above can also be realized by operating a program stored in a RAM or ROM of a computer. In this case, this program and a computer-readable recording medium on which this program is recorded are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus including a plurality of devices.

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. And the case where it is achieved also by reading and executing the supplied program code by the computer of the system or apparatus is included.

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

画像処理装置を含むデジタルカメラの構成を示す図である。It is a figure which shows the structure of the digital camera containing an image processing apparatus. デジタルカメラを背面側から見た外観を示す図である。It is a figure which shows the external appearance which looked at the digital camera from the back side. 画像表示部に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on an image display part. 拡大したトリミング枠表示画面を示す図である。It is a figure which shows the enlarged trimming frame display screen. 被写体の顔情報を検出する処理を示すフローチャートである。It is a flowchart which shows the process which detects the to-be-photographed object's face information. トリミング枠を表示する画像処理を示すフローチャートである。It is a flowchart which shows the image processing which displays a trimming frame. 入力された顔数を含むようにトリミング枠を表示した画像表示部の図である。It is a figure of the image display part which displayed the trimming frame so that the input face number may be included. 異なる顔数になるようにトリミング枠を表示した画像表示部の図である。It is a figure of the image display part which displayed the trimming frame so that it might become a different number of faces. 顔情報に基づいてトリミング枠を表示した画像表示部の図である。It is a figure of the image display part which displayed the trimming frame based on face information. 撮影情報に基づいてトリミング枠を表示した画像表示部の図である。It is a figure of the image display part which displayed the trimming frame based on imaging | photography information.

符号の説明Explanation of symbols

14 撮像素子
20 画像処理部
22 メモリ制御部
28 画像表示部
30 メモリ
50 システム制御部
60 メインスイッチ
62 シャッタースイッチSW1
64 シャッタースイッチSW2
66 操作部
102 記録媒体
201 モード切り替えレバー
202 シャッターボタン
203 ズームレバー([T/W]ボタン)
204 メニューボタン([MENU]ボタン)
205 ディスプレイボタン([DISP]ボタン)
206 十字ボタン([CROSS]ボタン)
207 セットボタン([SET]ボタン)
208 プリントボタン([PS]ボタン)
209 ジャンプボタン([JUMP]ボタン)
210 消去ボタン
DESCRIPTION OF SYMBOLS 14 Image sensor 20 Image processing part 22 Memory control part 28 Image display part 30 Memory 50 System control part 60 Main switch 62 Shutter switch SW1
64 Shutter switch SW2
66 Operation unit 102 Recording medium 201 Mode switching lever 202 Shutter button 203 Zoom lever ([T / W] button)
204 Menu button ([MENU] button)
205 Display button ([DISP] button)
206 Cross-shaped button ([CROSS] button)
207 Set button ([SET] button)
208 Print button ([PS] button)
209 Jump button ([JUMP] button)
210 Delete button

Claims (15)

撮像された画像から被写体の顔情報を検出する顔情報検出手段と、
前記顔情報検出手段において検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成手段と、
前記トリミング枠作成手段において作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理手段と、を有することを特徴とする画像処理装置。
Face information detecting means for detecting face information of a subject from the captured image;
Trimming frame creating means for creating a plurality of trimming frames indicating a range to be trimmed based on the face information of the subject detected by the face information detecting means;
An image processing apparatus comprising: display processing means for displaying the trimming frame created by the trimming frame creating means together with the captured image on a display device.
前記トリミング枠作成手段において作成された複数のトリミング枠の中から、ユーザ操作によって選択されるトリミング枠を検出するトリミング枠選択検出手段を更に有することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a trimming frame selection detection unit that detects a trimming frame selected by a user operation from a plurality of trimming frames created by the trimming frame creation unit. . 前記表示処理手段は、前記トリミング枠選択検出手段において検出されたトリミング枠を識別できるように前記表示装置に表示することを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the display processing unit displays the trimming frame detected by the trimming frame selection detection unit on the display device so that the trimming frame can be identified. 前記表示処理手段は、前記トリミング枠選択検出手段において検出されたトリミング枠を用いてトリミングされる予想画像を、前記表示装置に表示することを特徴とする請求項2又は3に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the display processing unit displays an expected image to be trimmed using the trimming frame detected by the trimming frame selection detection unit on the display device. . 前記トリミング枠選択検出手段において検出されたトリミング枠に対してユーザによるトリミング枠変更操作を検出する操作検出手段を更に有し、
前記操作検出手段において検出されたトリミング枠変更操作に応じて前記トリミング枠の変更を行う変更手段を有することを特徴とする請求項2乃至4の何れか1項に記載の画像処理装置。
An operation detection unit for detecting a trimming frame change operation by the user with respect to the trimming frame detected by the trimming frame selection detection unit;
5. The image processing apparatus according to claim 2, further comprising a changing unit that changes the trimming frame in accordance with a trimming frame changing operation detected by the operation detecting unit.
前記操作検出手段によりトリミング枠に対してユーザによるトリミング枠変更操作が検出された場合、前記トリミング枠選択検出手段により検出されたトリミング枠のみ表示するよう制御することを特徴とする請求項5に記載の画像処理装置。   6. The control for displaying only the trimming frame detected by the trimming frame selection detecting unit when the operation detecting unit detects a trimming frame changing operation by the user with respect to the trimming frame. Image processing apparatus. 前記変更手段によって変更されたトリミング枠を記憶装置に記憶する記憶処理手段を更に有することを特徴とする請求項5又は6に記載の画像処理装置。   The image processing apparatus according to claim 5, further comprising a storage processing unit that stores the trimming frame changed by the changing unit in a storage device. ユーザによって入力される顔数を検出する顔数入力検出手段を更に有し、
前記トリミング枠作成手段は、前記顔数入力検出手段によって検出された顔数になるようにトリミング枠を作成することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
A face number input detecting means for detecting the number of faces input by the user;
The image processing apparatus according to claim 1, wherein the trimming frame creating unit creates a trimming frame so that the number of faces detected by the face number input detecting unit is obtained.
前記トリミング枠作成手段は、トリミング枠に含まれる顔数が異なるように複数、トリミング枠を作成することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。   9. The image processing apparatus according to claim 1, wherein the trimming frame creating unit creates a plurality of trimming frames so that the number of faces included in the trimming frame is different. 前記顔情報検出手段において検出された被写体の顔情報に基づいて、前記撮像された画像に含まれる被写体の顔数を算出する顔数算出手段を更に有し、
前記顔数算出手段において算出された顔数が所定数以上である場合、前記トリミング枠作成手段は、前記撮像された画像に含まれるすべての被写体の顔を含むようにトリミング枠を作成することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
Further comprising face number calculating means for calculating the number of faces of the subject included in the captured image based on the face information of the subject detected by the face information detecting means;
When the number of faces calculated by the face number calculating unit is a predetermined number or more, the trimming frame creating unit creates a trimming frame so as to include the faces of all subjects included in the captured image. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized.
前記トリミング枠作成手段は、前記顔情報検出手段において検出された顔情報のうち顔サイズ情報に基づいて、略同一の顔サイズの顔を含むようにトリミング枠を作成することを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。   The trimming frame creation means creates a trimming frame so as to include faces having substantially the same face size based on face size information among face information detected by the face information detection means. The image processing apparatus according to any one of 1 to 10. 前記トリミング枠作成手段は、前記顔情報検出手段において検出された顔情報のうち顔座標情報に基づいて算出される顔の間の距離に応じて、トリミング枠を作成することを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。   The trimming frame creating means creates a trimming frame according to a distance between faces calculated based on face coordinate information among face information detected by the face information detecting means. The image processing apparatus according to any one of 1 to 10. 前記トリミング枠作成手段は、撮影時に焦点があった領域から距離が近い顔を含むようにトリミング枠を作成することを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。   11. The image processing apparatus according to claim 1, wherein the trimming frame creating unit creates a trimming frame so as to include a face that is close to a region that is in focus at the time of shooting. 撮像された画像から被写体の顔情報を検出する顔情報検出ステップと、
前記顔情報検出ステップにおいて検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成ステップと、
前記トリミング枠作成ステップにおいて作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理ステップと、を有することを特徴とする画像処理方法。
A face information detection step of detecting face information of the subject from the captured image;
A trimming frame creating step for creating a plurality of trimming frames indicating a range to be trimmed based on the face information of the subject detected in the face information detecting step;
A display processing step of displaying the trimming frame created in the trimming frame creation step together with the captured image on a display device.
撮像された画像から被写体の顔情報を検出する顔情報検出ステップと、
前記顔情報検出ステップにおいて検出された被写体の顔情報に基づいて、トリミングを行う範囲を示すトリミング枠を複数、作成するトリミング枠作成ステップと、
前記トリミング枠作成ステップにおいて作成されたトリミング枠を前記撮像された画像と共に表示装置に表示する表示処理ステップと、をコンピュータに実行させるためのプログラム。
A face information detection step of detecting face information of the subject from the captured image;
A trimming frame creating step for creating a plurality of trimming frames indicating a range to be trimmed based on the face information of the subject detected in the face information detecting step;
A program for causing a computer to execute a display processing step of displaying the trimming frame created in the trimming frame creation step together with the captured image on a display device.
JP2007224785A 2007-08-30 2007-08-30 Image processing apparatus and control method thereof Expired - Fee Related JP4916403B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007224785A JP4916403B2 (en) 2007-08-30 2007-08-30 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007224785A JP4916403B2 (en) 2007-08-30 2007-08-30 Image processing apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2009060291A true JP2009060291A (en) 2009-03-19
JP2009060291A5 JP2009060291A5 (en) 2010-10-14
JP4916403B2 JP4916403B2 (en) 2012-04-11

Family

ID=40555642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007224785A Expired - Fee Related JP4916403B2 (en) 2007-08-30 2007-08-30 Image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP4916403B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010104169A1 (en) 2009-03-12 2010-09-16 味の素株式会社 Fluorene compound
JP2010232869A (en) * 2009-03-26 2010-10-14 Nikon Corp Image processor and image processing program
WO2012169119A1 (en) * 2011-06-10 2012-12-13 パナソニック株式会社 Object detection frame display device and object detection frame display method
JP2012252723A (en) * 2012-09-10 2012-12-20 Canon Marketing Japan Inc Image display apparatus, image display method, and program for the same
JPWO2013111415A1 (en) * 2012-01-26 2015-05-11 ソニー株式会社 Image processing apparatus and image processing method
JP2016154356A (en) * 2014-07-04 2016-08-25 パナソニックIpマネジメント株式会社 Imaging apparatus
JP2017207972A (en) * 2016-05-19 2017-11-24 キヤノン株式会社 Image processing device, image processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2007019893A (en) * 2005-07-08 2007-01-25 Casio Comput Co Ltd Image forming device and its method
JP2007020029A (en) * 2005-07-11 2007-01-25 Sony Corp Image processor and method, program and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086682A (en) * 2003-09-10 2005-03-31 Omron Corp Object decision device
JP2007019893A (en) * 2005-07-08 2007-01-25 Casio Comput Co Ltd Image forming device and its method
JP2007020029A (en) * 2005-07-11 2007-01-25 Sony Corp Image processor and method, program and recording medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010104169A1 (en) 2009-03-12 2010-09-16 味の素株式会社 Fluorene compound
JP2010232869A (en) * 2009-03-26 2010-10-14 Nikon Corp Image processor and image processing program
WO2012169119A1 (en) * 2011-06-10 2012-12-13 パナソニック株式会社 Object detection frame display device and object detection frame display method
JPWO2012169119A1 (en) * 2011-06-10 2015-02-23 パナソニック株式会社 Object detection frame display device and object detection frame display method
US9165390B2 (en) 2011-06-10 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Object detection frame display device and object detection frame display method
JPWO2013111415A1 (en) * 2012-01-26 2015-05-11 ソニー株式会社 Image processing apparatus and image processing method
JP2012252723A (en) * 2012-09-10 2012-12-20 Canon Marketing Japan Inc Image display apparatus, image display method, and program for the same
JP2016154356A (en) * 2014-07-04 2016-08-25 パナソニックIpマネジメント株式会社 Imaging apparatus
US9830947B2 (en) 2014-07-04 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Image-capturing device
JP2017207972A (en) * 2016-05-19 2017-11-24 キヤノン株式会社 Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP4916403B2 (en) 2012-04-11

Similar Documents

Publication Publication Date Title
US9036073B2 (en) Imaging apparatus and for controlling an automatic focus (AF) area and an enlargement area in a live view
JP6757268B2 (en) Imaging device and its control method
JP6602361B2 (en) Electronic device and control method thereof
JP2015122670A (en) Imaging apparatus, control method, program, and storage medium
JP2006211103A (en) Imaging apparatus and control method thereof
JP4916403B2 (en) Image processing apparatus and control method thereof
JP6701145B2 (en) Electronic device and control method thereof
JP4891270B2 (en) Image editing apparatus, image editing method and program
JP6991033B2 (en) Electronic devices and their control methods
JP6512961B2 (en) Imaging control apparatus, control method therefor, program, and storage medium
JP6460868B2 (en) Display control apparatus and control method thereof
JP2007081732A (en) Imaging apparatus
JP7293025B2 (en) Imaging device and its control method
JP2014017665A (en) Display control unit, control method for display control unit, program, and recording medium
JP4906632B2 (en) Image processing apparatus, image processing method, and image processing program
JP6324278B2 (en) Imaging apparatus, image processing apparatus, and control method thereof
JP2007328694A (en) Image processing apparatus and digital camera
JP6768449B2 (en) Imaging control device, control method and program of imaging device
JP2009177358A (en) Image processor, image processing method, and program
JP4458811B2 (en) Imaging apparatus, display control method, and display control program
JP7027207B2 (en) Display control device, its control method and program
JP5623247B2 (en) Imaging apparatus and control method thereof
JP2008072524A (en) Information processor, control method, program, and storage medium
JP5116494B2 (en) Imaging device
JP2016123033A (en) Display controller and control method therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4916403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees