JP2008284868A - Printing method, printer, and program - Google Patents

Printing method, printer, and program Download PDF

Info

Publication number
JP2008284868A
JP2008284868A JP2007319982A JP2007319982A JP2008284868A JP 2008284868 A JP2008284868 A JP 2008284868A JP 2007319982 A JP2007319982 A JP 2007319982A JP 2007319982 A JP2007319982 A JP 2007319982A JP 2008284868 A JP2008284868 A JP 2008284868A
Authority
JP
Japan
Prior art keywords
scene
image
indicated
identification
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007319982A
Other languages
Japanese (ja)
Inventor
Kenji Fukazawa
Hirokazu Kasahara
Yasuo Kasai
Naoki Kuwata
Yoshiori Matsumoto
佳織 松本
庸雄 河西
賢二 深沢
広和 笠原
直樹 鍬田
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007112225 priority Critical
Application filed by Seiko Epson Corp, セイコーエプソン株式会社 filed Critical Seiko Epson Corp
Priority to JP2007319982A priority patent/JP2008284868A/en
Priority claimed from US12/106,153 external-priority patent/US8243328B2/en
Publication of JP2008284868A publication Critical patent/JP2008284868A/en
Withdrawn legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a printing method which facilitates the checking work by a user, and to provide a printer and a program. <P>SOLUTION: In this printing method, the scene information of image data is acquired from added data which is added to the image data, and the scene of an image shown by the image data is identified from the image data. The identified scene is compared with a scene shown by the scene information. When the identified scene does not agree with the scene shown by the scene information, printed matter which is used for demanding the checking by the user is printed. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、印刷方法、印刷装置及びプログラムに関する。   The present invention relates to a printing method, a printing apparatus, and a program.
デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは撮影モードに応じた撮影条件(露光時間等)を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに、撮影時の撮影条件等の付加データが付加されている。   Some digital still cameras have a mode setting dial for setting a shooting mode. When the user sets the shooting mode with the dial, the digital still camera determines shooting conditions (such as exposure time) according to the shooting mode and performs shooting. When shooting is performed, the digital still camera generates an image file. In this image file, additional data such as shooting conditions at the time of shooting is added to the image data of the shot image.
一方、付加データに応じて画像データに画像処理することも行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件に応じて画像データを補正し、補正した画像データに従って印刷することが行われている。
特開2001−238177号公報
On the other hand, image processing is also performed on image data according to additional data. For example, when a printer performs printing based on an image file, the image data is corrected according to the shooting conditions indicated by the additional data, and printing is performed according to the corrected image data.
JP 2001-238177 A
デジタルスチルカメラが画像ファイルを生成するとき、付加データに、ダイヤル設定に応じたシーン情報が記憶されることがある。一方、ユーザが撮影モードを設定し忘れると、画像データの内容と不一致なシーン情報が付加データに記憶されてしまう。このため、付加データのシーン情報を用いずに、画像データを解析して画像データのシーンを識別することがある。但し、付加データの示すシーンと、識別結果のシーンとが不一致のとき、ユーザへの確認を行うことが望ましい。
本発明は、ユーザへの確認の際に、ユーザの確認作業を簡便にさせることを目的とする。
When the digital still camera generates an image file, scene information corresponding to dial settings may be stored in the additional data. On the other hand, if the user forgets to set the shooting mode, scene information that does not match the content of the image data is stored in the additional data. For this reason, the scene of the image data may be identified by analyzing the image data without using the scene information of the additional data. However, when the scene indicated by the additional data does not match the scene of the identification result, it is desirable to confirm to the user.
It is an object of the present invention to simplify the user's confirmation work at the time of confirmation to the user.
上記目的を達成するための主たる発明は、画像データに付加されている付加データから、前記画像データのシーン情報を取得し、前記画像データに基づいて、前記画像データの示す画像のシーンを識別し、この識別したシーンと前記シーン情報の示すシーンとを比較し、前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷することを特徴とする。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
A main invention for achieving the above object is to acquire scene information of the image data from additional data added to the image data, and identify an image scene indicated by the image data based on the image data. The identified scene and the scene indicated by the scene information are compared, and if the identified scene and the scene indicated by the scene information do not match, a printed matter used for prompting the user to confirm is printed. To do.
Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。   At least the following matters will become clear from the description of the present specification and the accompanying drawings.
画像データに付加されている付加データから、前記画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別し、
この識別したシーンと前記シーン情報の示すシーンとを比較し、
前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷する
ことを特徴とする印刷方法が明らかになる。
このような印刷方法によれば、ユーザの確認作業を簡便にさせることができる。
From the additional data added to the image data, obtain the scene information of the image data,
Based on the image data, the scene of the image indicated by the image data is identified,
Compare this identified scene with the scene indicated by the scene information,
When the identified scene and the scene indicated by the scene information do not match, a printing method characterized by printing a printed material used for prompting the user to confirm is clarified.
According to such a printing method, a user's confirmation work can be simplified.
また、前記ユーザにより印刷指示内容が記入された印刷物を読み取り、この読み取り結果に応じて、前記シーン情報の示すシーンと前記識別したシーンの少なくとも一方のシーンに基づいて前記画像データを補正し、この補正した前記画像データの示す画像を印刷することが望ましい。これにより、ユーザの希望する画質の画像が得られる。   Further, the printed matter in which the content of the print instruction is entered by the user is read, and the image data is corrected based on at least one of the scene indicated by the scene information and the identified scene according to the read result, It is desirable to print an image indicated by the corrected image data. Thereby, an image having an image quality desired by the user is obtained.
また、前記印刷物を印刷する際に、前記シーン情報の示すシーンに基づいて補正した画像と、前記識別したシーンに基づいて補正した画像とを並べて少なくとも印刷することが望ましい。これにより、ユーザは、補正処理の効果を比較しやすくなる。   When printing the printed matter, it is desirable to print at least the image corrected based on the scene indicated by the scene information and the image corrected based on the identified scene. This makes it easier for the user to compare the effects of the correction process.
また、複数の画像データのそれぞれについて、前記シーン情報の示すシーンと前記識別したシーンとを比較し、それぞれの前記画像データについて、前記ユーザにシーンを指示させる指示領域を設けつつ、前記複数の画像データの示す画像を前記印刷物に印刷し、前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの前記指示領域には、前記シーン情報の示すシーンを指示することに用いるマークと、前記識別したシーンを指示することに用いるマークとが印刷され、前記シーン情報の示すシーンと識別したシーンとが一致する前記画像データの前記指示領域には、前記シーン情報の示すシーンと前記識別したシーンとの少なくとも一方のシーンを指示することに用いるマークが印刷されることが望ましい。これにより、ユーザは、どの画像において2つのシーンが不一致であるかを容易に知ることができる。   Further, for each of a plurality of image data, the scene indicated by the scene information is compared with the identified scene, and for each of the image data, the plurality of images are provided while providing an instruction area for instructing the scene to the user. An image indicated by the data is printed on the printed matter, and a mark used to indicate the scene indicated by the scene information in the indication area of the image data where the scene indicated by the scene information and the identified scene do not match A mark used for indicating the identified scene is printed, and the scene indicated by the scene information is identified in the indicated area of the image data in which the scene indicated by the scene information matches the identified scene. It is desirable that a mark used for indicating at least one of the scenes is printed. Thus, the user can easily know in which image the two scenes do not match.
また、前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの前記指示領域において、前記シーン情報の示すシーンを指示することに用いるマークと、前記識別したシーンを指示することに用いるマークとのいずれか一方のマークが強調されて印刷され、前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの示す画像を印刷する場合であって、前記シーン情報の示すシーンを指示することに用いるマーク及び前記識別したシーンを指示することに用いるマークに対して記入されていない場合、前記強調されて印刷されたマークの示すシーンに基づいて前記画像データを補正し、この補正した前記画像データの示す画像を印刷することが望ましい。あるマークを強調して印刷することによって、ユーザが記入を行わなかったときにどのような処理が行われるのかをユーザに認知させることができる。   In addition, in the instruction area of the image data in which the scene indicated by the scene information and the identified scene do not match, a mark used for indicating the scene indicated by the scene information and the specified scene are indicated. One of the marks to be used is printed with emphasis, and the image indicated by the image data in which the scene indicated by the scene information and the identified scene do not match is printed. If the mark used to indicate a scene and the mark used to indicate the identified scene are not filled, the image data is corrected based on the scene indicated by the highlighted printed mark; It is desirable to print an image indicated by the corrected image data. By emphasizing and printing a certain mark, the user can be made aware of what kind of processing is performed when the user does not fill in.
また、複数の画像データのそれぞれについて、前記シーン情報の示すシーンと前記識別したシーンとを比較し、前記シーン情報の示すシーンと前記識別したシーンとが不一致の画像データについては、前記印刷物を印刷し、前記ユーザにより印刷指示内容が記入された印刷物を読み取る前に、前記シーン情報の示すシーンと前記識別したシーンとが一致する画像データの印刷を開始することが望ましい。これにより、印刷開始を早めることができる。   Further, for each of a plurality of image data, the scene indicated by the scene information is compared with the identified scene, and for the image data where the scene indicated by the scene information does not match the identified scene, the printed matter is printed. It is preferable that printing of image data in which the scene indicated by the scene information matches the identified scene is started before reading the printed matter in which the content of the print instruction is entered by the user. Thereby, the start of printing can be accelerated.
また、前記読み取り結果に応じて、前記印刷指示内容を前記付加データに記憶することが望ましい。これにより、再度の識別処理を不要にすることが可能になる。   Further, it is desirable to store the contents of the print instruction in the additional data according to the reading result. This makes it possible to eliminate the need for re-identification processing.
コントローラを備える印刷装置であって、
前記コントローラは、
画像データに付加されている付加データから、前記画像データのシーン情報を取得し、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別し、
この識別したシーンと前記シーン情報の示すシーンとを比較し、
前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷する
ことを特徴とする印刷装置が明らかになる。
このような印刷装置によれば、ユーザの確認作業を簡便にさせることができる。
A printing device comprising a controller,
The controller is
From the additional data added to the image data, obtain the scene information of the image data,
Based on the image data, the scene of the image indicated by the image data is identified,
Compare this identified scene with the scene indicated by the scene information,
When the identified scene and the scene indicated by the scene information do not match, a printing apparatus that prints a printed material used to prompt the user to confirm becomes clear.
According to such a printing apparatus, the user's confirmation work can be simplified.
印刷装置に、
画像データに付加されている付加データから、前記画像データのシーン情報を取得させ、
前記画像データに基づいて、前記画像データの示す画像のシーンを識別させ、
この識別したシーンと前記シーン情報の示すシーンとを比較させ、
前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷させる
ことを特徴とするプログラムが明らかになる。
このようなプログラムによれば、ユーザの確認作業を簡便にさせることができる。
In the printing device,
From the additional data added to the image data, the scene information of the image data is acquired,
Based on the image data, the scene of the image indicated by the image data is identified,
The identified scene is compared with the scene indicated by the scene information,
When the identified scene and the scene indicated by the scene information do not match, a program that prints a printed material used to prompt the user to confirm is clarified.
According to such a program, the user's confirmation work can be simplified.
===全体構成===
図1は、画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ2と、プリンタ4とを備える。
=== Overall structure ===
FIG. 1 is an explanatory diagram of an image processing system. This image processing system includes a digital still camera 2 and a printer 4.
デジタルスチルカメラ2は、被写体をデジタルデバイス(CCDなど)に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ2には、モード設定ダイヤル2Aが設けられている。ユーザは、ダイヤル2Aによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル2Aによって「夜景」モードが設定されると、デジタルスチルカメラ2は、シャッター速度を遅くしたり、ISO感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。   The digital still camera 2 is a camera that acquires a digital image by forming an image of a subject on a digital device (CCD or the like). The digital still camera 2 is provided with a mode setting dial 2A. The user can set the shooting mode according to the shooting conditions by using the dial 2A. For example, when the “night scene” mode is set by the dial 2A, the digital still camera 2 performs shooting under shooting conditions suitable for night scene shooting by decreasing the shutter speed or increasing the ISO sensitivity.
デジタルスチルカメラ2は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード6に保存する。画像ファイルには、撮影した画像のデジタルデータ(画像データ)だけでなく、撮影時の撮影条件(撮影データ)等の付加データも保存される。   The digital still camera 2 stores an image file generated by photographing in the memory card 6 in accordance with the file format standard. In the image file, not only digital data (image data) of a captured image but also additional data such as a shooting condition (shooting data) at the time of shooting is stored.
プリンタ4は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ4には、メモリカード6を挿入するスロット21が設けられている。ユーザは、デジタルスチルカメラ2で撮影した後、デジタルスチルカメラ2からメモリカード6を取り出し、スロット21にメモリカード6を挿入することができる。   The printer 4 is a printing device that prints an image indicated by image data on paper. The printer 4 is provided with a slot 21 into which the memory card 6 is inserted. The user can take a picture with the digital still camera 2, remove the memory card 6 from the digital still camera 2, and insert the memory card 6 into the slot 21.
パネル部15は、表示部16と、各種のボタンを有する入力部17とを備える。表示部16は、液晶ディスプレイにより構成される。表示部16がタッチパネルであれば、表示部16は入力部17としても機能する。表示部16には、プリンタ4の設定を行うための設定画面や、メモリカードから読み取った画像データの画像や、ユーザへの確認や警告のための画面などが表示される。   The panel unit 15 includes a display unit 16 and an input unit 17 having various buttons. The display unit 16 is configured by a liquid crystal display. If the display unit 16 is a touch panel, the display unit 16 also functions as the input unit 17. The display unit 16 displays a setting screen for setting the printer 4, an image of image data read from the memory card, a screen for confirmation and warning to the user, and the like.
図2は、プリンタ4の構成の説明図である。プリンタ4は、印刷機構10と、この印刷機構10を制御するプリンタ側コントローラ20とを備える。印刷機構10は、インクを吐出するヘッド11と、ヘッド11を制御するヘッド制御部12と、紙を搬送するため等のモータ13と、センサ14とを有する。プリンタ側コントローラ20は、メモリカード6からデータを送受信するためのメモリ用スロット21と、CPU22と、メモリ23と、モータ13を制御する制御ユニット24と、駆動信号(駆動波形)を生成する駆動信号生成部25とを有する。また、プリンタ側コントローラ20は、パネル部15を制御するパネル制御部26も備えている。   FIG. 2 is an explanatory diagram of the configuration of the printer 4. The printer 4 includes a printing mechanism 10 and a printer-side controller 20 that controls the printing mechanism 10. The printing mechanism 10 includes a head 11 that ejects ink, a head control unit 12 that controls the head 11, a motor 13 for conveying paper, and a sensor 14. The printer-side controller 20 includes a memory slot 21 for transmitting and receiving data from the memory card 6, a CPU 22, a memory 23, a control unit 24 for controlling the motor 13, and a drive signal for generating a drive signal (drive waveform). And a generation unit 25. The printer-side controller 20 also includes a panel control unit 26 that controls the panel unit 15.
メモリカード6がスロット21に挿入されると、プリンタ側コントローラ20は、メモリカード6に保存されている画像ファイルを読み出してメモリ23に記憶する。そして、プリンタ側コントローラ20は、画像ファイルの画像データを、印刷機構10で印刷するための印刷データに変換し、印刷データに基づいて印刷機構10を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。   When the memory card 6 is inserted into the slot 21, the printer-side controller 20 reads out the image file stored in the memory card 6 and stores it in the memory 23. Then, the printer-side controller 20 converts the image data of the image file into print data for printing by the printing mechanism 10, controls the printing mechanism 10 based on the printing data, and prints an image on paper. This series of operations is called “direct printing”.
なお、「ダイレクトプリント」は、メモリカード6をスロット21に挿入することによって行われるだけでなく、デジタルスチルカメラ2とプリンタ4とをケーブル(不図示)で接続することによっても可能である。また、ダイレクトプリントの設定にパネル部15が用いられる。   “Direct printing” is not only performed by inserting the memory card 6 into the slot 21, but also by connecting the digital still camera 2 and the printer 4 with a cable (not shown). The panel unit 15 is used for setting direct printing.
さらに、このプリンタ4は、スキャナ部80を内蔵している。プリンタ側コントローラ20は、スキャナ部80を制御するスキャナ制御部27を備えている。プリンタ側コントローラ20は、スキャナ部27を介してスキャナ部80を制御し、スキャナ部80に原稿を読み取らせて、スキャナ部80から原稿の画像を示す画像データを取得する。   Further, the printer 4 includes a scanner unit 80. The printer-side controller 20 includes a scanner control unit 27 that controls the scanner unit 80. The printer-side controller 20 controls the scanner unit 80 via the scanner unit 27, causes the scanner unit 80 to read a document, and acquires image data indicating an image of the document from the scanner unit 80.
===画像ファイルの構造===
画像ファイルは、画像データと、付加データとから構成されている。画像データは、複数の画素データから構成されている。画素データは、画素の色情報(階調値)を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。
=== Image File Structure ===
The image file is composed of image data and additional data. The image data is composed of a plurality of pixel data. The pixel data is data indicating pixel color information (gradation value). An image is formed by arranging the pixels in a matrix. Therefore, the image data is data indicating an image. The additional data includes data indicating the characteristics of image data, shooting data, thumbnail image data, and the like.
以下、画像ファイルの具体的な構造について説明する。
図3は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはAPP1領域の構成が示されている。
Hereinafter, a specific structure of the image file will be described.
FIG. 3 is an explanatory diagram of the structure of the image file. The left side of the figure shows the overall configuration of the image file, and the right side shows the configuration of the APP1 area.
画像ファイルは、SOI(Start of image)を示すマーカで始まり、EOI(End of Image)を示すマーカで終わる。SOIを示すマーカの後に、APP1のデータ領域の開始を示すAPP1マーカがある。APP1マーカの後のAPP1のデータ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、SOS(Start of Stream)を示すマーカの後には、画像データが含まれている。   The image file starts with a marker indicating SOI (Start of image) and ends with a marker indicating EOI (End of Image). After the marker indicating SOI, there is an APP1 marker indicating the start of the data area of APP1. The APP1 data area after the APP1 marker includes additional data such as shooting data and thumbnail images. In addition, image data is included after the marker indicating SOS (Start of Stream).
APP1マーカの後、APP1のデータ領域のサイズを示す情報があり、EXIFヘッダとTIFFヘッダが続き、IFD領域となる。   After the APP1 marker, there is information indicating the size of the data area of APP1, followed by an EXIF header and a TIFF header, which becomes an IFD area.
各IFD領域は、複数のディレクトリエントリと、次のIFD領域の位置を示すリンクと、データエリアとを有する。例えば、最初のIFD0(IFD of main image)では次のIFD1(IFD of thumbnail image)の位置がリンクされる。但し、ここではIFD1の次のIFDが存在しないのでIFD1では他のIFDへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはIFD0データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、IFD0には、ExifSubIFDの格納場所を意味するタグ(Exif IFD Pointer)と、ExifSubIFDの格納場所を示すポインタ(オフセット値)とが格納されているディレクトリエントリがある。   Each IFD area has a plurality of directory entries, a link indicating the position of the next IFD area, and a data area. For example, in the first IFD0 (IFD of main image), the position of the next IFD1 (IFD of thumbnail image) is linked. However, since there is no IFD next to IFD 1 here, IFD 1 does not link to another IFD. Each directory entry includes a tag and a data portion. When the amount of data to be stored is small, the actual data is stored as it is in the data portion. When the amount of data is large, the actual data is stored in the IFD0 data area, and the data portion indicates the data storage location. A pointer is stored. The IFD 0 includes a directory entry in which a tag (Exif IFD Pointer) indicating the storage location of the Exif Sub IFD and a pointer (offset value) indicating the storage location of the Exif Sub IFD are stored.
ExifSubIFD領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはExifSubIFDデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ExifSubIFDの中には、MakernoteIFDの格納場所を意味するタグと、MakernoteIFDの格納場所を示すポインタとが格納されている。   The Exif SubIFD area has a plurality of directory entries. This directory entry also includes a tag and a data portion. When the amount of data to be stored is small, the actual data is stored as it is in the data portion, and when the amount of data is large, the actual data is stored in the ExifSubIFD data area, and the data portion indicates the data storage location. A pointer is stored. In the ExifSubIFD, a tag indicating the storage location of the Makernote IFD and a pointer indicating the storage location of the Makernote IFD are stored.
MakernoteIFD領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはMakernoteIFDデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、MakernoteIFD領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、MakernoteIFD領域に格納されるデータのことを「MakerNoteデータ」と呼ぶ。   The Makernote IFD area has a plurality of directory entries. This directory entry also includes a tag and a data portion. When the amount of data to be stored is small, the actual data is stored as it is in the data portion. When the amount of data is large, the actual data is stored in the Makernote IFD data area, and the data portion stores the data. Is stored. However, since the data storage format can be freely defined in the Makernote IFD area, it is not always necessary to store data in this format. In the following description, data stored in the Makernote IFD area is referred to as “MakerNote data”.
図4Aは、IFD0で使われるタグの説明図である。図に示す通り、IFD0には一般的なデータ(画像データの特性を示すデータ)が格納され、詳細な撮影データは格納されていない。   FIG. 4A is an explanatory diagram of tags used in IFD0. As shown in the drawing, general data (data indicating the characteristics of image data) is stored in IFD0, and detailed photographing data is not stored.
図4Bは、ExifSubIFDで使われるタグの説明図である。図に示す通り、ExifSubIFDには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ExifSubIFDに格納されている撮影データである。なお、撮影シーンタイプタグ(Scene Capture Type)は、撮影シーンのタイプを示すタグである。また、Makernoteタグは、MakernoteIFDの格納場所を意味するタグである。   FIG. 4B is an explanatory diagram of tags used in the Exif SubIFD. As shown in the figure, Exif SubIFD stores detailed shooting data. Note that most of the shooting data extracted in the scene identification process is shooting data stored in the Exif SubIFD. The shooting scene type tag (Scene Capture Type) is a tag indicating the type of shooting scene. Further, the Makernote tag is a tag indicating the storage location of the Makernote IFD.
ExifSubIFD領域の撮影シーンタイプタグに対するデータ部(撮影シーンタイプデータ)が、「ゼロ」ならば「標準」を意味し、「1」ならば「風景」を意味し、「2」ならば「人物」を意味し、「3」ならば「夜景」を意味する。なお、ExifSubIFDに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。   If the data portion (shooting scene type data) for the shooting scene type tag in the Exif SubIFD area is “zero”, it means “standard”, “1” means “landscape”, and “2” means “person”. "3" means "night view". Since the data stored in the Exif SubIFD is standardized, anyone can know the contents of the shooting scene type data.
本実施形態では、Makernoteデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル2Aで設定されたモード毎に異なる値を示す。但し、MakerNoteデータは、メーカ毎に形式が異なるため、MakerNoteデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。   In the present embodiment, shooting mode data is included in one of the Makernote data. In this shooting mode data, a different value is shown for each mode set by the mode setting dial 2A. However, since the MakerNote data has a different format for each manufacturer, the contents of the shooting mode data cannot be known unless the format of the MakerNote data is known.
図5は、モード設定ダイヤル2Aの設定とデータとの対応表である。ExifSubIFDで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、MakerNoteデータは自由に定義できるので、MakerNoteデータの一つである撮影モードタグにより、モード設定ダイヤル2Aの撮影モードを特定するデータをデータ部に格納できる。   FIG. 5 is a correspondence table between the setting of the mode setting dial 2A and data. Since the shooting scene type tag used in the Exif SubIFD conforms to the file format standard, the scenes that can be specified are limited, and data for specifying a scene such as “evening scene” cannot be stored in the data portion. On the other hand, since the MakerNote data can be freely defined, the data specifying the shooting mode of the mode setting dial 2A can be stored in the data portion by the shooting mode tag which is one of the MakerNote data.
前述のデジタルスチルカメラ2は、モード設定ダイヤル2Aの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード6に保存する。この画像ファイルには、モード設定ダイヤル2Aに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれExifSubIFD領域及びMakernoteIFD領域に格納される。   The above-described digital still camera 2 shoots under shooting conditions corresponding to the setting of the mode setting dial 2 </ b> A, then creates the above image file and stores it in the memory card 6. In this image file, shooting scene type data and shooting mode data corresponding to the mode setting dial 2A are stored in the Exif SubIFD area and the Makernote IFD area, respectively, as scene information added to the image data.
===自動補正機能の概要===
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ4は、画像ファイルを分析して自動的に適した補正処理を行う自動補正機能を備えている。
=== Outline of automatic correction function ===
When printing a “person” photo, there is a demand to clean the skin tone. In addition, when printing a “landscape” photograph, there is a demand for emphasizing the blue of the sky and the green of trees and grass. Therefore, the printer 4 of the present embodiment includes an automatic correction function that analyzes an image file and automatically performs a suitable correction process.
図6は、プリンタ4の自動補正機能の説明図である。図中のプリンタ側コントローラ20の各要素は、ソフトウェアとハードウェアによって実現される。   FIG. 6 is an explanatory diagram of the automatic correction function of the printer 4. Each element of the printer-side controller 20 in the figure is realized by software and hardware.
記憶部31は、メモリ23の一部の領域及びCPU22によって実現される。メモリカード6から読み出された画像ファイルの全部又は一部は、記憶部31の画像記憶部31Aに展開される。また、プリンタ側コントローラ20の各要素の演算結果は、記憶部31の結果記憶部31Bに格納される。   The storage unit 31 is realized by a partial area of the memory 23 and the CPU 22. All or part of the image file read from the memory card 6 is developed in the image storage unit 31 </ b> A of the storage unit 31. In addition, the calculation result of each element of the printer-side controller 20 is stored in the result storage unit 31B of the storage unit 31.
顔識別部32は、CPU22と、メモリ23に記憶された顔識別プログラムとによって実現される。顔識別部32は、画像記憶部31Aに記憶された画像データを分析し、顔の有無を識別する。顔識別部32によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると識別される。顔識別部32による顔識別処理は、既に広く行われている処理と同様なので、詳細な説明は省略する。   The face identification unit 32 is realized by the CPU 22 and a face identification program stored in the memory 23. The face identification unit 32 analyzes the image data stored in the image storage unit 31A and identifies the presence or absence of a face. When the face identifying unit 32 identifies that there is a face, the image to be identified is identified as belonging to the “person” scene. Since the face identification process by the face identification unit 32 is the same as a process that has already been widely performed, detailed description thereof is omitted.
なお、顔識別部32は、識別対象となる画像が「人物」のシーンに属する確率(確信度、評価値)も算出する。この確信度は、画像に占める肌色の画素の割合、肌色の画像の形状、画素データの示す色と肌色の記憶色との近接度合い、などから算出される。顔識別部32の識別結果は、結果記憶部31Bに記憶される。   The face identification unit 32 also calculates the probability (confidence level, evaluation value) that the image to be identified belongs to the scene of “person”. This certainty factor is calculated from the ratio of the skin color pixels in the image, the shape of the skin color image, the degree of proximity between the color indicated by the pixel data and the memory color of the skin color, and the like. The identification result of the face identification unit 32 is stored in the result storage unit 31B.
シーン識別部33は、CPU22と、メモリ23に記憶されたシーン識別プログラムとによって実現される。シーン識別部33は、画像記憶部31Aに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。顔識別部32による顔識別処理の後に、シーン識別部33によるシーン識別処理が行われる。後述するように、シーン識別部33は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれの画像であるかを識別する。なお、シーン識別部33の識別結果や確信度の情報も、結果記憶部31Bに記憶される。   The scene identification unit 33 is realized by the CPU 22 and a scene identification program stored in the memory 23. The scene identification unit 33 analyzes the image file stored in the image storage unit 31A and identifies the scene of the image indicated by the image data. After the face identifying process by the face identifying unit 32, the scene identifying process by the scene identifying unit 33 is performed. As will be described later, the scene identification unit 33 identifies whether the image to be identified is an image of “landscape”, “evening scene”, “night scene”, “flower”, or “autumn leaves”. Note that the identification result of the scene identification unit 33 and information on the certainty factor are also stored in the result storage unit 31B.
図7は、画像のシーンと補正内容との関係の説明図である。
画像補正部34は、CPU22と、メモリ23に記憶された画像補正プログラムとによって実現される。画像補正部34は、記憶部31の結果記憶部31B(後述)に記憶されている識別結果(顔識別部32やシーン識別部33の識別結果)に基づいて、画像記憶部31Aの画像データを補正する。例えば、シーン識別部33の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。但し、画像ファイルの付加データの示すシーンと、識別結果の示すシーンとが不一致の場合、画像補正部34は、後述する所定の確認処理をした後、確認結果に応じて画像データを補正する。
FIG. 7 is an explanatory diagram of a relationship between an image scene and correction contents.
The image correction unit 34 is realized by the CPU 22 and an image correction program stored in the memory 23. The image correction unit 34 converts the image data of the image storage unit 31A based on the identification results (identification results of the face identification unit 32 and the scene identification unit 33) stored in the result storage unit 31B (described later) of the storage unit 31. to correct. For example, when the identification result of the scene identification unit 33 is “landscape”, correction is performed so that blue is emphasized and green is emphasized. However, when the scene indicated by the additional data of the image file and the scene indicated by the identification result do not match, the image correction unit 34 corrects the image data according to the confirmation result after performing a predetermined confirmation process described later.
プリンタ制御部35は、CPU22、駆動信号生成部25、制御ユニット24及びメモリ23に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部35は、補正後の画像データを印刷データに変換し、印刷機構10に画像を印刷させる。   The printer control unit 35 is realized by a printer control program stored in the CPU 22, the drive signal generation unit 25, the control unit 24, and the memory 23. The printer control unit 35 converts the corrected image data into print data, and causes the printing mechanism 10 to print the image.
===シーン識別処理===
図8は、シーン識別部33によるシーン識別処理のフロー図である。図9は、シーン識別部33の機能の説明図である。図中のシーン識別部33の各要素は、ソフトウェアとハードウェアによって実現される。シーン識別部33は、図9に示す特徴量取得部40と、全体識別器50と、部分識別器60と、統合識別器70とを備えている。
=== Scene Identification Processing ===
FIG. 8 is a flowchart of scene identification processing by the scene identification unit 33. FIG. 9 is an explanatory diagram of the function of the scene identification unit 33. Each element of the scene identification unit 33 in the figure is realized by software and hardware. The scene identification unit 33 includes a feature amount acquisition unit 40, an overall classifier 50, a partial classifier 60, and an integrated classifier 70 shown in FIG.
最初に、特徴量取得部40が、記憶部31の画像記憶部31Aに展開された画像データを分析し、部分特徴量を取得する(S101)。具体的には、特徴量取得部40は、画像データを8×8の64ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はYCC色空間における階調値のデータをもっており、各ブロックごとに、Yの平均値、Cbの平均値及びCrの平均値がそれぞれ算出され、Yの分散、Cbの分散及びCrの分散がそれぞれ算出される。つまり、各ブロックごとに3つの色平均と3つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、RGB色空間における平均値や分散を算出しても良い。
ブロックごとに色平均と分散が算出されるので、特徴量取得部40は、画像記憶部31Aには画像データの全てを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部31Aは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくても良い。
First, the feature amount acquisition unit 40 analyzes the image data developed in the image storage unit 31A of the storage unit 31 and acquires partial feature amounts (S101). Specifically, the feature amount acquisition unit 40 divides the image data into 8 × 8 64 blocks, calculates the color average and variance of each block, and acquires the color average and variance as partial feature amounts. Here, each pixel has gradation value data in the YCC color space, and the average value of Y, the average value of Cb, and the average value of Cr are calculated for each block, and the variance of Y and the variance of Cb are calculated. And the variance of Cr are calculated respectively. That is, three color averages and three variances are calculated as partial feature amounts for each block. These color averages and variances indicate the characteristics of the partial images in each block. Note that an average value or variance in the RGB color space may be calculated.
Since the color average and variance are calculated for each block, the feature amount acquisition unit 40 expands the image data for the blocks in the block order without expanding all the image data in the image storage unit 31A. For this reason, the image storage unit 31A does not necessarily have a capacity sufficient to expand all of the image files.
次に、特徴量取得部40が、全体特徴量を取得する(S102)。具体的には、特徴量取得部40は、画像データの全体の色平均、分散、重心及び撮影情報を、全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に、画像データを再度展開する必要がないので、全体特徴量の算出速度が速くなる。全体識別処理(後述)は部分識別処理(後述)よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を速めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。   Next, the feature amount acquisition unit 40 acquires the entire feature amount (S102). Specifically, the feature quantity acquisition unit 40 acquires the overall color average, variance, center of gravity, and shooting information of the image data as the overall feature quantity. Note that these color averages and variances indicate the overall characteristics of the image. The color average, variance, and center of gravity of the entire image data are calculated using the partial feature values calculated previously. For this reason, it is not necessary to re-expand the image data when calculating the entire feature amount, and the calculation speed of the entire feature amount is increased. Although the overall identification process (described later) is performed prior to the partial identification process (described later), the overall feature value is obtained after the partial feature value in order to increase the calculation speed. The shooting information is extracted from the shooting data of the image file. Specifically, information such as the aperture value, shutter speed, and the presence or absence of flash emission is used as the overall feature amount. However, not all shooting data of the image file is used as the entire feature amount.
次に、全体識別器50が、全体識別処理を行う(S103)。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別(推定)する処理である。全体識別処理の詳細については、後述する。   Next, the overall classifier 50 performs overall identification processing (S103). The overall identification process is a process for identifying (estimating) an image scene indicated by image data based on the overall feature amount. Details of the overall identification process will be described later.
全体識別処理によってシーンの識別ができる場合(S104でYES)、シーン識別部33は、記憶部31の結果記憶部31Bに識別結果を記憶することによってシーンを決定し(S109)、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合(S104でYES)、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。   If the scene can be identified by the overall identification process (YES in S104), the scene identification unit 33 determines the scene by storing the identification result in the result storage unit 31B of the storage unit 31 (S109), and performs the scene identification process. finish. That is, when the scene can be identified by the overall identification process (YES in S104), the partial identification process and the integrated identification process are omitted. This increases the speed of the scene identification process.
全体識別処理によってシーンの識別ができない場合(S104でNO)、次に部分識別器60が、部分識別処理を行う(S105)。部分識別処理とは、部分特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については、後述する。   If the scene cannot be identified by the overall identification process (NO in S104), the partial classifier 60 performs the partial identification process (S105). The partial identification process is a process for identifying the scene of the entire image indicated by the image data based on the partial feature amount. Details of the partial identification processing will be described later.
部分識別処理によってシーンの識別ができる場合(S106でYES)、シーン識別部33は、記憶部31の結果記憶部31Bに識別結果を記憶することによってシーンを決定し(S109)、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合(S106でYES)、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。   When the scene can be identified by the partial identification process (YES in S106), the scene identification unit 33 determines the scene by storing the identification result in the result storage unit 31B of the storage unit 31 (S109), and performs the scene identification process. finish. That is, when the scene can be identified by the partial identification process (YES in S106), the integrated identification process is omitted. This increases the speed of the scene identification process.
部分識別処理によってシーンの識別ができない場合(S106でNO)、次に統合識別器70が、統合識別処理を行う(S107)。統合識別処理の詳細については、後述する。   If the scene cannot be identified by the partial identification process (NO in S106), the integrated discriminator 70 performs the integrated identification process (S107). Details of the integrated identification process will be described later.
統合識別処理によってシーンの識別ができる場合(S108でYES)、シーン識別部33は、記憶部31の結果記憶部31Bに識別結果を記憶することによってシーンを決定し(S109)、シーン識別処理を終了する。一方、統合識別処理によってシーンの識別ができない場合(S108でNO)、シーン識別部33は、候補となるシーン(シーン候補)の全てを、結果記憶部31Bに記憶する(S110)。このとき、シーン候補とともに、確信度も結果記憶部31Bに記憶される。   When the scene can be identified by the integrated identification process (YES in S108), the scene identification unit 33 determines the scene by storing the identification result in the result storage unit 31B of the storage unit 31 (S109), and performs the scene identification process. finish. On the other hand, when the scene cannot be identified by the integrated identification process (NO in S108), the scene identification unit 33 stores all the candidate scenes (scene candidates) in the result storage unit 31B (S110). At this time, the certainty factor is stored in the result storage unit 31B together with the scene candidate.
シーン識別処理(全体識別処理・部分識別処理・統合識別処理)の結果、図8のS104、S106及びS108においていずれかYESの場合、プリンタ側コントローラ20は、確信度の比較的高い1つのシーンを識別できる。また、S108においてNOの場合、プリンタ側コントローラ20は、確信度の比較的低い少なくとも1つのシーン(シーン候補)を識別できる。なお、S108においてNOの場合、シーン候補は1つの場合もあれば、2以上の場合もある。   As a result of the scene identification process (whole identification process / partial identification process / integrated identification process), if any of S104, S106, and S108 in FIG. 8 is YES, the printer-side controller 20 selects one scene with a relatively high certainty factor. Can be identified. If NO in S108, the printer-side controller 20 can identify at least one scene (scene candidate) with a relatively low certainty factor. If NO in S108, there may be one scene candidate or two or more scene candidates.
===全体識別処理===
図10は、全体識別処理のフロー図である。ここでは図9も参照しながら全体識別処理について説明する。
=== Overall identification processing ===
FIG. 10 is a flowchart of the overall identification process. Here, the overall identification process will be described with reference to FIG.
まず、全体識別器50は、複数のサブ識別器51の中から1つのサブ識別器51を選択する(S201)。全体識別器50には、識別対象となる画像(識別対象画像)が特定のシーンに属するか否かを識別するサブ識別器51が5つ設けられている。5つのサブ識別器51は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器50は、風景→夕景→夜景→花→紅葉の順に、サブ識別器51を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器51(風景識別器51L)が選択される。   First, the overall classifier 50 selects one sub-classifier 51 from the plurality of sub-classifiers 51 (S201). The overall classifier 50 is provided with five sub-classifiers 51 for identifying whether an image to be identified (identification target image) belongs to a specific scene. The five sub classifiers 51 identify scenes of scenery, evening scene, night scene, flowers, and autumn leaves, respectively. Here, the overall classifier 50 selects the sub classifier 51 in the order of landscape → evening scene → night scene → flower → autumn leaves. For this reason, first, the sub classifier 51 (landscape classifier 51L) for identifying whether or not the classification target image belongs to a landscape scene is selected.
次に、全体識別器50は、識別対象テーブルを参照し、選択したサブ識別器51を用いてシーンを識別すべきか否かを判断する(S202)。   Next, the overall classifier 50 refers to the classification target table and determines whether or not a scene should be identified using the selected sub-classifier 51 (S202).
図11は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部31の結果記憶部31Bに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。S202の処理では、「否定」欄が参照され、ゼロであればYESと判断され、1であればNOと判断される。ここでは、全体識別器50は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでYESと判断する。   FIG. 11 is an explanatory diagram of the identification target table. This identification target table is stored in the result storage unit 31B of the storage unit 31. In the identification target table, all fields are set to zero in the first stage. In the process of S202, the “No” column is referred to, and if it is zero, it is determined as YES, and if it is 1, it is determined as NO. Here, the overall classifier 50 refers to the “No” column in the “Scenery” column in the identification target table, and determines “YES” because it is zero.
次に、サブ識別器51は、全体特徴量に基づいて、判別式の値(評価値)を算出する(S203)。この判別式の値は、識別対象画像が特定のシーンに属する確率(確信度)と関係している(後述)。本実施形態のサブ識別器51には、サポートベクタマシン(SVM)による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器51の判別式は、プラスの値になりやすい。識別対象画像が特定のシーンに属しない場合、サブ識別器51の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確信度が高いほど、大きい値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率(確信度)が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。   Next, the sub discriminator 51 calculates a discriminant value (evaluation value) based on the entire feature amount (S203). The value of this discriminant is related to the probability (confidence) that the identification target image belongs to a specific scene (described later). For the sub classifier 51 of this embodiment, a classification method using a support vector machine (SVM) is used. The support vector machine will be described later. When the classification target image belongs to a specific scene, the discriminant of the sub classifier 51 tends to be a positive value. When the classification target image does not belong to a specific scene, the discriminant of the sub classifier 51 tends to be a negative value. Further, the discriminant becomes a larger value as the certainty that the identification target image belongs to the specific scene is higher. For this reason, if the discriminant value is large, the probability (confidence) that the identification target image belongs to a specific scene is high, and if the discriminant value is small, the probability that the classification target image belongs to a specific scene is low. .
このため、判別式の値(評価値)は、識別対象画像が特定のシーンに属することの確からしさである確信度を示す。なお、以下の説明における確信度は、判別式の値そのものを指しても良いし、判別式の値から求められる正答率(後述)を指してもよい。なお、判別式の値そのもの、又は、判別式の値から求められる正答率(後述)は、識別対象画像が特定のシーンに属する確率に応じた「評価値」(評価結果)でもある。前述の顔識別の際には、識別対象となる画像が「人物」のシーンに属する確率(評価値)を顔識別部32が算出しているが、この評価値が、識別対象画像が特定のシーンに属することの確からしさである確信度を示すことになる。   For this reason, the value of the discriminant (evaluation value) indicates a certainty factor that is a certainty that the identification target image belongs to a specific scene. Note that the certainty factor in the following description may indicate the discriminant value itself, or may indicate the correct answer rate (described later) obtained from the discriminant value. Note that the discriminant value itself or the correct answer rate (described later) obtained from the discriminant value is also an “evaluation value” (evaluation result) according to the probability that the identification target image belongs to a specific scene. In the above-described face identification, the face identification unit 32 calculates the probability (evaluation value) that the image to be identified belongs to the scene of “person”. The certainty level, which is the certainty of belonging to the scene, is indicated.
次に、サブ識別器51は、判別式の値が肯定閾値より大きいか否かを判断する(S204)。判別式の値が肯定閾値より大きければ、サブ識別器51は、識別対象画像が特定のシーンに属すると判断することになる。   Next, the sub discriminator 51 determines whether or not the value of the discriminant is larger than the positive threshold (S204). If the value of the discriminant is larger than the positive threshold, the sub discriminator 51 determines that the classification target image belongs to a specific scene.
図12は、全体識別処理の肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図13は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。   FIG. 12 is an explanatory diagram of an affirmative threshold value of the overall identification process. In the figure, the horizontal axis indicates an affirmative threshold, and the vertical axis indicates the probability of recall or precision. FIG. 13 is an explanatory diagram of Recall and Precision. If the discriminant value is greater than or equal to the positive threshold, the identification result is Positive. If the discriminant value is not greater than or equal to the positive threshold, the identification result is Negative.
Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の数の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器51に識別させたときに、サブ識別器51がPositiveと識別する確率(特定のシーンの画像が特定のシーンに属すると識別される確率)を示すものである。例えば、風景画像を風景識別器51Lに識別させたときに、風景のシーンに属すると風景識別器51Lが識別する確率を示すものである。   Recall indicates the recall rate and detection rate. Recall is the ratio of the number of images identified as belonging to a specific scene to the total number of images of the specific scene. In other words, Recall is the probability that the sub-identifier 51 identifies the image as a positive when the image of the specific scene is identified by the sub-identifier 51 (the probability that the image of the specific scene belongs to the specific scene. ). For example, when a landscape image is identified by the landscape classifier 51L, it indicates the probability that the landscape classifier 51L identifies it as belonging to a landscape scene.
Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器51がPositiveと識別したときに、識別対象の画像が特定のシーンである確率を示すものである。例えば、風景識別器51Lが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。   Precision indicates the correct answer rate and the correct answer rate. Precision is the ratio of the number of images in a particular scene to the total number of images identified as Positive. In other words, Precision indicates the probability that the image to be identified is a specific scene when the sub-classifier 51 that identifies the specific scene identifies it as Positive. For example, when the landscape classifier 51L identifies that it belongs to a landscape scene, it indicates the probability that the identified image is really a landscape image.
図12から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器51Lで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば(S204でYES)、残りの別のシーン(夕景など)の識別を行わないようにして全体識別処理の速度を速めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を速めているため(S104)、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高くなり、大きすぎると処理速度が低下することになる。本実施形態では、正答率(Precision)を97.5%に設定するため、風景の肯定閾値は1.72に設定されている。
As can be seen from FIG. 12, the larger the positive threshold, the greater the Precision. For this reason, the larger the positive threshold value, the higher the probability that an image identified as belonging to a landscape scene, for example, is a landscape image. That is, the greater the positive threshold, the lower the probability of misidentification.
On the other hand, the larger the positive threshold, the smaller the Recall. As a result, for example, even when a landscape image is identified by the landscape classifier 51L, it is difficult to correctly identify it as belonging to a landscape scene. By the way, if the image to be identified can be identified as belonging to a landscape scene (YES in S204), the speed of the overall identification process is increased so as not to identify other remaining scenes (such as sunsets). For this reason, the larger the positive threshold, the lower the overall identification processing speed. Further, if the scene can be identified by the overall identification process, the partial identification process is not performed and the speed of the scene identification process is increased (S104). Therefore, as the positive threshold is increased, the scene identification process speed decreases. Become.
That is, if the positive threshold is too small, the probability of misidentification increases, and if it is too large, the processing speed decreases. In the present embodiment, since the accuracy rate (Precision) is set to 97.5%, the landscape affirmation threshold is set to 1.72.
判別式の値が肯定閾値より大きければ(S204でYES)、サブ識別器51は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる(S205)。「肯定フラグを立てる」とは、図11の「肯定」欄を1にすることである。この場合、全体識別器50は、次のサブ識別器51による識別を行わずに、全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器51による識別を省略しているので、全体識別処理の速度を速めることができる。   If the discriminant value is greater than the affirmative threshold value (YES in S204), the sub-classifier 51 determines that the classification target image belongs to a specific scene and sets an affirmative flag (S205). “Set an affirmative flag” means that the “affirmation” column in FIG. In this case, the overall discriminator 50 ends the overall discrimination process without performing discrimination by the next sub discriminator 51. For example, if the image can be identified as a landscape image, the entire identification process is terminated without identifying the sunset scene or the like. In this case, since the identification by the next sub-identifier 51 is omitted, the speed of the overall identification process can be increased.
判別式の値が肯定閾値より大きくなければ(S204でNO)、サブ識別器51は、識別対象画像が特定のシーンに属すると判断できず、次のS206の処理を行う。   If the value of the discriminant is not greater than the positive threshold (NO in S204), the sub discriminator 51 cannot determine that the classification target image belongs to a specific scene, and performs the next process of S206.
次に、サブ識別器51は、判別式の値と否定閾値とを比較する(S206)。これにより、サブ識別器51は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、2種類ある。第1に、ある特定のシーンのサブ識別器51の判別式の値が第1否定閾値より小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器51Lの判別式の値が第1否定閾値より小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第2に、ある特定のシーンのサブ識別器51の判別式の値が第2否定閾値より大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器51Lの判別式の値が第2否定閾値より大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。   Next, the sub discriminator 51 compares the discriminant value with a negative threshold value (S206). Thereby, the sub classifier 51 determines whether the classification target image does not belong to a predetermined scene. There are two types of such determinations. First, if the value of the discriminant of the sub-identifier 51 of a specific scene is smaller than the first negative threshold, it is determined that the classification target image does not belong to the specific scene. For example, if the discriminant value of the landscape classifier 51L is smaller than the first negative threshold, it is determined that the classification target image does not belong to a landscape scene. Second, if the value of the discriminant of the sub-identifier 51 of a specific scene is larger than the second negative threshold, it is determined that the classification target image does not belong to a scene different from the specific scene. . For example, if the discriminant value of the landscape classifier 51L is larger than the second negative threshold, it is determined that the classification target image does not belong to the night scene.
図14は、第1否定閾値の説明図である。同図において、横軸は第1否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。   FIG. 14 is an explanatory diagram of the first negative threshold. In the figure, the horizontal axis indicates the first negative threshold, and the vertical axis indicates the probability. The bold line in the graph is a True Negative Recall graph, and indicates the probability of correctly identifying an image other than a landscape image as not a landscape image. The thin line in the graph is a False Negative Recall graph, which indicates the probability of erroneously identifying a landscape image that is not a landscape image.
図14から分かる通り、第1否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第1否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。
一方、第1否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、識別対象画像が特定シーンでないことを識別できれば、部分識別処理の際に、その特定シーンのサブ部分識別器61による処理を省略してシーン識別処理速度を速めている(後述、図17のS302)。このため、第1否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第1否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを2.5%に設定するため、第1否定閾値は−1.01に設定されている。
As can be seen from FIG. 14, the False Negative Recall is reduced as the first negative threshold is reduced. For this reason, the smaller the first negative threshold, the lower the probability that an image identified as not belonging to a landscape scene is a landscape image, for example. That is, the probability of misidentification is reduced.
On the other hand, the True Negative Recall decreases as the first negative threshold decreases. As a result, it is difficult to identify an image other than a landscape image unless it is a landscape image. On the other hand, if it is possible to identify that the identification target image is not a specific scene, the process by the sub partial classifier 61 for the specific scene is omitted during the partial identification process to speed up the scene identification processing speed (described later in FIG. 17). S302). For this reason, the scene identification processing speed decreases as the first negative threshold is decreased.
That is, if the first negative threshold is too large, the probability of misidentification increases, and if it is too small, the processing speed decreases. In this embodiment, in order to set False Negative Recall to 2.5%, the first negative threshold is set to −1.01.
ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器51Lの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第2否定閾値が設けられる。   By the way, if the probability that an image belongs to a landscape scene is high, the probability that the image belongs to a night scene is inevitably low. For this reason, when the discriminant value of the landscape discriminator 51L is large, it may be identified that the scene is not a night scene. In order to perform such identification, a second negative threshold is provided.
図15は、第2否定閾値の説明図である。同図において、横軸は風景の判別式の値を示し、縦軸は確率を示す。同図には、図12のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−0.44よりも大きければ、その画像が夜景画像である確率は2.5%である。言い換えると、風景の判別式の値が−0.44より大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は2.5%にすぎない。そこで、本実施形態では、第2否定閾値が−0.44に設定されている。   FIG. 15 is an explanatory diagram of the second negative threshold. In the figure, the horizontal axis indicates the value of the landscape discriminant, and the vertical axis indicates the probability. In this figure, the Recall graph of the night view is drawn with a dotted line together with the Recall and Precision graph of FIG. When attention is paid to this dotted line graph, if the value of the discriminant of landscape is larger than −0.44, the probability that the image is a night scene image is 2.5%. In other words, if the landscape discriminant value is greater than −0.44, even if the image is identified as not a night scene image, the probability of misidentification is only 2.5%. Therefore, in the present embodiment, the second negative threshold is set to −0.44.
そして、判別式の値が第1否定閾値より小さい場合、又は、判別式の値が第2否定閾値より大きい場合(S206でYES)、サブ識別器51は、識別対象画像が所定のシーンに属しないと判断し、否定フラグを立てる(S207)。「否定フラグを立てる」とは、図11の「否定」欄を1にすることである。例えば、第1否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が1になる。また、第2否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が1になる。   When the discriminant value is smaller than the first negative threshold value, or when the discriminant value is larger than the second negative threshold value (YES in S206), the sub-classifier 51 determines that the classification target image belongs to a predetermined scene. It is determined not to do so, and a negative flag is set (S207). “Set a negative flag” means to set the “No” column in FIG. For example, when it is determined that the image to be identified does not belong to a landscape scene based on the first negative threshold, the “denial” column in the “landscape” column is 1. Further, when it is determined that the identification target image does not belong to the night scene based on the second negative threshold, the “Negation” field in the “Night scene” field is “1”.
図16Aは、上記で説明した風景識別器51Lにおける閾値の説明図である。風景識別器51Lには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として1.72が設定されている。否定閾値には第1否定閾値と第2否定閾値とがある。第1否定閾値として−1.01が設定されている。また、第2否定閾値として、風景以外の各シーンにそれぞれ値が設定されている。   FIG. 16A is an explanatory diagram of threshold values in the landscape classifier 51L described above. An affirmative threshold value and a negative threshold value are preset in the landscape discriminator 51L. 1.72 is set as the positive threshold. The negative threshold includes a first negative threshold and a second negative threshold. -1.01 is set as the first negative threshold. In addition, a value is set for each scene other than the landscape as the second negative threshold.
図16Bは、上記で説明した風景識別器51Lの処理の概要の説明図である。ここでは、説明の簡略化のため、第2否定閾値については夜景についてのみ説明する。風景識別器51Lは、判別式の値が1.72より大きければ(S204でYES)、識別対象画像が風景のシーンに属すると判断する。また、判別式の値が1.72以下であり(S204でNO)、−0.44より大きければ(S206でYES)、風景識別器51Lは、識別対象画像が夜景のシーンに属しないと判断する。また、判別式の値が−1.01より小さければ(S206でYES)、風景識別器51Lは、識別対象画像が風景のシーンに属しないと判断する。なお、風景識別器51Lは、夕景や紅葉についても、第2否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、花の第2否定閾値は肯定閾値よりも大きいため、識別対象画像が花のシーンに属しないことを風景識別器51Lが判断することはない。   FIG. 16B is an explanatory diagram outlining the processing of the landscape classifier 51L described above. Here, for simplification of description, only the night view will be described for the second negative threshold. If the discriminant value is greater than 1.72 (YES in S204), the landscape classifier 51L determines that the classification target image belongs to a landscape scene. If the discriminant value is 1.72 or less (NO in S204) and is greater than −0.44 (YES in S206), the landscape classifier 51L determines that the classification target image does not belong to the night scene. To do. If the value of the discriminant is smaller than −1.01 (YES in S206), the landscape classifier 51L determines that the classification target image does not belong to a landscape scene. Note that the landscape classifier 51L also determines whether the image to be identified does not belong to the scene based on the second negative threshold for the evening scene and the autumn leaves. However, since the second negative threshold for flowers is larger than the positive threshold, the landscape discriminator 51L does not determine that the classification target image does not belong to the flower scene.
S202においてNOの場合、S206でNOの場合、又はS207の処理を終えた場合、全体識別器50は、次のサブ識別器51の有無を判断する(S208)。ここでは風景識別器51Lによる処理を終えた後なので、全体識別器50は、S208において、次のサブ識別器51(夕景識別器51S)があると判断する。   In the case of NO in S202, in the case of NO in S206, or when the processing in S207 is completed, the overall discriminator 50 determines the presence or absence of the next sub discriminator 51 (S208). Here, since the process by the landscape classifier 51L is finished, the overall classifier 50 determines in S208 that there is a next sub-classifier 51 (evening scene classifier 51S).
そして、S205の処理を終えた場合(識別対象画像が特定のシーンに属すると判断された場合)、又は、S208において次のサブ識別器51がないと判断された場合(識別対象画像が特定のシーンに属すると判断できなかった場合)、全体識別器50は、全体識別処理を終了する。   Then, when the process of S205 is finished (when it is determined that the identification target image belongs to a specific scene), or when it is determined in S208 that there is no next sub-classifier 51 (the identification target image is a specific image). When it cannot be determined that the scene belongs to the scene), the overall discriminator 50 ends the overall discrimination process.
なお、既に説明した通り、全体識別処理が終了すると、シーン識別部33は、全体識別処理によってシーンの識別ができたか否かを判断する(図8のS104)。このとき、シーン識別部33は、図11の識別対象テーブルを参照し、「肯定」欄に1があるか否かを判断することになる。
全体識別処理によってシーンの識別ができた場合(S104でYES)、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
As already described, when the overall identification process is completed, the scene identification unit 33 determines whether or not the scene has been identified by the overall identification process (S104 in FIG. 8). At this time, the scene identification unit 33 refers to the identification target table in FIG. 11 and determines whether or not there is 1 in the “affirmation” column.
If the scene can be identified by the overall identification process (YES in S104), the partial identification process and the integrated identification process are omitted. This increases the speed of the scene identification process.
===部分識別処理===
図17は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合(図8のS104でNO)に行われる。以下に説明するように、部分識別処理は、分割された分割画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは図9も参照しながら部分識別処理について説明する。
=== Partial identification processing ===
FIG. 17 is a flowchart of the partial identification process. The partial identification process is performed when the scene cannot be identified by the overall identification process (NO in S104 of FIG. 8). As will be described below, the partial identification process is a process of identifying the scene of the entire image by identifying each scene of the divided divided image. Here, the partial identification process will be described with reference to FIG.
まず、部分識別器60は、複数のサブ部分識別器61の中から1つのサブ部分識別器61を選択する(S301)。部分識別器60には、サブ部分識別器61が3つ設けられている。各サブ部分識別器61は、8×8の64ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの3つのサブ部分識別器61は、それぞれ夕景、花、紅葉のシーンを識別する。部分識別器60は、夕景→花→紅葉の順に、サブ部分識別器61を選択する。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器61(夕景部分識別器61S)が選択される。   First, the partial classifier 60 selects one sub partial classifier 61 from the plurality of sub partial classifiers 61 (S301). The partial discriminator 60 is provided with three sub partial discriminators 61. Each sub partial discriminator 61 discriminates whether or not each partial image divided into 8 × 8 64 blocks belongs to a specific scene. Here, the three sub partial classifiers 61 identify the scenes of sunset, flowers, and autumn leaves, respectively. The partial discriminator 60 selects the sub partial discriminator 61 in the order of evening scene → flower → autumn leaves. Therefore, first, the sub partial classifier 61 (evening scene partial classifier 61S) for identifying whether or not the partial image belongs to the sunset scene is selected.
次に、部分識別器60は、識別対象テーブル(図11)を参照し、選択したサブ部分識別器61を用いてシーンを識別すべきか否かを判断する(S302)。ここでは、部分識別器60は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればYESと判断し、1であればNOと判断する。なお、全体識別処理の際に、夕景識別器51Sが第1否定閾値により否定フラグを立てたとき、又は、他のサブ識別器51が第2否定閾値により否定フラグを立てたとき、このS302でNOと判断される。仮にNOと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が速くなる。但し、ここでは説明の都合上、YESと判断されるものとする。   Next, the partial discriminator 60 refers to the discrimination target table (FIG. 11) and determines whether or not the scene should be discriminated using the selected sub partial discriminator 61 (S302). Here, the partial discriminator 60 refers to the “No” column of the “Evening Scene” column in the classification target table, and determines YES if it is zero, and NO if it is 1. When the evening scene classifier 51S sets a negative flag with the first negative threshold during the overall identification process or when another sub-classifier 51 sets a negative flag with the second negative threshold, in S302 It is judged as NO. If it is determined NO, the sunset partial identification process is omitted, and the partial identification process speed increases. However, for the convenience of explanation, it is assumed that YES is determined here.
次に、サブ部分識別器61は、8×8の64ブロックに分割された部分画像の中から、1つの部分画像を選択する(S303)。   Next, the sub partial discriminator 61 selects one partial image from the partial images divided into 8 × 8 64 blocks (S303).
図18は、夕景部分識別器61Sが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを識別するような場合、識別に用いられる部分画像は、被写体が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を8×8の64ブロックに分割し、夕景部分画像(夕景の太陽と空の部分画像)を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ23に格納されている。   FIG. 18 is an explanatory diagram of the order of partial images selected by the evening scene partial classifier 61S. When a scene of the entire image is identified from the partial image, it is desirable that the partial image used for identification is a portion where the subject exists. Therefore, in this embodiment, thousands of samples of sunset scene images are prepared, each sunset scene image is divided into 64 blocks of 8 × 8, and blocks including sunset scene partial images (sun and sky partial images of the sunset scene) are included. The presence probability of the sunset partial image in each block was calculated based on the extracted block position. And in this embodiment, a partial image is selected in an order from a block with a high existence probability. Note that the selection order information shown in the figure is stored in the memory 23 as part of the program.
なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下1/3では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下1/3のブロックにおいて存在確率が低くなる。花画像の場合、花を中央付近に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。   In the case of an evening scene image, since the sky of the evening scene often spreads from the vicinity of the center to the upper half, the existence probability increases in the upper half block from the vicinity of the center. In the case of an evening scene image, the lower 1/3 of the image is shaded by backlight, and the partial image alone often cannot be distinguished from the evening scene or the night scene, so the existence probability is lower in the lower 1/3 block. In the case of a flower image, since the composition is often such that a flower is arranged near the center, the probability of existence of a flower partial image near the center increases.
次に、サブ部分識別器61は、選択された部分画像の部分特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する(S304)。サブ部分識別器61には、全体識別器50のサブ識別器51と同様に、サポートベクタマシン(SVM)による判別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器61は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器61は負カウント値をインクリメントする。   Next, the sub partial classifier 61 determines whether or not the partial image belongs to a specific scene based on the partial feature amount of the selected partial image (S304). Similar to the sub classifier 51 of the overall classifier 50, the sub partial classifier 61 uses a discrimination method using a support vector machine (SVM). The support vector machine will be described later. If the discriminant value is a positive value, it is determined that the partial image belongs to a specific scene, and the sub partial classifier 61 increments the positive count value. If the discriminant value is a negative value, it is determined that the partial image does not belong to a specific scene, and the sub partial discriminator 61 increments the negative count value.
次に、サブ部分識別器61は、正カウント値が肯定閾値よりも大きい否かを判断する(S305)。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値より大きければ(S305でYES)、サブ部分識別器61は、識別対象画像が特定のシーンに属すると判断し、肯定フラグを立てる(S306)。この場合、部分識別器60は、次のサブ部分識別器61による識別を行わずに、部分識別処理を終了する。例えば、夕景画像であると識別できれば、花や紅葉の識別を行わずに、部分識別処理を終了する。この場合、次のサブ部分識別器61による識別を省略しているので、部分識別処理の速度を速めることができる。   Next, the sub partial discriminator 61 determines whether or not the positive count value is larger than the positive threshold value (S305). The positive count value indicates the number of partial images determined to belong to a specific scene. If the positive count value is larger than the affirmative threshold (YES in S305), the sub partial classifier 61 determines that the classification target image belongs to a specific scene, and sets an affirmative flag (S306). In this case, the partial discriminator 60 ends the partial discriminating process without performing discrimination by the next sub partial discriminator 61. For example, if the image can be identified as an evening scene image, the partial identification process is terminated without identifying flowers and autumn leaves. In this case, since the identification by the next sub partial classifier 61 is omitted, the speed of the partial classification process can be increased.
正カウント値が肯定閾値より大きくなければ(S305でNO)、サブ部分識別器61は、識別対象画像が特定のシーンに属すると判断できず、次のS307の処理を行う。   If the positive count value is not greater than the positive threshold value (NO in S305), the sub partial classifier 61 cannot determine that the classification target image belongs to a specific scene, and performs the next process of S307.
サブ部分識別器61は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ(S307でYES)、S309の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても正カウント値が肯定閾値より大きくなることがないので、S309に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより、部分識別処理の速度を速めることができる。   If the sum of the positive count value and the number of remaining partial images is smaller than the positive threshold (YES in S307), the sub partial discriminator 61 proceeds to the process of S309. If the sum of the positive count value and the number of remaining partial images is smaller than the positive threshold value, the positive count value does not become larger than the positive threshold value even if the positive count value is incremented by all the remaining partial images. By proceeding with the process, the remaining partial images are not identified by the support vector machine. Thereby, the speed of the partial identification process can be increased.
サブ部分識別器61がS307でNOと判断した場合、サブ部分識別器61は、次の部分画像の有無を判断する(S308)。なお、本実施形態では、64個に分割された部分画像の全てを順に選択していない。図18において太枠で示された上位10番目までの10個の部分画像だけを順に選択している。このため、10番目の部分画像の識別を終えれば、サブ部分識別器61は、S308において次の部分画像はないと判断する。(この点を考慮して、S307の「残りの部分画像数」も決定される。)
図19は、上位10番目までの10個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率(Precision)を80%程度に設定でき、再現率(Recall)を90%程度に設定でき、精度の高い識別が可能である。
If the sub partial discriminator 61 determines NO in S307, the sub partial discriminator 61 determines whether there is a next partial image (S308). In the present embodiment, not all of the partial images divided into 64 are selected in order. In FIG. 18, only the top 10 partial images indicated by thick frames are selected in order. Therefore, when the identification of the tenth partial image is completed, the sub partial classifier 61 determines in S308 that there is no next partial image. (In consideration of this point, the “number of remaining partial images” in S307 is also determined.)
FIG. 19 is a Recall and Precision graph when an evening scene image is identified using only the top 10 partial images. If an affirmative threshold as shown in the figure is set, the accuracy rate (Precision) can be set to about 80%, the recall rate (Recall) can be set to about 90%, and identification with high accuracy is possible.
本実施形態では、10個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、64個の全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を速めることができる。
また、本実施形態では、夕景部分画像の存在確率の高い上位10番目の部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された10個の部分画像を用いて夕景画像の識別を行うよりも、Recall及びPrecisionをともに高く設定することが可能になる。
また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でS305の判断がYESになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を速めることができる。
In this embodiment, the evening scene image is identified using only 10 partial images. For this reason, in the present embodiment, it is possible to increase the speed of the partial identification process compared to the case where the evening scene image is identified using all 64 partial images.
In this embodiment, the sunset scene image is identified using the top tenth partial image having a high existence probability of the sunset scene partial image. For this reason, in the present embodiment, it is possible to set both Recall and Precision higher than the identification of an evening scene image using 10 partial images extracted by ignoring the existence probability.
In this embodiment, the partial images are selected in descending order of the existence probability of the sunset partial image. As a result, the determination in S305 is likely to be YES at an early stage. For this reason, in the present embodiment, the speed of the partial identification process can be increased as compared with the case where the partial images are selected in the order in which the presence probability level is ignored.
S307においてYESと判断された場合、又は、S308において次の部分画像がないと判断された場合、サブ部分識別器61は、負カウント値が否定閾値よりも大きいか否かを判断する(S309)。この否定閾値は、前述の全体識別処理における否定閾値(図10のS206)とほぼ同様の機能を果たすものなので、詳しい説明は省略する。S309でYESと判断された場合、図10のS207と同様に、否定フラグを立てる。   When it is determined YES in S307, or when it is determined that there is no next partial image in S308, the sub partial discriminator 61 determines whether or not the negative count value is larger than the negative threshold (S309). . Since this negative threshold performs substantially the same function as the negative threshold (S206 in FIG. 10) in the above-described overall identification process, detailed description thereof is omitted. If YES is determined in S309, a negative flag is set as in S207 of FIG.
S302においてNOの場合、S309でNOの場合、又はS310の処理を終えた場合、部分識別器60は、次のサブ部分識別器61の有無を判断する(S311)。夕景部分識別器61Sによる処理を終えた後の場合、サブ部分識別器61として花部分識別器61Fや紅葉部分識別器61Rがまだあるので、部分識別器60は、S311において、次のサブ部分識別器61があると判断する。   In the case of NO in S302, in the case of NO in S309, or when the process of S310 is completed, the partial discriminator 60 determines whether or not there is a next sub partial discriminator 61 (S311). In the case after the processing by the evening scene partial classifier 61S is finished, since the flower partial classifier 61F and the autumnal leaves partial classifier 61R are still present as the sub partial classifier 61, the partial classifier 60 determines the next sub partial classifier in S311. It is determined that there is a container 61.
そして、S306の処理を終えた場合(識別対象画像が特定のシーンに属すると判断された場合)、又は、S311において次のサブ部分識別器61がないと判断された場合(識別対象画像が特定のシーンに属すると判断できなかった場合)、部分識別器60は、部分識別処理を終了する。   Then, when the process of S306 is completed (when it is determined that the identification target image belongs to a specific scene), or when it is determined in S311 that there is no next sub partial classifier 61 (the identification target image is specified). If it cannot be determined that the scene belongs to the scene), the partial discriminator 60 ends the partial discrimination processing.
なお、既に説明した通り、部分識別処理が終了すると、シーン識別部33は、部分識別処理によってシーンの識別ができたか否かを判断する(図8のS106)。このとき、シーン識別部33は、図11の識別対象テーブルを参照し、「肯定」欄に1があるか否かを判断することになる。
部分識別処理によってシーンの識別ができた場合(S106でYES)、統合識別処理が省略される。これにより、シーン識別処理の速度が速くなる。
As already described, when the partial identification process ends, the scene identification unit 33 determines whether or not the scene can be identified by the partial identification process (S106 in FIG. 8). At this time, the scene identification unit 33 refers to the identification target table in FIG. 11 and determines whether or not there is 1 in the “affirmation” column.
When the scene can be identified by the partial identification process (YES in S106), the integrated identification process is omitted. This increases the speed of the scene identification process.
===サポートベクタマシン===
統合識別処理について説明する前に、全体識別処理のサブ識別器51や部分識別処理のサブ部分識別器61において用いられているサポートベクタマシン(SVM)について説明する。
=== Support vector machine ===
Before describing the integrated identification process, the support vector machine (SVM) used in the sub-identifier 51 for the overall identification process and the sub-partial identifier 61 for the partial identification process will be described.
図20Aは、線形サポートベクタマシンによる判別の説明図である。ここでは、2つの特徴量x1、x2によって、学習用サンプルを2次元空間に示している。学習用サンプルは2つのクラスA、Bに分けられている。図中では、クラスAに属するサンプルは丸で示されており、クラスBに属するサンプルは四角で示されている。
学習用サンプルを用いた学習によって、2次元空間を2つに分ける境界が定義される。境界は、<w・x>+b=0で定義される(なお、x=(x1,x2)であり、wは重みベクトルであり、<w・x>はwとxの内積である)。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、判別式f(x)=<w・x>+bを用いて行われる。ある入力x(この入力xは学習用サンプルとは別である)について、f(x)>0であればクラスAに属すると判別され、f(x)<0であればクラスBに属すると判別される。
FIG. 20A is an explanatory diagram of determination by the linear support vector machine. Here, the learning sample is shown in a two-dimensional space by two feature amounts x1 and x2. The learning sample is divided into two classes A and B. In the figure, samples belonging to class A are indicated by circles, and samples belonging to class B are indicated by squares.
A boundary that divides the two-dimensional space into two is defined by learning using the learning sample. The boundary is defined by <w · x> + b = 0 (where x = (x1, x2), w is a weight vector, and <w · x> is an inner product of w and x). However, the boundary is defined by learning using a learning sample so that the margin is maximized. That is, in the case of the figure, the boundary is not a thick dotted line but a thick solid line.
The discrimination is performed using the discriminant f (x) = <w · x> + b. It is determined that a certain input x (this input x is different from the learning sample) belongs to class A if f (x)> 0, and belongs to class B if f (x) <0. Determined.
ここでは2次元空間を用いて説明しているが、これに限られない(つまり、特徴量は2以上でも良い)。この場合、境界は超平面で定義される。   Here, the description is made using a two-dimensional space, but the present invention is not limited to this (that is, the feature amount may be two or more). In this case, the boundary is defined by a hyperplane.
ところで、2つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。   By the way, there are cases where the two classes cannot be separated by a linear function. In such a case, if the determination is performed by the linear support vector machine, the accuracy of the determination result is lowered. Therefore, if the feature quantity of the input space is nonlinearly transformed, that is, if the input space is nonlinearly mapped to a certain feature space, it can be separated by a linear function in the feature space. This is used in the nonlinear support vector machine.
図20Bは、カーネル関数を用いた判別の説明図である。ここでは、2つの特徴量x1、x2によって、学習用サンプルを2次元空間に示している。図20Bの入力空間からの非線形写像が図20Aのような特徴空間になれば、線形関数で2つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図20Bに示す境界になる。この結果、図20Bに示すように、境界は非線形になる。   FIG. 20B is an explanatory diagram of discrimination using a kernel function. Here, the learning sample is shown in a two-dimensional space by two feature amounts x1 and x2. If the nonlinear mapping from the input space of FIG. 20B becomes a feature space as shown in FIG. 20A, it can be separated into two classes by a linear function. If the boundary is defined so that the margin is maximized in this feature space, the inverse mapping of the boundary in the feature space becomes the boundary shown in FIG. 20B. As a result, the boundary becomes nonlinear as shown in FIG. 20B.
本実施形態ではガウスカーネルを利用することにより、判別式f(x)は次式のようになる(なお、Mは特徴量の数であり、Nは学習用サンプルの数(若しくは境界に寄与する学習用サンプルの数)であり、wは重み係数であり、yは学習用サンプルの特徴量であり、xは入力xの特徴量である)。
In this embodiment, by using a Gaussian kernel, the discriminant f (x) becomes as follows (where M is the number of features and N is the number of learning samples (or contributes to the boundary): The number of learning samples), w i is a weighting factor, y j is the feature quantity of the learning sample, and x j is the feature quantity of the input x).
ある入力x(この入力xは学習用サンプルとは別である)について、f(x)>0であればクラスAに属すると判別され、f(x)<0であればクラスBに属すると判別される。また、判別式f(x)の値が大きい値になるほど、入力x(この入力xは学習用サンプルとは別である)がクラスAに属する確率が高くなる。逆に、判別式f(x)の値が小さい値になるほど、入力x(この入力xは学習用サンプルとは別である)がクラスAに属する確率が低くなる。前述の全体識別処理のサブ識別器51や部分識別処理のサブ部分識別器61では、上記のサポートベクタマシンの判別式f(x)の値を用いている。   It is determined that a certain input x (this input x is different from the learning sample) belongs to class A if f (x)> 0, and belongs to class B if f (x) <0. Determined. Further, the larger the value of the discriminant f (x), the higher the probability that the input x (this input x is different from the learning sample) belongs to the class A. On the contrary, the smaller the value of the discriminant f (x), the lower the probability that the input x (this input x is different from the learning sample) belongs to the class A. In the sub-identifier 51 for the overall identification process and the sub-partial identifier 61 for the partial identification process, the value of the discriminant f (x) of the support vector machine is used.
なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果に基づくものである。   An evaluation sample is prepared separately from the learning sample. The above Recall and Precision graphs are based on the identification results for the evaluation samples.
===統合識別処理===
前述の全体識別処理や部分識別処理では、サブ識別器51やサブ部分識別器61における肯定閾値を比較的高めに設定し、Precision(正解率)を高めに設定している。なぜならば、例えば全体識別部の風景識別器51Lの正解率が低く設定されると、風景識別器51Lが紅葉画像を風景画像であると誤識別してしまい、紅葉識別器51Rによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision(正解率)が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器51(又はサブ部分識別器61)に識別されるようになる(例えば紅葉画像が紅葉識別器51R(又は紅葉部分識別器61R)によって識別されるようになる)。
=== Integrated identification processing ===
In the above-described overall identification process and partial identification process, the positive threshold value in the sub-classifier 51 and the sub-classifier 61 is set relatively high, and the Precision (correct answer rate) is set high. This is because, for example, if the accuracy rate of the landscape classifier 51L of the overall classifying unit is set low, the landscape classifier 51L misidentifies the autumnal image as a landscape image, and before the autumnal classifier 51R performs classification. This is because a situation occurs in which the entire identification process ends. In the present embodiment, by setting the Precision (accuracy rate) high, an image belonging to a specific scene is identified by the sub-classifier 51 (or sub-partial classifier 61) of the specific scene ( For example, the autumnal leaves image is identified by the autumnal leaves discriminator 51R (or the autumnal leaf partial discriminator 61R).
但し、全体識別処理や部分識別処理のPrecision(正解率)を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。   However, if the Precision (accuracy rate) of the overall identification process or the partial identification process is set to be high, there is a high possibility that the scene cannot be identified by the overall identification process or the partial identification process. Therefore, in this embodiment, when the scene cannot be identified by the overall identification process and the partial identification process, the integrated identification process described below is performed.
図21は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器51の判別式の値に基づいて、確信度が所定値以上(例えば90%以上)であって、最も確信度の高いシーンを選択する処理である。   FIG. 21 is a flowchart of the integrated identification process. As will be described below, the integrated identification process is based on the discriminant value of each sub-classifier 51 in the overall identification process, and the certainty level is equal to or higher than a predetermined value (for example, 90% or higher). This is a process for selecting a high scene.
まず、統合識別器70は、5つのサブ識別器51の判別式の値に基づいて、正となるシーンを抽出する(S401)。このとき、全体識別処理の際に各サブ識別器51が算出した判別式の値が用いられる。   First, the integrated discriminator 70 extracts a positive scene based on the discriminant values of the five sub discriminators 51 (S401). At this time, the value of the discriminant calculated by each sub classifier 51 during the overall identification process is used.
次に、統合識別器70は、確信度が所定値以上のシーンが存在するか否かを判断する(S402)。ここで、確信度は、識別対象画像が特定シーンに属する確率を示すものであり、判別式の値から求められる。具体的にいうと、統合識別器70には、判別式の値とPrecisionとの関係を示すテーブルが用意されており、このテーブルに基づいて判別式の値に対応するPrecisionを導き出し、このPrecisionの値を確信度としている。なお、所定値は、例えば90%に設定され、全体識別器や部分識別器の肯定閾値によって設定されるPrecision(97.5%)よりも低い値に設定される。但し、確信度はPrecisionでなくてもよく、判別式の値を確信度としても良い。   Next, the integrated discriminator 70 determines whether or not there is a scene with a certainty factor equal to or greater than a predetermined value (S402). Here, the certainty factor indicates the probability that the identification target image belongs to the specific scene, and is obtained from the value of the discriminant. More specifically, the integrated discriminator 70 is provided with a table showing the relationship between the discriminant value and the precision, and a precision corresponding to the discriminant value is derived based on this table. The value is used as confidence. The predetermined value is set to 90%, for example, and is set to a value lower than Precision (97.5%) set by an affirmative threshold of the overall classifier or partial classifier. However, the certainty factor may not be Precision, and the value of the discriminant may be used as the certainty factor.
確信度が所定値以上のシーンが存在する場合(S402でYES)、そのシーンの欄に肯定フラグを立てて(S403)、統合識別処理を終了する。なお、確信度が90%以上のシーンを抽出したときに、複数のシーンが抽出されることはない。あるシーンの確信度が高ければ、必然的に他のシーンの確信度が低くなるからである。   If there is a scene with a certainty level equal to or greater than a predetermined value (YES in S402), an affirmative flag is set in the field for that scene (S403), and the integrated identification process is terminated. Note that when a scene having a certainty factor of 90% or more is extracted, a plurality of scenes are not extracted. This is because if the certainty of a certain scene is high, the certainty of another scene is inevitably low.
一方、確信度が所定値以上のシーンが存在しない場合(S402でNO)、肯定フラグを立てずに、統合識別処理を終了する。これにより、図11の識別対象テーブルの肯定欄において、1のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。   On the other hand, if there is no scene with the certainty level equal to or greater than the predetermined value (NO in S402), the integrated identification process is terminated without setting an affirmative flag. As a result, one scene does not exist in the affirmative column of the identification target table in FIG. That is, it cannot be identified to which scene the identification target image belongs.
なお、既に説明した通り、統合識別処理が終了すると、シーン識別部33は、統合識別処理によってシーンの識別ができたか否かを判断する(図8のS108)。このとき、シーン識別部33は、図11の識別対象テーブルを参照し、「肯定」欄に1があるか否かを判断することになる。S402でYESとの判断の場合、S108の判断もYESになる。一方、S402でNOとの判断の場合、S108の判断もNOになる。   As already described, when the integrated identification process is completed, the scene identification unit 33 determines whether or not the scene has been identified by the integrated identification process (S108 in FIG. 8). At this time, the scene identification unit 33 refers to the identification target table in FIG. 11 and determines whether or not there is 1 in the “affirmation” column. If YES is determined in S402, the determination in S108 is also YES. On the other hand, if NO is determined in S402, the determination in S108 is also NO.
本実施形態では、図8のS108でNOの場合、すなわち図21のS402でNOの場合、S401で抽出されたシーンが、シーン候補として、全て結果記憶部31Bに記憶される。   In the present embodiment, in the case of NO in S108 in FIG. 8, that is, in the case of NO in S402 in FIG. 21, all the scenes extracted in S401 are stored as scene candidates in the result storage unit 31B.
===第1実施形態===
<概要>
前述したように、ユーザは、モード設定ダイヤル2Aによって、撮影モードを設定することができる。そして、デジタルスチルカメラ2は、設定された撮影モードや撮影時の測光結果等に基づいて、撮影条件(露光時間、ISO感度等)を決定し、決定した撮影条件にて被写体を撮影する。撮影後、デジタルスチルカメラ2は、撮影時の撮影条件を示す撮影データを、画像データとともに、画像ファイルとしてメモリカード6に保存する。
=== First Embodiment ===
<Overview>
As described above, the user can set the shooting mode with the mode setting dial 2A. The digital still camera 2 determines shooting conditions (exposure time, ISO sensitivity, etc.) based on the set shooting mode, photometry results at the time of shooting, and the like, and shoots the subject under the determined shooting conditions. After shooting, the digital still camera 2 stores shooting data indicating shooting conditions at the time of shooting together with the image data in the memory card 6 as an image file.
ところで、ユーザが撮影モードを設定し忘れたために、撮影条件に不適切な撮影モードが設定されたまま、撮影が行われることがある。例えば、夜景モードが設定されたまま、日中の風景が撮影されることがある。この場合、画像ファイルの画像データは日中の風景の画像であるにも関わらず、撮影データには夜景モードを示すデータが記憶されることになる(例えば図5の撮影シーンタイプデータが「3」になる)。このような場合、不適切な撮影シーンタイプデータに基づいて画像データが補正されてしまうと、ユーザにとって望ましくない画質の印刷が行われてしまう。   By the way, since the user forgot to set the shooting mode, shooting may be performed while the shooting mode inappropriate for the shooting condition is set. For example, a daytime landscape may be shot while the night view mode is set. In this case, although the image data of the image file is an image of a daytime landscape, data indicating the night view mode is stored in the shooting data (for example, the shooting scene type data in FIG. 5 is “3”). "become). In such a case, if the image data is corrected based on inappropriate shooting scene type data, printing with an image quality undesirable for the user is performed.
一方、識別処理(顔識別処理及びシーン識別処理)の結果に基づいて画像データを補正しても、ユーザの望む画質の印刷が得られないこともある。例えば、識別処理において誤識別が生じる場合、ユーザの望む画質の印刷が得られないこともある。また、ユーザが特殊な効果を狙って設定した撮影モードを否定して、プリンタによる識別結果に基づいて画像データを補正した場合にも、ユーザの意図通りの印刷を行えなくなる。   On the other hand, even if the image data is corrected based on the result of the identification processing (face identification processing and scene identification processing), printing with the image quality desired by the user may not be obtained. For example, when an erroneous identification occurs in the identification process, there is a case where a print having an image quality desired by the user cannot be obtained. Further, even when the shooting mode set by the user for a special effect is denied and the image data is corrected based on the identification result by the printer, printing as intended by the user cannot be performed.
そこで、本実施形態では、ユーザの確認を促すためのオーダーシートを印刷することにしている。具体的には、後述するように、識別処理結果と、画像ファイルの付加データのシーン情報(撮影シーンタイプデータや撮影モードデータ)の示すシーンとが不一致の場合、オーダーシートが印刷され、ユーザはオーダーシート上のマークを鉛筆で塗り潰し、スキャナ部がオーダーシートを読み取って、プリンタ4は、読み取り結果に基づいて補正処理を行い、印刷を行う。   Therefore, in the present embodiment, an order sheet for prompting user confirmation is printed. Specifically, as will be described later, when the identification processing result and the scene indicated by the scene information (shooting scene type data or shooting mode data) of the additional data of the image file do not match, the order sheet is printed, and the user The mark on the order sheet is filled with a pencil, the scanner unit reads the order sheet, and the printer 4 performs correction processing based on the read result, and performs printing.
<オーダーシートの説明>
図22は、第1実施形態のダイレクトプリントの処理の流れを示すフロー図である。各処理は、メモリ23に記憶されたプログラムに基づいてプリンタ側コントローラ20によって実現される。図23A〜図23Cは、ダイレクトプリントの様子の説明図である。図23Aに示すように、メモリカード6がスロット21に挿入されると、プリンタ側コントローラ20は、ダイレクトプリントの処理を開始する。
<Description of order sheet>
FIG. 22 is a flowchart showing the flow of direct print processing according to the first embodiment. Each process is realized by the printer-side controller 20 based on a program stored in the memory 23. FIG. 23A to FIG. 23C are explanatory diagrams of the state of direct printing. As shown in FIG. 23A, when the memory card 6 is inserted into the slot 21, the printer-side controller 20 starts direct print processing.
まず、プリンタ側コントローラ20は、顔識別部32による顔識別処理、及び、シーン識別部33によるシーン識別処理を行う(S501)。これらの処理については既に説明したので、説明を省略する。   First, the printer-side controller 20 performs face identification processing by the face identification unit 32 and scene identification processing by the scene identification unit 33 (S501). Since these processes have already been described, a description thereof will be omitted.
次に、プリンタ側コントローラ20は、付加データの示すシーンと、識別処理結果の示すシーンとを比較可能かどうか判断する(S502)。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。   Next, the printer-side controller 20 determines whether the scene indicated by the additional data can be compared with the scene indicated by the identification processing result (S502). When a plurality of scene candidates are included in the identification processing result, determination is made using the scene candidate with the highest certainty factor.
なお、次のS503において不一致の判断に撮影シーンタイプデータを用いる場合と、MakerNoteデータである撮影モードデータを用いる場合とで、S502の判断方法は異なる。
S503において撮影シーンタイプデータを用いる場合、撮影シーンタイプデータが「人物」「風景」及び「夜景」のいずれでもないとき、例えば撮影シーンタイプデータが「0」のとき(図5参照)、S503において識別処理結果との比較ができないので、S502の判断はNOとなる。また、識別処理結果が「人物」「風景」及び「夜景」のいずれでもないとき、S503において撮影シーンタイプデータとの比較ができないので、S502の判断はNOとなる。例えば識別処理結果が「夕景」のとき、S502の判断はNOとなる。
S503において撮影モードデータを用いる場合、撮影モードデータが「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、例えば撮影モードデータが「3(接写)」のとき(図5参照)、識別処理結果との比較ができないので、S502の判断はNOとなる。また、識別処理結果が「人物」「風景」「夕景」及び「夜景」のいずれでもないとき、撮影モードデータとの比較ができないので、S502の判断はNOとなる。
Note that the determination method in S502 is different between the case where shooting scene type data is used for determination of mismatch in the next S503 and the case where shooting mode data which is MakerNote data is used.
When shooting scene type data is used in S503, when the shooting scene type data is neither “person”, “landscape”, or “night view”, for example, when shooting scene type data is “0” (see FIG. 5), in S503. Since the comparison with the identification processing result cannot be performed, the determination in S502 is NO. If the identification processing result is neither “person”, “landscape”, or “night view”, the comparison with the photographic scene type data cannot be made in S503, and therefore the determination in S502 is NO. For example, when the identification processing result is “evening scene”, the determination in S502 is NO.
When shooting mode data is used in S503, when the shooting mode data is not “person”, “landscape”, “evening scene”, or “night scene”, for example, when the shooting mode data is “3 (close-up)” (see FIG. 5). Since the comparison with the identification processing result cannot be performed, the determination in S502 is NO. When the identification processing result is neither “person”, “landscape”, “evening scene”, or “night scene”, the comparison with the shooting mode data is impossible, and the determination in S502 is NO.
S502においてYESの場合、プリンタ側コントローラ20は、付加データ(撮影シーンタイプデータ、撮影モードデータ)の示すシーンと、識別処理結果の示すシーンとが不一致か否かを判断する(S503)。識別処理結果に複数のシーン候補が含まれる場合には、確信度の最も高いシーン候補を用いて判断する。   In the case of YES in S502, the printer-side controller 20 determines whether or not the scene indicated by the additional data (shooting scene type data and shooting mode data) and the scene indicated by the identification processing result do not match (S503). When a plurality of scene candidates are included in the identification processing result, determination is made using the scene candidate with the highest certainty factor.
S503において不一致の場合(S503でYES)、プリンタ側コントローラ20は、印刷機構10を制御して、印刷機構10にオーダーシートを印刷させる(S504、図23B参照)。このオーダーシートは、付加データ(撮影シーンタイプデータ、撮影モードデータ)の示すシーンと、識別処理結果の示すシーンとが不一致である場合に、いずれのシーンに基づいて画像データを補正するかをユーザに確認させるための印刷物である。   If there is a mismatch in S503 (YES in S503), the printer-side controller 20 controls the printing mechanism 10 to cause the printing mechanism 10 to print the order sheet (S504, see FIG. 23B). In this order sheet, when the scene indicated by the additional data (shooting scene type data and shooting mode data) and the scene indicated by the identification processing result do not match, the user determines which scene the image data is to be corrected based on. It is a printed matter to make you confirm.
図24は、第1実施形態のオーダーシートの説明図である。
このオーダーシート9には、画像データの示す画像が2つ並べて印刷されている。左側の画像901は、付加データの示すシーンに基づいて補正された画像であり、ここでは「風景」モードによる補正が施されている(図7参照)。一方、右側の画像902は、識別処理結果のシーンに基づいて補正された画像であり、ここでは「人物」モードによる補正が施されている(図7参照)。このオーダーシートでは、異なる補正モードにて補正された2つの画像が並べて印刷されるので、ユーザは、補正処理の効果を比較しやすくなる。また、液晶ディスプレイである表示部16で画像を評価する場合と比べて、実際に印刷された画像に基づいて補正処理の効果を確認できるので、ユーザは、希望に沿った印刷画像を手に入れやすい。また、右側の画像902の下には、識別処理結果の確信度も示される。オーダーシート9に印刷される画像は大きくないので、確信度を画像と一緒に印刷することによって、ユーザの判断材料を補っている。
FIG. 24 is an explanatory diagram of an order sheet according to the first embodiment.
On the order sheet 9, two images indicated by the image data are printed side by side. The image 901 on the left is an image corrected based on the scene indicated by the additional data, and is corrected in the “landscape” mode here (see FIG. 7). On the other hand, the image 902 on the right side is an image that has been corrected based on the scene of the identification processing result, and is corrected in the “person” mode here (see FIG. 7). In this order sheet, since two images corrected in different correction modes are printed side by side, the user can easily compare the effects of the correction processing. In addition, since the effect of the correction process can be confirmed based on the actually printed image as compared with the case where the image is evaluated by the display unit 16 that is a liquid crystal display, the user can obtain the printed image according to the desire. Cheap. In addition, the certainty of the identification processing result is also shown below the right image 902. Since the image printed on the order sheet 9 is not large, the user's judgment material is supplemented by printing the certainty factor together with the image.
各画像の下には、印刷枚数を指示するための楕円マークが印刷されている。ユーザは、希望に沿った補正処理が施された画像の下にある楕円マークを塗り潰すことによって、2つの補正処理のうちのどちらを選択するかをプリンタ4に指示することができる。例えば、「人物」モードにより補正された画像を1枚印刷することをプリンタ4に指示する場合、ユーザは、右側の画像902の下の「1」の楕円マークを塗り潰せばよい。両方の画像の印刷を指示することも可能である。   An ellipse mark for instructing the number of prints is printed below each image. The user can instruct the printer 4 to select which of the two correction processes by painting an ellipse mark under the image that has been subjected to the correction process according to the user's desire. For example, when instructing the printer 4 to print one image corrected in the “person” mode, the user may fill in the “1” ellipse mark under the right image 902. It is also possible to instruct printing of both images.
なお、オーダーシート9には、位置合わせマーク911も印刷される。この位置合わせマーク911は、オーダーシート9をプリンタ4のスキャナ部80の原稿台ガラスに置くときのオーダーシート9の向きを示すものである。すなわち、ユーザは、プリンタ4のスキャナ部80の原稿台ガラスにオーダーシート9を置くときに(図23C参照)、位置合わせマーク911が原稿台ガラスの原点位置の方へ向くようにして、オーダーシート9をスキャナ部80にセットする。また、この位置合わせマーク911は、スキャナ部80にオーダーシート9が斜めに置かれたときのスキュー検出にも用いられる。
また、オーダーシート9には、オーダーシートの属性を示す属性マーク912も印刷される。オーダーシートの属性には、オーダーシートの全印刷枚数、そのオーダーシートの頁番号、オーダーシートの種類などが含まれる。なお、この属性マーク912は、位置合わせマーク911と共に、スキュー検出にも用いられる。
また、ユーザは、オーダーシート9の紙種選択領域913において、紙種を選択することができる。また、ユーザは、オーダーシート9の縁有無選択領域914において、印刷用紙の縁に余白を作らずに画像を印刷する縁なし印刷を行うか、印刷用紙の縁に余白を空けて画像を印刷する縁なし印刷を行うかを選択することができる。
Note that an alignment mark 911 is also printed on the order sheet 9. The alignment mark 911 indicates the orientation of the order sheet 9 when the order sheet 9 is placed on the platen glass of the scanner unit 80 of the printer 4. That is, when the user places the order sheet 9 on the platen glass of the scanner unit 80 of the printer 4 (see FIG. 23C), the order sheet is set so that the alignment mark 911 is directed toward the origin position of the platen glass. 9 is set in the scanner unit 80. The alignment mark 911 is also used for skew detection when the order sheet 9 is placed obliquely on the scanner unit 80.
An attribute mark 912 indicating the attribute of the order sheet is also printed on the order sheet 9. The attributes of the order sheet include the total number of prints of the order sheet, the page number of the order sheet, the order sheet type, and the like. The attribute mark 912 is used for skew detection together with the alignment mark 911.
Further, the user can select the paper type in the paper type selection area 913 of the order sheet 9. Further, in the border presence / absence selection area 914 of the order sheet 9, the user performs borderless printing in which an image is printed without creating a margin on the edge of the printing paper, or the image is printed with a margin on the edge of the printing paper. It is possible to select whether to perform borderless printing.
このように、ユーザは、オーダーシート9に印刷された楕円マークを鉛筆で選択的に塗り潰すことによって、希望する印刷条件をプリンタに指示することができる。オーダーシート9への記入後、ユーザは、図23Cに示すように、スキャナ部80の原稿台ガラスにオーダーシート9をセットする。そして、オーダーシート9をスキャナ部80へセットした後、ユーザは、パネル部15の入力部17を操作して(例えば、スキャナボタンを押して)、スキャナ部80にオーダーシート9を読み取らせる(S505でYES)。   In this way, the user can instruct the printer of desired printing conditions by selectively painting the oval mark printed on the order sheet 9 with a pencil. After filling in the order sheet 9, the user sets the order sheet 9 on the platen glass of the scanner unit 80 as shown in FIG. 23C. Then, after setting the order sheet 9 to the scanner unit 80, the user operates the input unit 17 of the panel unit 15 (for example, by pressing a scanner button) to cause the scanner unit 80 to read the order sheet 9 (in S505). YES).
プリンタ側コントローラ20は、スキャナ部80からオーダーシート9の画像データを取得し、その画像データを解析し、ユーザの塗り潰したマークを識別する(S506)。そして、プリンタ側コントローラ20は、ユーザの塗り潰したマークに従って、ユーザの選択に応じた補正モードにて画像データを補正する(S507)。例えば、プリンタ側コントローラ20は、オーダーシートを読み取って取得した画像データに基づいて右側の画像902の下の「1」の楕円マークが塗り潰されていることを識別すれば、ダイレクトプリントの対象となる画像ファイルの画像データを「人物」モードにより補正する(図7参照)。   The printer-side controller 20 acquires the image data of the order sheet 9 from the scanner unit 80, analyzes the image data, and identifies the user's filled mark (S506). Then, the printer-side controller 20 corrects the image data in the correction mode according to the user's selection according to the user's filled mark (S507). For example, if the printer-side controller 20 identifies that the oval mark “1” under the right image 902 is filled based on the image data obtained by reading the order sheet, the printer-side controller 20 becomes a target for direct printing. The image data of the image file is corrected in the “person” mode (see FIG. 7).
なお、S502においてNOの場合には、S503において比較ができないので、S507へ処理が進む。また、S503においてNOの場合、ユーザへの確認が不要なので、S507へ処理が進む。
S507において、プリンタ側コントローラ20は、所定の補正モードにて画像データを補正する。S506においてユーザの塗り潰した楕円マークを識別できれば、プリンタ側コントローラ20は、ユーザの選択したシーンに基づいて、画像データを補正する。また、S502又はS503においてNOの場合、プリンタ側コントローラ20は、識別処理結果のシーンに基づいて、画像データを補正する。
そして、画像補正処理後、プリンタ側コントローラ20は、補正された画像データに基づいて、画像を印刷する(S508)。これにより、適切な画質の印刷画像が得られる。
If NO in S502, the comparison cannot be made in S503, and the process proceeds to S507. If NO in S503, confirmation with the user is unnecessary, and the process proceeds to S507.
In step S507, the printer-side controller 20 corrects the image data in a predetermined correction mode. If the oval mark painted by the user can be identified in S506, the printer-side controller 20 corrects the image data based on the scene selected by the user. If NO in S502 or S503, the printer-side controller 20 corrects the image data based on the scene of the identification processing result.
After the image correction process, the printer-side controller 20 prints an image based on the corrected image data (S508). Thereby, a print image with an appropriate image quality can be obtained.
===第2実施形態===
前述の第1実施形態では、1つの画像データに対して、付加データの示すシーンに基づいて補正された画像と、識別処理結果のシーンに基づいて補正された画像の両方を、オーダーシートに印刷している。これに対し、第2実施形態では、1つの画像データに対して、1つの画像をオーダーシートに印刷している。
また、前述の第1実施形態では、ダイレクトプリントの対象となる画像ファイルが1つであるが、第2実施形態では、複数の画像ファイルをダイレクトプリントの対象にしている。
=== Second Embodiment ===
In the first embodiment described above, for one image data, both an image corrected based on the scene indicated by the additional data and an image corrected based on the scene of the identification processing result are printed on the order sheet. is doing. In contrast, in the second embodiment, one image is printed on an order sheet for one image data.
Further, in the first embodiment described above, there is one image file to be directly printed, but in the second embodiment, a plurality of image files are targeted for direct printing.
図25は、第2実施形態のダイレクトプリントの処理の流れを示すフロー図である。各処理は、メモリ23に記憶されたプログラムに基づいてプリンタ側コントローラ20によって実現される。図23Aに示すように、メモリカード6がスロット21に挿入されると、プリンタ側コントローラ20は、ダイレクトプリントの処理を開始する。なお、本実施形態では、メモリカード6には複数の画像ファイルが記憶されている。   FIG. 25 is a flowchart showing the flow of direct print processing according to the second embodiment. Each process is realized by the printer-side controller 20 based on a program stored in the memory 23. As shown in FIG. 23A, when the memory card 6 is inserted into the slot 21, the printer-side controller 20 starts direct print processing. In the present embodiment, the memory card 6 stores a plurality of image files.
まず、プリンタ側コントローラ20は、顔識別部32による顔識別処理、及び、シーン識別部33によるシーン識別処理を行う(S601)。そして、プリンタ側コントローラ20は、画像ファイルの番号と、顔識別処理やシーン識別処理の処理結果とを対応付けてメモリ23に記憶する(S602)。プリンタ側コントローラ20は、これらの処理を全ての画像ファイルに対して行う(S601〜S603)。全ての画像ファイルに対して識別処理を行った後、プリンタ側コントローラ20は、印刷機構10を制御して、印刷機構10にオーダーシートを印刷させる(S504、図23B参照)。   First, the printer-side controller 20 performs face identification processing by the face identification unit 32 and scene identification processing by the scene identification unit 33 (S601). Then, the printer-side controller 20 associates the image file number with the processing results of the face identification process and the scene identification process and stores them in the memory 23 (S602). The printer-side controller 20 performs these processes on all image files (S601 to S603). After performing identification processing on all image files, the printer-side controller 20 controls the printing mechanism 10 to cause the printing mechanism 10 to print the order sheet (S504, see FIG. 23B).
図26は、第2実施形態のオーダーシートの説明図である。
このオーダーシートには、9個の画像915が印刷されている(図では四角の枠しか描かれていないが、実際には、この枠の中に画像が印刷される)。この9個の画像915は、ダイレクトプリントの対象となる複数の画像ファイルのうちの9個の画像ファイルの画像である。各画像を印刷できるスペースが小さいため、画像ファイルのサムネイル画像データ(図3参照)を用いて各画像915が印刷されている。また、印刷される画像が小さいのでユーザが画質を評価することは難しいため、サムネイル画像データには特に画像補正は施されていない。各画像915の下には、画像ファイルの番号が示されている。以下の説明では、画像ファイルの番号の下一桁の数字を用いて画像を特定する。例えば、オーダーシートの9個の画像のうち、左上の画像のことを「1番目の画像」と呼び、この画像に対応する画像ファイルのことを「1番目の画像ファイル」と呼ぶ。
FIG. 26 is an explanatory diagram of an order sheet according to the second embodiment.
Nine images 915 are printed on this order sheet (in the figure, only a square frame is drawn, but in reality, an image is printed in this frame). The nine images 915 are images of nine image files among a plurality of image files to be directly printed. Since the space in which each image can be printed is small, each image 915 is printed using thumbnail image data (see FIG. 3) of the image file. In addition, since the image to be printed is small, it is difficult for the user to evaluate the image quality. Therefore, the thumbnail image data is not particularly subjected to image correction. Below each image 915, the number of the image file is shown. In the following description, an image is specified using the last digit of the image file number. For example, of the nine images on the order sheet, the upper left image is called “first image”, and the image file corresponding to this image is called “first image file”.
付加データの示すシーンと識別処理結果のシーンとが不一致の場合、プリンタ側コントローラ20は、画像915の外枠を太枠にして印刷される。一方、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が一致している場合には、プリンタ側コントローラ20は、画像915の外枠を太枠せずに印刷する。これにより、ユーザは、画像915の外枠が太枠になっているか否かによって、どの画像において2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致であるかを容易に知ることができる。   If the scene indicated by the additional data and the scene of the identification processing result do not match, the printer-side controller 20 prints with the outer frame of the image 915 being a thick frame. On the other hand, if the two scenes (the scene indicated by the additional data and the scene of the identification processing result) match, the printer-side controller 20 prints the outer frame of the image 915 without making a thick frame. Thereby, the user can easily know in which image the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match depending on whether or not the outer frame of the image 915 is a thick frame. be able to.
各画像915の下には、印刷枚数を指示するための楕円マークが印刷されている。さらにその下には、補正モードを指示するための補正指示領域916が設けられている。   Below each image 915, an ellipse mark for instructing the number of prints is printed. Further below that, a correction instruction area 916 for instructing a correction mode is provided.
補正指示領域916には、1番目の画像のように3種類の補正モードを示すものと、2番目の画像のように2種類の補正モードを示すものとがある。3種類の補正モードを示す補正指示領域916の画像は、付加データの示すシーンと識別処理結果のシーンとが不一致である画像である。また、2種類の補正モードを示す補正指示領域916の画像は、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が一致している画像である。つまり、ユーザは、補正指示領域916の中の楕円マークの数によって、どの画像において2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致であるかを容易に知ることができる。   The correction instruction area 916 includes an area indicating three types of correction modes as in the first image and an area indicating two types of correction modes as in the second image. The image of the correction instruction area 916 indicating the three types of correction modes is an image in which the scene indicated by the additional data and the scene of the identification processing result do not match. Further, the image of the correction instruction area 916 indicating the two types of correction modes is an image in which two scenes (the scene indicated by the additional data and the scene of the identification processing result) match. That is, the user can easily know in which image the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match, according to the number of elliptical marks in the correction instruction area 916.
2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致である場合、プリンタ側コントローラ20は、補正指示領域916に、3個の楕円マークを印刷する。この3個の楕円マークは、左から順に、付加データの示すシーンを指示するための楕円マーク、識別処理結果のシーンを指示するための楕円マーク、及び、補正を希望しないことを指示するための楕円マークである。また、ユーザが補正モードを選択しなかったときに識別処理結果のシーンに基づいて補正処理を行うことをユーザに示すため、補正指示領域916の識別処理結果のシーンを指示するための楕円マークは太線で印刷されている。例えば、1番目の画像において、印刷枚数を指示する楕円マークは塗り潰したが、補正モードを指示するための楕円マークは塗り潰さなかった場合には、「人物」モードにて補正処理が行われることになる。   When the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match, the printer-side controller 20 prints three ellipse marks in the correction instruction area 916. The three ellipse marks are, in order from the left, an ellipse mark for designating the scene indicated by the additional data, an ellipse mark for designating the scene of the identification processing result, and an instruction not to desire correction. It is an ellipse mark. Further, in order to indicate to the user that the correction process is performed based on the scene of the identification process result when the user does not select the correction mode, the ellipse mark for indicating the scene of the identification process result in the correction instruction area 916 is Printed with bold lines. For example, in the first image, when the ellipse mark for instructing the number of prints is filled but the ellipse mark for instructing the correction mode is not filled, correction processing is performed in the “person” mode. Become.
2つのシーン(付加データの示すシーンと識別処理結果のシーン)が一致している場合、プリンタ側コントローラ20は、補正指示領域916に、2個の楕円マークを印刷する。この2個の楕円マークは、左から順に、識別処理結果のシーン(付加データの示すシーンでもある)を指示するための楕円マーク、及び、補正を希望しないことを指示するための楕円マークである。また、ユーザが補正モードを選択しなかったときに識別処理結果のシーンに基づいて補正処理を行うことを示すため、補正指示領域916の識別処理結果のシーンを指示するための楕円マークは太線で印刷されている。   When the two scenes (the scene indicated by the additional data and the scene of the identification processing result) match, the printer-side controller 20 prints two ellipse marks in the correction instruction area 916. The two ellipse marks are an ellipse mark for instructing the scene of the identification processing result (also a scene indicated by the additional data) and an ellipse mark for instructing that correction is not desired in order from the left. . Further, in order to indicate that the correction processing is performed based on the scene of the identification processing result when the user does not select the correction mode, the ellipse mark for indicating the scene of the identification processing result in the correction instruction area 916 is a thick line. It is printed.
図中のオーダーシートでは、1、4、5及び9番目の画像915の外枠が太線で印刷されている。また、1、4、5及び9番目の画像915の補正指示領域916には3個の楕円マークが印刷されている。このため、1、4、5及び9番目の画像ファイルでは、付加データのシーンと識別対象のシーンとが不一致であることが分かる。一方、2、3、6〜8番目の画像915の外枠は太線で印刷されていない。また、2、3、6〜8番目の画像915の補正指示領域916には2個の楕円マークしか印刷されていない。このため、2、3、6〜8番目の画像ファイルでは、付加データのシーンと識別対象のシーンとが一致していることが分かる。   In the order sheet in the figure, the outer frames of the first, fourth, fifth and ninth images 915 are printed with bold lines. In addition, three ellipse marks are printed in the correction instruction area 916 of the first, fourth, fifth and ninth images 915. For this reason, in the first, fourth, fifth and ninth image files, it can be seen that the scene of the additional data and the scene to be identified do not match. On the other hand, the outer frames of the second, third, and sixth to eighth images 915 are not printed with bold lines. Further, only two ellipse marks are printed in the correction instruction area 916 of the second, third, and sixth to eighth images 915. For this reason, in the second, third, and sixth to eighth image files, it can be seen that the scene of the additional data matches the scene to be identified.
そして、第1実施形態と同様に、ユーザは、オーダーシート9に印刷された楕円マークを鉛筆で選択的に塗り潰すことによって、希望する印刷条件をプリンタに指示することができる。オーダーシート9への記入後、ユーザは、図23Cに示すように、スキャナ部80の原稿台ガラスにオーダーシート9をセットする。そして、オーダーシート9をスキャナ部80へセットした後、ユーザは、パネル部15の入力部17を操作して(例えば、スキャナボタンを押して)、スキャナ部80にオーダーシート9を読み取らせる(S605でYES)。   As in the first embodiment, the user can instruct the printer of desired printing conditions by selectively painting the oval mark printed on the order sheet 9 with a pencil. After filling in the order sheet 9, the user sets the order sheet 9 on the platen glass of the scanner unit 80 as shown in FIG. 23C. Then, after setting the order sheet 9 to the scanner unit 80, the user operates the input unit 17 of the panel unit 15 (for example, by pressing a scanner button) to cause the scanner unit 80 to read the order sheet 9 (in S605). YES).
プリンタ側コントローラ20は、スキャナ部80からオーダーシート9の画像データを取得し、その画像データを解析し、ユーザの塗り潰したマークを識別する(S606)。そして、プリンタ側コントローラ20は、ユーザの塗り潰したマークに従って、ユーザの選択に応じた補正モードにて画像データを補正する(S607)。そして、画像補正処理後、プリンタ側コントローラ20は、補正された画像データに基づいて、画像を印刷する(S608)。これにより、適切な画質の印刷画像が得られる。   The printer-side controller 20 acquires the image data of the order sheet 9 from the scanner unit 80, analyzes the image data, and identifies the user's filled mark (S606). Then, the printer-side controller 20 corrects the image data in the correction mode according to the user's selection according to the user's filled mark (S607). After the image correction process, the printer-side controller 20 prints an image based on the corrected image data (S608). Thereby, a print image with an appropriate image quality can be obtained.
===第3実施形態===
第3実施形態では、付加データのシーンと識別処理結果のシーンが不一致となる画像ファイルの画像しかオーダーシートに印刷せず、不一致ではなかった画像ファイルについては先に印刷を行う。つまり、第2実施形態と比較すると、オーダーシートへの印刷対象となる画像ファイルが異なり、また、印刷処理の開始のタイミングが異なる。
=== Third Embodiment ===
In the third embodiment, only an image of an image file in which the scene of the additional data and the scene of the identification processing result do not match is printed on the order sheet, and the image file that does not match is printed first. That is, as compared with the second embodiment, the image file to be printed on the order sheet is different, and the timing of starting the printing process is different.
以下の説明では、ダイレクトプリントの対象は、1番目〜9番目の画像ファイルであることにする。また、第2実施形態と同様に、1、4、5及び9番目の画像ファイルでは付加データのシーンと識別対象のシーンとが不一致であり、2、3、6〜8番目の画像ファイルでは付加データのシーンと識別対象のシーンとが一致していることにする。   In the following description, it is assumed that the objects of direct printing are the first to ninth image files. Similarly to the second embodiment, the additional data scene and the scene to be identified do not match in the first, fourth, fifth and ninth image files, and the second, third, sixth to eighth image files are added. It is assumed that the data scene and the scene to be identified match.
図27は、第3実施形態のダイレクトプリントの処理の流れを示すフロー図である。各処理は、メモリ23に記憶されたプログラムに基づいてプリンタ側コントローラ20によって実現される。   FIG. 27 is a flowchart showing the flow of direct print processing according to the third embodiment. Each process is realized by the printer-side controller 20 based on a program stored in the memory 23.
まず、プリンタ側コントローラ20は、ダイレクトプリントの対象となる複数の画像ファイルから1番目の画像ファイルを取得し、顔識別処理及びシーン識別処理を行う(S701)。これらの処理については既に説明したので、説明を省略する。   First, the printer-side controller 20 acquires a first image file from a plurality of image files to be subjected to direct printing, and performs face identification processing and scene identification processing (S701). Since these processes have already been described, a description thereof will be omitted.
次に、プリンタ側コントローラ20は、付加データ(撮影シーンタイプデータ、撮影モードデータ)の示すシーンと、識別処理結果の示すシーンとが不一致か否かを判断する(S702)。この判断についても、既に説明したので、説明を省略する。   Next, the printer-side controller 20 determines whether or not the scene indicated by the additional data (shooting scene type data and shooting mode data) is inconsistent with the scene indicated by the identification processing result (S702). Since this determination has already been described, the description thereof will be omitted.
S702において不一致の場合(YES)、その画像ファイルの番号と、識別処理結果等をメモリ23に記憶する(S704)。そして、S705へ処理が進む。   If they do not match in S702 (YES), the number of the image file, the identification processing result, etc. are stored in the memory 23 (S704). Then, the process proceeds to S705.
S702において不一致ではない場合(NO)、プリンタ側コントローラ20は印刷ジョブ(以下、単にジョブという)を作成する(S703)。このときのジョブの内容は、画像データを識別処理結果のシーンに基づいて補正し、補正された画像データに基づいて印刷処理を行うことである。プリンタ側コントローラ20は、複数のジョブが蓄積されていれば、優先順位に従ってジョブを順に実行する。ジョブが実行されると、そのジョブの内容に従って、画像データが所定のシーン(ここでは識別処理結果のシーン)に基づいて補正され、補正された画像データに基づいて印刷処理が行われる。なお、プリンタ側コントローラ20は、ジョブを実行する間も、図27の各処理を並列して行う。   If there is no mismatch in S702 (NO), the printer-side controller 20 creates a print job (hereinafter simply referred to as a job) (S703). The content of the job at this time is to correct the image data based on the scene of the identification processing result, and to perform the printing process based on the corrected image data. If a plurality of jobs are accumulated, the printer-side controller 20 executes the jobs in order according to the priority order. When the job is executed, the image data is corrected based on a predetermined scene (here, a scene as a result of the identification process) according to the contents of the job, and a printing process is performed based on the corrected image data. Note that the printer-side controller 20 performs the processes in FIG. 27 in parallel while executing a job.
1番目の画像ファイルに対してS702においてYESと判断されると、プリンタ側コントローラ20は、画像ファイルの番号と、識別処理結果(ここでは「風景」、複数のシーン候補があれば、それらのシーン候補)をメモリ23に記憶することになる(S704)。   If YES is determined in step S702 for the first image file, the printer-side controller 20 determines the number of the image file, the identification processing result (here, “landscape”, if there are a plurality of scene candidates, those scenes. (Candidate) is stored in the memory 23 (S704).
次に、まだ2番目〜9番目の画像ファイルが残っているのでS705でNOと判断され、2番目の画像ファイルに対してS701の処理が行われる。   Next, since the second to ninth image files still remain, NO is determined in S705, and the processing of S701 is performed on the second image file.
2番目の画像ファイルにおいて、S702でNOと判断されると、プリンタ側コントローラ20は、2番目の画像ファイルのジョブを作成する(S703)。このとき、他のジョブがないので、ジョブの作成後にすぐにそのジョブが実行される。すなわち、2番目の画像ファイルの画像データが補正処理され、補正された画像データに基づいて印刷処理が開始される。   If it is determined NO in S702 for the second image file, the printer-side controller 20 creates a job for the second image file (S703). At this time, since there is no other job, the job is executed immediately after the job is created. That is, the image data of the second image file is corrected, and the printing process is started based on the corrected image data.
このようにして、残りの3番目〜9番目の画像ファイルに対しても、同様にS701〜S705の処理が行われる。なお、プリンタ側コントローラ20は、2番目の画像ファイルのジョブを実行する間に、3番目の画像ファイルに対するS701〜S705の処理を並列して行うことになる。   In this way, the processes of S701 to S705 are similarly performed on the remaining third to ninth image files. Note that the printer-side controller 20 performs the processes of S701 to S705 on the third image file in parallel while executing the job of the second image file.
9番目の画像ファイルに対してS704の処理を行った後、残りの画像ファイルがないので、プリンタ側コントローラ20は、S705においてYESと判断する。そして、プリンタ側コントローラ20は、オーダーシートを印刷する(S706)。   After the process of S704 is performed on the ninth image file, there is no remaining image file, so the printer-side controller 20 determines YES in S705. Then, the printer-side controller 20 prints the order sheet (S706).
図28は、第3実施形態のオーダーシートの説明図である。
このオーダーシートには、4個の画像916が印刷されている(図では四角の枠しか描かれていないが、実際には、この枠の中に画像が印刷される)。プリンタ側コントローラ20は、S704で記憶したデータに基づいて、どの画像をオーダーシートに印刷すべきかを判断する。オーダーシートに印刷された4個の画像916は、S702において付加データ(撮影シーンタイプデータ、撮影モードデータ)の示すシーンと、識別処理結果の示すシーンとが不一致であると判断された1、4、5、9番目の画像である。
FIG. 28 is an explanatory diagram of an order sheet according to the third embodiment.
On this order sheet, four images 916 are printed (in the figure, only a square frame is drawn, but actually, an image is printed in this frame). The printer-side controller 20 determines which image should be printed on the order sheet based on the data stored in S704. In the four images 916 printed on the order sheet, it is determined in S702 that the scene indicated by the additional data (shooting scene type data, shooting mode data) and the scene indicated by the identification processing result are inconsistent. The fifth and ninth images.
そして、第2実施形態と同様に、ユーザは、オーダーシート9に印刷された楕円マークを鉛筆で選択的に塗り潰すことによって、希望する印刷条件をプリンタに指示することができる。オーダーシート9への記入後、ユーザは、図23Cに示すように、スキャナ部80の原稿台ガラスにオーダーシート9をセットする。そして、オーダーシート9をスキャナ部80へセットした後、ユーザは、パネル部15の入力部17を操作して(例えば、スキャナボタンを押して)、スキャナ部80にオーダーシート9を読み取らせる(S707でYES)。プリンタ側コントローラ20は、スキャナ部80からオーダーシート9の画像データを取得し、その画像データを解析し、ユーザの塗り潰したマークを識別する(S708)。ここでは、1、4、5、9番目の画像の印刷を指示するための楕円マークが塗り潰されていたものとする。   As in the second embodiment, the user can instruct the printer of desired printing conditions by selectively painting the oval mark printed on the order sheet 9 with a pencil. After filling in the order sheet 9, the user sets the order sheet 9 on the platen glass of the scanner unit 80 as shown in FIG. 23C. After setting the order sheet 9 to the scanner unit 80, the user operates the input unit 17 of the panel unit 15 (for example, by pressing a scanner button) to cause the scanner unit 80 to read the order sheet 9 (in S707). YES). The printer-side controller 20 acquires the image data of the order sheet 9 from the scanner unit 80, analyzes the image data, and identifies the user's filled mark (S708). Here, it is assumed that the ellipse mark for instructing the printing of the first, fourth, fifth and ninth images is filled.
プリンタ側コントローラ20は、S708での読み取り結果に基づいて、ジョブを作成する(S709)。ここでは、プリンタ側コントローラ20は、1、4、5、9番目の画像を印刷するためのジョブをそれぞれ作成する(S709)。このときのジョブの内容は、ユーザの選択したシーンに基づいて画像データを補正し、補正された画像データに基づいて印刷処理を行うことである。   The printer-side controller 20 creates a job based on the reading result in S708 (S709). Here, the printer-side controller 20 creates jobs for printing the first, fourth, fifth, and ninth images, respectively (S709). The content of the job at this time is to correct the image data based on the scene selected by the user, and to perform a printing process based on the corrected image data.
次に、プリンタ側コントローラ20は、番号順に印刷ができる状態か否かを判断する(S710)。具体的には、プリンタ側コントローラ20は、S709でジョブを作成した画像ファイルの最小の番号が、既に印刷を開始した画像の番号よりも大きければ、番号順に印刷ができる状態であると判断する。ここでは、S709でジョブを作成した画像ファイル(1、4、5、9番目の画像ファイル)の最小の番号は1番であり、2番目の画像が印刷開始されているので、S710の判断はNOになる。   Next, the printer-side controller 20 determines whether or not printing is possible in numerical order (S710). Specifically, if the minimum number of the image file that created the job in S709 is larger than the number of the image that has already started printing, the printer-side controller 20 determines that printing is possible in the order of the numbers. Here, since the minimum number of the image file (first, fourth, fifth, ninth image file) that created the job in S709 is No. 1, and the second image has started printing, the determination in S710 is NO.
仮に1番目の画像ファイルにおいて2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致でなければ、S703において1〜3番目の画像を印刷するジョブが作成され、1番目の画像の印刷が開始される。通常、1枚の画像を印刷するのに数秒〜数十秒かかるので、オーダーシートによる指示が早ければ、1〜3番目の画像の印刷が終了する前に(6番目の画像の印刷が開始する前に)、4、5、9番目の画像ファイルのジョブが作成される(S709)。このような場合、プリンタ側コントローラ20は、S710においてYESと判断し、ジョブの順番を変更し(S711)、ジョブの優先順位を画像ファイルの番号順にする。これにより、プリンタ4は、3番目の画像の印刷の後に、6番の画像を印刷するのではなく、4番の画像を印刷することになる。そして、ユーザは、画像ファイルの番号順に印刷された画像を手にすることができる。   If the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match in the first image file, a job for printing the first to third images is created in S703, and the first image Printing starts. Usually, since it takes several seconds to several tens of seconds to print one image, if the instruction by the order sheet is early, the printing of the sixth image is started before the first to third images are printed. (Before) Jobs of the fourth, fifth, and ninth image files are created (S709). In such a case, the printer-side controller 20 determines YES in S710, changes the job order (S711), and sets the job priority in the order of the image file numbers. Thus, after printing the third image, the printer 4 prints the fourth image instead of printing the sixth image. Then, the user can obtain images printed in the order of the numbers of the image files.
なお、S710の判断がNOの場合、プリンタ4は画像ファイルの番号順に画像を印刷しないので、プリンタ側コントローラ20は、そのことをユーザに知らせる警告画面を表示部16に表示しても良い。さらに、この警告画面に印刷順序を表示すれば、印刷された画像をユーザが並び替えるときに便利である。   If the determination in S710 is NO, the printer 4 does not print the images in the order of the image file numbers, so the printer-side controller 20 may display a warning screen informing the user of this on the display unit 16. Furthermore, displaying the print order on this warning screen is convenient when the user rearranges the printed images.
そして、プリンタ側コントローラ20は、蓄積されたジョブを優先順位に従って順に実行し、全てのジョブの実行が終了すれば(S712でYES)、処理を終了する。
この実施形態によれば、印刷開始を早めることができる。
Then, the printer-side controller 20 executes the stored jobs in order according to the priority order, and when the execution of all the jobs is completed (YES in S712), the process ends.
According to this embodiment, the start of printing can be accelerated.
===付加データにシーン情報を追加===
オーダーシートにおいてユーザがシーンを選択すれば、ユーザの望んでいるシーンが確定できる。そこで、本実施形態では、ユーザがオーダーシートにおいて選択をしたとき、ユーザの選択したシーンを画像ファイルの付加データに記憶している。ここでは、識別処理結果のシーンに基づく補正を行った画像をユーザがオーダーシート上で選択した場合について説明する。
=== Add scene information to additional data ===
If the user selects a scene on the order sheet, the scene desired by the user can be determined. Therefore, in the present embodiment, when the user selects on the order sheet, the scene selected by the user is stored in the additional data of the image file. Here, a case where the user selects an image that has been corrected based on the scene of the identification processing result on the order sheet will be described.
図29は、付加データに識別結果を追加したときのAPP1領域の構成の説明図である。図29では、図3の画像ファイルと比較して異なる部分を太線で示している。   FIG. 29 is an explanatory diagram of the configuration of the APP1 area when the identification result is added to the additional data. In FIG. 29, a portion different from the image file of FIG. 3 is indicated by a bold line.
図3の画像ファイルと比較すると、図29の画像ファイルにはMakernoteIFDが追加されている。この2つ目のMakernoteIFDに、識別処理結果の情報が格納される。
また、ExifSubIFDに新たなディレクトリエントリも追加される。追加されたディレクトリエントリは、2つ目のMakernoteIFDを示すタグと、2つ目のMakernoteIFDの格納場所を示すポインタとから構成されている。
また、ExifSubIFDに新たなディレクトリエントリを追加したため、ExifSubIFDデータエリアの格納場所がずれるので、ExifSubIFDデータエリアの格納場所を示すポインタが変更される。
また、2つ目のMakernoteIFDを追加したため、IFD1領域がずれるので、IFD0においてIFD1の位置を示すリンクも変更される。また、2つ目のMakernoteIFDを追加したため、APP1のデータ領域のサイズが変更されたので、APP1のデータ領域のサイズも変更する。
Compared with the image file of FIG. 3, Makernote IFD is added to the image file of FIG. Information of the identification processing result is stored in the second Makernote IFD.
A new directory entry is also added to the Exif SubIFD. The added directory entry is composed of a tag indicating the second Makernote IFD and a pointer indicating the storage location of the second Makernote IFD.
In addition, since a new directory entry is added to the Exif Sub IFD, the storage location of the Exif Sub IFD data area is shifted, so the pointer indicating the storage location of the Exif Sub IFD data area is changed.
Further, since the second Makernote IFD is added, the IFD1 area is shifted, so that the link indicating the position of IFD1 is also changed in IFD0. In addition, since the second Makernote IFD is added, the size of the data area of APP1 is changed, so the size of the data area of APP1 is also changed.
このようにユーザの選択したシーン(この場合、識別処理結果のシーン)を画像ファイルの付加データに保存することにより、再度、この画像ファイルの画像を印刷するときに識別処理やオーダーシートの印刷が不要になる。また、ユーザが本実施形態のプリンタ4からメモリカード6を取り出し、他のプリンタにメモリカード6を挿入したときに、このプリンタがシーン識別処理機能を備えないが自動補正処理を行うプリンタであっても、適切に画像データが補正できるようになる。   Thus, by saving the user-selected scene (in this case, the scene of the identification process result) in the additional data of the image file, the identification process and the order sheet can be printed again when the image of the image file is printed. It becomes unnecessary. Further, when the user takes out the memory card 6 from the printer 4 of the present embodiment and inserts the memory card 6 into another printer, this printer does not have a scene identification processing function but performs automatic correction processing. However, the image data can be corrected appropriately.
===その他の実施の形態===
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。
=== Other Embodiments ===
Although a printer or the like as one embodiment has been described, the above embodiment is for facilitating understanding of the present invention, and is not intended to limit the present invention. The present invention can be changed and improved without departing from the gist thereof, and it is needless to say that the present invention includes equivalents thereof. In particular, the embodiments described below are also included in the present invention.
<画像ファイルについて>
前述の画像ファイルはExif形式であったが、画像ファイルフォーマットはこれに限られるものではない。また、前述の画像ファイルは静止画であるが、動画であっても良い。要するに、画像ファイルが画像データと付加データとを備えていれば、前述のようなシーン識別処理等を行うことが可能である。
<About image files>
The image file described above is in the Exif format, but the image file format is not limited to this. Further, the above-described image file is a still image, but may be a moving image. In short, if the image file includes image data and additional data, the scene identification process as described above can be performed.
<サポートベクタマシンについて>
前述のサブ識別器51やサブ部分識別器61には、サポートベクタマシン(SVM)による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。
<About Support Vector Machine>
For the above-described sub classifier 51 and sub partial classifier 61, a classification method using a support vector machine (SVM) is used. However, the method for identifying whether or not the identification target image belongs to a specific scene is not limited to using a support vector machine. For example, pattern recognition such as a neural network may be employed.
<シーン候補の抽出方法について>
前述の実施形態では、全体識別処理・部分識別処理・統合識別処理のいずれでもシーンを識別できなかった場合に限り、確信度が所定値以上のシーンをシーン候補として抽出している。但し、シーン候補の抽出方法は、これに限られるものではない。
<About scene candidate extraction method>
In the above-described embodiment, a scene having a certainty level equal to or higher than a predetermined value is extracted as a scene candidate only when a scene cannot be identified by any of the overall identification process, the partial identification process, and the integrated identification process. However, the method for extracting scene candidates is not limited to this.
図30は、別の処理フローの説明図である。この処理は、前述のシーン識別処理の代わりに行われる。
まず、前述の実施形態と同様に、プリンタ側コントローラ20が、画像ファイルの情報に基づいて、全体特徴量を算出する(S801)。次に、風景識別器51Lが、前述の識別処理と同様に、判別式の値又はその値に対応するPrecisionを確信度として算出する(S802)。なお、前述の実施形態の風景識別器51Lは、識別対象画像が風景のシーンに属するか否かをも識別していたが、ここでの風景識別器51Lは、判別式に基づいて確信度を算出するだけである。同様に、他のサブ識別器51も、確信度を算出する(S803〜S806)。そして、プリンタ側コントローラ20は、確信度が所定値以上のシーンをシーン候補として抽出し(S807)、シーン候補(及び確信度)を記憶する(S808)。
このようにしても、画像データの示す画像のシーンを識別することが可能である。そして、このように識別したシーンと、付加データのシーンとを比較して、不一致のときにオーダーシートを印刷することが可能である。
FIG. 30 is an explanatory diagram of another processing flow. This process is performed instead of the scene identification process described above.
First, as in the above-described embodiment, the printer-side controller 20 calculates an overall feature amount based on image file information (S801). Next, the landscape discriminator 51L calculates the discriminant value or the Precision corresponding to the discriminant as the certainty factor as in the above-described discrimination processing (S802). Note that the landscape classifier 51L of the above-described embodiment also identifies whether or not the classification target image belongs to a landscape scene. However, the landscape classifier 51L here has a certainty factor based on a discriminant. Just calculate. Similarly, the other sub classifiers 51 also calculate the certainty factor (S803 to S806). Then, the printer-side controller 20 extracts a scene having a certainty factor of a predetermined value or more as a scene candidate (S807), and stores the scene candidate (and the certainty factor) (S808).
Even in this way, it is possible to identify the scene of the image indicated by the image data. Then, it is possible to compare the scene identified in this way and the scene of the additional data and print an order sheet when there is a mismatch.
<オーダーシートについて1>
前述の第1実施形態では、1枚のオーダーシートに対して1つの画像データに関する情報を印刷している。そして、第1実施形態では、1つの画像データに対して、付加データの示すシーンに基づいて補正された画像と、識別処理結果のシーンに基づいて補正された画像の両方を、オーダーシートに印刷している。但し、これに限られるものではない。
<About Order Sheet 1>
In the first embodiment described above, information related to one piece of image data is printed on one order sheet. In the first embodiment, for one image data, both an image corrected based on the scene indicated by the additional data and an image corrected based on the scene of the identification processing result are printed on the order sheet. is doing. However, the present invention is not limited to this.
例えば、1枚のオーダーシートに対して1つの画像データに関する情報を印刷する際に、第2実施形態のように、補正せずに画像をオーダーシートに印刷すると共に、補正モードを指示する補正指示領域をオーダーシートに印刷しても良い。
また、例えば、1枚のオーダーシートに対して1つの画像データに関する情報を印刷する際に、付加データの示すシーンに基づいて補正された画像や、識別処理結果のシーンに基づいて補正された画像だけでなく、補正を施さない画像を更に印刷しても良い。
For example, when printing information related to one piece of image data on one order sheet, an image is printed on the order sheet without correction as in the second embodiment, and a correction instruction that instructs a correction mode The area may be printed on the order sheet.
Also, for example, when printing information related to one image data on one order sheet, an image corrected based on the scene indicated by the additional data, or an image corrected based on the scene of the identification processing result In addition to this, an image without correction may be further printed.
<オーダーシートについて2>
前述の第2実施形態では、1枚のオーダーシートに対して複数の画像データに関する情報を印刷している。そして、第2実施形態では、1つの画像データに対して、補正を施さない画像を印刷している。但し、これに限られるものではない。
<About Order Sheet 2>
In the second embodiment described above, information about a plurality of image data is printed on one order sheet. In the second embodiment, an image that is not corrected is printed with respect to one piece of image data. However, the present invention is not limited to this.
例えば、1枚のオーダーシートに対して複数の画像データに関する情報を印刷する際に、第1実施形態のように、1つの画像データに対して、付加データの示すシーンに基づいて補正された画像と、識別処理結果のシーンに基づいて補正された画像の両方を、それぞれ印刷しても良い。
また、例えば、1枚のオーダーシートに対して複数の画像データに関する情報を印刷する際に、1つの画像データに対してそれぞれ、付加データの示すシーンに基づいて補正された画像や、識別処理結果のシーンに基づいて補正された画像だけでなく、補正を施さない画像を更に印刷しても良い。
For example, when printing information related to a plurality of image data on one order sheet, an image corrected based on a scene indicated by additional data for one image data as in the first embodiment. Both of the images corrected based on the scene of the identification processing result may be printed.
Further, for example, when printing information on a plurality of image data on one order sheet, an image corrected based on the scene indicated by the additional data for each image data, and the identification processing result In addition to the image corrected based on the scene, an image without correction may be further printed.
<補正処理について>
前述の実施形態では、付加データの示すシーンと識別処理結果のシーンとが不一致の場合に、いずれか一方のシーンに基づく補正処理を行う(若しくは補正を施さない)ことが前提になっている。但し、これに限られるものではなく、付加データの示すシーンに基づく補正処理と、識別処理結果のシーンに基づく補正処理の両方を施しても良い。具体的に言えば、「人物」モードによって肌色をきれいに補正すると共に、「風景」モードによって空の青色や木の緑色を強調する補正を行っても良い。
<About correction processing>
In the above-described embodiment, when the scene indicated by the additional data and the scene of the identification processing result do not match, it is assumed that correction processing based on one of the scenes is performed (or no correction is performed). However, the present invention is not limited to this, and both correction processing based on the scene indicated by the additional data and correction processing based on the scene of the identification processing result may be performed. Specifically, the skin color may be corrected neatly in the “person” mode, and the sky blue or the green color of the tree may be enhanced in the “landscape” mode.
例えば、付加データの示すシーンと識別処理結果のシーンとが不一致の際に、ユーザが、オーダーシートに、付加データの示すシーンに対応する補正指示と識別処理結果のシーンに対応する補正指示とがマークされている場合には、付加データの示すシーンに基づく補正処理と、識別処理結果のシーンに基づく補正処理の両方を施すことにしても良い。   For example, when the scene indicated by the additional data and the scene of the identification processing result do not match, the user gives a correction instruction corresponding to the scene indicated by the additional data and a correction instruction corresponding to the scene of the identification processing result on the order sheet. If it is marked, both correction processing based on the scene indicated by the additional data and correction processing based on the scene of the identification processing result may be performed.
===まとめ===
(1)前述の実施形態では、プリンタ側コントローラ20は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ20は、顔識別処理やシーン識別処理(図8参照)による識別結果を取得する。
撮影シーンタイプデータや撮影モードデータの示すシーンと、顔識別処理やシーン識別処理の識別結果のシーンとが不一致になる場合がある。そこで、前述の実施形態では、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致の場合、プリンタ側コントローラ20は、オーダーシート(ユーザに確認を促すための印刷物の一例)を印刷することによって、ユーザに確認を促している(S504、S604、S706)。これにより、ユーザはオーダーシート上のマークを塗り潰すことによって確認作業ができるので、操作パネルを操作してシーンを選択するような確認作業よりも確認作業が簡便になる。
=== Summary ===
(1) In the above-described embodiment, the printer-side controller 20 acquires shooting scene type data and shooting mode data that are scene information from the additional data added to the image data. Further, the printer-side controller 20 acquires the identification result obtained by the face identification process or the scene identification process (see FIG. 8).
There are cases where the scene indicated by the shooting scene type data or shooting mode data does not match the scene identified by the face identification process or the scene identification process. Therefore, in the above-described embodiment, when the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match, the printer-side controller 20 displays the order sheet (an example of a printed matter for prompting the user to confirm). The user is prompted to confirm by printing (S504, S604, S706). As a result, the user can perform the confirmation work by painting the mark on the order sheet, so the confirmation work becomes simpler than the confirmation work of operating the operation panel and selecting a scene.
(2)前述の実施形態では、プリンタ側コントローラ20は、ユーザがオーダーシートに記入した内容を読み取り(S506、S606、S708)、読み取り結果に応じた補正モードにて画像データを補正し(S507、S607、S709)、補正した画像データの示す画像を印刷する(S508、S608、S709)。これにより、ユーザの希望する画質の画像が得られる。 (2) In the above-described embodiment, the printer-side controller 20 reads the content entered on the order sheet by the user (S506, S606, S708), and corrects the image data in the correction mode according to the read result (S507, In step S607 and S709, the image indicated by the corrected image data is printed (S508, S608, and S709). Thereby, an image having an image quality desired by the user is obtained.
(3)前述の第1実施形態では、プリンタ側コントローラ20は、付加データのシーンに基づいて補正した画像901と、識別処理結果のシーンに基づいて補正した画像902とを並べてオーダーシートに印刷している。これにより、ユーザは、補正処理の効果を比較しやすくなる。 (3) In the first embodiment described above, the printer-side controller 20 prints the image 901 corrected based on the scene of the additional data and the image 902 corrected based on the scene of the identification processing side by side on the order sheet. ing. This makes it easier for the user to compare the effects of the correction process.
(4)前述の第2実施形態では、プリンタ側コントローラ20は、複数の画像データのそれぞれについて、2つのシーン(付加データの示すシーンと識別処理結果のシーン)の一致・不一致を比較し、また、オーダーシートを印刷する際には、それぞれの画像データに対して補正指示領域916を設けつつ、各画像データの示す画像を印刷している。そして、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致の画像データの補正指示領域916には、プリンタ側コントローラ20は、3個の楕円マークを印刷する。一方、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が一致している画像データの補正指示領域916には、プリンタ側コントローラ20は、2個の楕円マークを印刷する。このように、補正指示領域916に印刷する内容を異ならせることによって、ユーザは、どの画像において2つのシーン(付加データの示すシーンと識別処理結果のシーン)が不一致であるかを容易に知ることができる。 (4) In the second embodiment described above, the printer-side controller 20 compares the match / mismatch of two scenes (the scene indicated by the additional data and the scene of the identification processing result) for each of the plurality of image data. When printing an order sheet, an image indicated by each image data is printed while providing a correction instruction area 916 for each image data. Then, the printer-side controller 20 prints three ellipse marks in the correction instruction area 916 of image data in which two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match. On the other hand, the printer-side controller 20 prints two ellipse marks in the correction instruction area 916 of the image data in which the two scenes (the scene indicated by the additional data and the scene of the identification processing result) match. In this way, by making the contents to be printed in the correction instruction area 916 different, the user can easily know in which image the two scenes (the scene indicated by the additional data and the scene of the identification processing result) do not match. Can do.
(5)前述の第2実施形態では、補正指示領域916の識別処理結果のシーンを指示するための楕円マークは太線で強調されて印刷されている。これは、ユーザが補正モードを選択しなかったときに、識別処理結果のシーンに基づいて補正処理を行うことをユーザに示すためである。そして、ユーザが楕円マークに対して何も記入をしない場合、プリンタ側コントローラ20は、太線で印刷された楕円マークの示すシーン(前述の第2実施形態の1番目の画像の場合であれば「人物」)に基づいて画像データを補正し、補正した画像データの示す画像を印刷する。
なお、マークを強調する方法は、太線で印刷するのに限られるものではない。要するに、ユーザが補正モードを選択しなかったときに、どの補正モードが自動的に選択されるのかをユーザが認知できる方法であれば良い。
(5) In the second embodiment described above, the ellipse mark for instructing the scene of the identification processing result in the correction instruction area 916 is emphasized with a bold line and printed. This is to indicate to the user that correction processing is performed based on the scene of the identification processing result when the user does not select the correction mode. When the user does not enter anything for the ellipse mark, the printer-side controller 20 displays the scene indicated by the ellipse mark printed with a thick line (in the case of the first image of the second embodiment described above, “ The image data is corrected based on the “person”), and the image indicated by the corrected image data is printed.
The method for emphasizing the mark is not limited to printing with a thick line. In short, any method may be used as long as the user can recognize which correction mode is automatically selected when the user does not select the correction mode.
(6)前述の第3実施形態では、プリンタ側コントローラ20は、複数の画像データのそれぞれについて、2つのシーン(付加データの示すシーンと識別処理結果のシーン)の一致・不一致を比較し、不一致の画像データについてはオーダーシートを印刷しつつ、2つのシーン(付加データの示すシーンと識別処理結果のシーン)が一致した画像データについては先に印刷を開始する。これにより、印刷開始を早めることができる。 (6) In the third embodiment described above, the printer-side controller 20 compares the match / mismatch of two scenes (the scene indicated by the additional data and the scene of the identification processing result) for each of the plurality of image data, and the mismatch is found. For the image data, printing of the order sheet is started, and printing is started for image data in which two scenes (the scene indicated by the additional data and the scene of the identification processing result) match. Thereby, the start of printing can be accelerated.
(7)前述の実施形態では、ユーザがオーダーシートにおいて選択をしたとき、プリンタ側コントローラ20は、ユーザの選択したシーンを画像ファイルの付加データに記憶している。このようにユーザの選択したシーンを画像ファイルの付加データに保存することにより、再度、この画像ファイルの画像を印刷するときに識別処理を不要にすることが可能になる。 (7) In the above-described embodiment, when the user selects on the order sheet, the printer-side controller 20 stores the scene selected by the user in the additional data of the image file. By storing the scene selected by the user in the additional data of the image file in this way, it becomes possible to eliminate the identification process when printing the image of the image file again.
(8)前述のプリンタ4(情報処理装置に相当)は、プリンタ側コントローラ20を備えている(図2参照)。そして、このプリンタ側コントローラ20は、画像データに付加されている付加データから、シーン情報である撮影シーンタイプデータや撮影モードデータを取得する。また、プリンタ側コントローラ20は、顔識別処理やシーン識別処理(図8参照)による識別結果を取得する。撮影シーンタイプデータや撮影モードデータの示すシーンと、シーン識別処理の識別結果のシーンとが不一致になるとき、プリンタ側コントローラ20は、オーダーシートを印刷する。これにより、ユーザはオーダーシート上のマークを塗り潰すことによって確認作業ができるので、操作パネルを操作してシーンを選択するような確認作業よりも確認作業が簡便になる。 (8) The above-described printer 4 (corresponding to an information processing apparatus) includes a printer-side controller 20 (see FIG. 2). The printer-side controller 20 acquires shooting scene type data and shooting mode data as scene information from the additional data added to the image data. Further, the printer-side controller 20 acquires the identification result obtained by the face identification process or the scene identification process (see FIG. 8). When the scene indicated by the shooting scene type data or the shooting mode data does not match the scene identified by the scene identification process, the printer-side controller 20 prints the order sheet. As a result, the user can perform the confirmation work by painting the mark on the order sheet, so the confirmation work becomes simpler than the confirmation work of operating the operation panel and selecting a scene.
(9)前述のメモリ23には、図22、図25又は図27の処理をプリンタ4に実行させるプログラムが記憶されている。すなわち、このプログラムは、画像データに付加されている付加データから画像データのシーン情報を取得するコードと、画像データに基づいて画像データの示す画像のシーンを識別するコードと、シーン情報の示すシーンと識別したシーンとを比較するコードと、シーン情報の示すシーンと識別したシーンとが不一致の場合にオーダーシートを印刷するコードとを備えている。 (9) The above-described memory 23 stores a program for causing the printer 4 to execute the processing of FIG. 22, FIG. 25 or FIG. That is, the program includes a code for acquiring scene information of image data from additional data added to image data, a code for identifying an image scene indicated by image data based on the image data, and a scene indicated by scene information. And a code for printing an order sheet when the scene indicated by the scene information does not match the identified scene.
画像処理システムの説明図である。It is explanatory drawing of an image processing system. プリンタの構成の説明図である。2 is an explanatory diagram of a configuration of a printer. FIG. 画像ファイルの構造の説明図である。It is explanatory drawing of the structure of an image file. 図4Aは、IFD0で使われるタグの説明図である。図4Bは、ExifSubIFDで使われるタグの説明図である。FIG. 4A is an explanatory diagram of tags used in IFD0. FIG. 4B is an explanatory diagram of tags used in the Exif SubIFD. モード設定ダイヤルの設定とデータとの対応表である。It is a correspondence table of mode setting dial settings and data. プリンタの自動補正機能の説明図である。It is explanatory drawing of the automatic correction function of a printer. 画像のシーンと補正内容との関係の説明図である。It is explanatory drawing of the relationship between the scene of an image, and the correction content. シーン識別部によるシーン識別処理のフロー図である。It is a flowchart of the scene identification process by a scene identification part. シーン識別部の機能の説明図である。It is explanatory drawing of the function of a scene identification part. 全体識別処理のフロー図である。It is a flowchart of a whole identification process. 識別対象テーブルの説明図である。It is explanatory drawing of an identification object table. 全体識別処理の肯定閾値の説明図である。It is explanatory drawing of the affirmation threshold value of the whole identification process. RecallとPrecisionの説明図である。It is explanatory drawing of Recall and Precision. 第1否定閾値の説明図である。It is explanatory drawing of a 1st negative threshold value. 第2否定閾値の説明図である。It is explanatory drawing of a 2nd negative threshold value. 図16Aは、風景識別器における閾値の説明図である。図16Bは、風景識別器の処理の概要の説明図である。FIG. 16A is an explanatory diagram of threshold values in the landscape classifier. FIG. 16B is an explanatory diagram of an outline of the process of the landscape classifier. 部分識別処理のフロー図である。It is a flowchart of a partial identification process. 夕景部分識別器が選択する部分画像の順番の説明図である。It is explanatory drawing of the order of the partial image which an evening scene partial identifier selects. 上位10番目までの10個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。It is a Recall and Precision graph when the evening scene image is identified only by the top 10 partial images. 図20Aは、線形サポートベクタマシンによる判別の説明図である。図20Bは、カーネル関数を用いた判別の説明図である。FIG. 20A is an explanatory diagram of determination by the linear support vector machine. FIG. 20B is an explanatory diagram of discrimination using a kernel function. 統合識別処理のフロー図である。It is a flowchart of an integrated identification process. 第1実施形態のダイレクトプリントの処理の流れを示すフロー図である。It is a flowchart which shows the flow of the process of the direct print of 1st Embodiment. 図23A〜図23Cは、ダイレクトプリントの様子の説明図である。FIG. 23A to FIG. 23C are explanatory diagrams of the state of direct printing. 第1実施形態のオーダーシートの説明図である。It is explanatory drawing of the order sheet | seat of 1st Embodiment. 第2実施形態のダイレクトプリントの処理の流れを示すフロー図である。It is a flowchart which shows the flow of the process of the direct print of 2nd Embodiment. 第2実施形態のオーダーシートの説明図である。It is explanatory drawing of the order sheet of 2nd Embodiment. 第3実施形態のダイレクトプリントの処理の流れを示すフロー図である。It is a flowchart which shows the flow of the process of the direct print of 3rd Embodiment. 第3実施形態のオーダーシートの説明図である。It is explanatory drawing of the order sheet of 3rd Embodiment. 付加データに識別結果を追加したときのAPP1領域の構成の説明図である。It is explanatory drawing of a structure of an APP1 area | region when an identification result is added to additional data. 別の処理フローの説明図である。It is explanatory drawing of another processing flow.
符号の説明Explanation of symbols
2 デジタルスチルカメラ、2A モード設定ダイヤル、
4 プリンタ、6 メモリカード、9 オーダーシート、
10 印刷機構、11 ヘッド、12 ヘッド制御部、13 モータ、
14 センサ、15 パネル部、16 表示部、17 入力部、
20 プリンタ側コントローラ、21 スロット、22 CPU、
23 メモリ、24 制御ユニット、25 駆動信号生成部、
31 記憶部、31A 画像記憶部、31B 結果記憶部、
32 顔識別部、33 シーン識別部、34 画像補正部、
35 プリンタ制御部、40 特徴量取得部、50 全体識別器、
51 サブ識別器、51L 風景識別器、51S 夕景識別器、
51N 夜景識別器、51F 花識別器、51R 紅葉識別器、
60 部分識別器、61 サブ部分識別器、61S 夕景部分識別器、
61F 花部分識別器、61R 紅葉部分識別器、70 統合識別器、
161・162・163 確認画面、162C 境界
901・902 画像、911 位置合わせマーク、912 属性マーク、
913 紙種選択領域、914 縁有無選択領域、
915 画像、916 補正指示領域
2 Digital still camera, 2A mode setting dial,
4 Printer, 6 Memory card, 9 Order sheet,
10 printing mechanism, 11 head, 12 head control unit, 13 motor,
14 sensors, 15 panel section, 16 display section, 17 input section,
20 printer-side controller, 21 slots, 22 CPU,
23 memory, 24 control unit, 25 drive signal generator,
31 storage unit, 31A image storage unit, 31B result storage unit,
32 face identification unit, 33 scene identification unit, 34 image correction unit,
35 Printer control unit, 40 feature quantity acquisition unit, 50 overall classifier,
51 sub classifier, 51L landscape classifier, 51S evening scene classifier,
51N night view classifier, 51F flower classifier, 51R autumn leaves classifier,
60 partial classifiers, 61 sub partial classifiers, 61S evening scene partial classifiers,
61F Flower partial classifier, 61R Autumn colored partial classifier, 70 Integrated classifier,
161/162/163 confirmation screen, 162C border 901/902 image, 911 alignment mark, 912 attribute mark,
913 Paper type selection area, 914 Edge presence / absence selection area,
915 image, 916 correction instruction area

Claims (9)

  1. 画像データに付加されている付加データから、前記画像データのシーン情報を取得し、
    前記画像データに基づいて、前記画像データの示す画像のシーンを識別し、
    この識別したシーンと前記シーン情報の示すシーンとを比較し、
    前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷する
    ことを特徴とする印刷方法。
    From the additional data added to the image data, obtain the scene information of the image data,
    Based on the image data, the scene of the image indicated by the image data is identified,
    Compare this identified scene with the scene indicated by the scene information,
    When the identified scene and the scene indicated by the scene information do not coincide with each other, a printed material used for prompting the user to confirm is printed.
  2. 請求項1に記載の印刷方法であって、
    前記ユーザにより印刷指示内容が記入された印刷物を読み取り、
    この読み取り結果に応じて、前記シーン情報の示すシーンと前記識別したシーンの少なくとも一方のシーンに基づいて前記画像データを補正し、
    この補正した前記画像データの示す画像を印刷する
    ことを特徴とする印刷方法。
    The printing method according to claim 1, comprising:
    Read the printed matter in which the print instruction content is entered by the user,
    According to the reading result, the image data is corrected based on at least one of the scene indicated by the scene information and the identified scene,
    A printing method comprising printing an image indicated by the corrected image data.
  3. 請求項2に記載の印刷方法であって、
    前記印刷物を印刷する際に、前記シーン情報の示すシーンに基づいて補正した画像と、前記識別したシーンに基づいて補正した画像とを並べて少なくとも印刷することを特徴とする印刷方法。
    The printing method according to claim 2,
    When printing the printed matter, an image corrected based on a scene indicated by the scene information and an image corrected based on the identified scene are arranged and printed at least.
  4. 請求項2に記載の印刷方法であって、
    複数の画像データのそれぞれについて、前記シーン情報の示すシーンと前記識別したシーンとを比較し、
    それぞれの前記画像データについて、前記ユーザにシーンを指示させる指示領域を設けつつ、前記複数の画像データの示す画像を前記印刷物に印刷し、
    前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの前記指示領域には、前記シーン情報の示すシーンを指示することに用いるマークと、前記識別したシーンを指示することに用いるマークとが印刷され、
    前記シーン情報の示すシーンと識別したシーンとが一致する前記画像データの前記指示領域には、前記シーン情報の示すシーンと前記識別したシーンとの少なくとも一方のシーンを指示することに用いるマークが印刷される
    ことを特徴とする印刷方法。
    The printing method according to claim 2,
    For each of a plurality of image data, comparing the scene indicated by the scene information with the identified scene,
    For each of the image data, while providing an instruction area that instructs the user to specify a scene, the image indicated by the plurality of image data is printed on the printed matter,
    In the indication area of the image data where the scene indicated by the scene information and the identified scene do not match, a mark used for indicating the scene indicated by the scene information and an indication of the identified scene are used. Mark is printed,
    A mark used to indicate at least one of the scene indicated by the scene information and the identified scene is printed in the instruction area of the image data where the scene indicated by the scene information matches the identified scene. A printing method.
  5. 請求項4に記載の印刷方法であって、
    前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの前記指示領域において、前記シーン情報の示すシーンを指示することに用いるマークと、前記識別したシーンを指示することに用いるマークとのいずれか一方のマークが強調されて印刷され、
    前記シーン情報の示すシーンと前記識別したシーンとが不一致の前記画像データの示す画像を印刷する場合であって、前記シーン情報の示すシーンを指示することに用いるマーク及び前記識別したシーンを指示することに用いるマークに対して記入されていない場合、前記強調されて印刷されたマークの示すシーンに基づいて前記画像データを補正し、この補正した前記画像データの示す画像を印刷する
    ことを特徴とする印刷方法。
    The printing method according to claim 4, wherein
    A mark used for indicating the scene indicated by the scene information and a mark used for indicating the identified scene in the indication area of the image data in which the scene indicated by the scene information and the identified scene do not match And one of the marks is highlighted and printed
    When the image indicated by the image data in which the scene indicated by the scene information does not match the identified scene is printed, the mark used for indicating the scene indicated by the scene information and the identified scene are indicated. If the mark used is not filled in, the image data is corrected based on the scene indicated by the emphasized printed mark, and the image indicated by the corrected image data is printed. How to print.
  6. 請求項2に記載の印刷方法であって、
    複数の画像データのそれぞれについて、前記シーン情報の示すシーンと前記識別したシーンとを比較し、
    前記シーン情報の示すシーンと前記識別したシーンとが不一致の画像データについては、前記印刷物を印刷し、
    前記ユーザにより印刷指示内容が記入された印刷物を読み取る前に、前記シーン情報の示すシーンと前記識別したシーンとが一致する画像データの印刷を開始する
    ことを特徴とする印刷方法。
    The printing method according to claim 2,
    For each of a plurality of image data, comparing the scene indicated by the scene information with the identified scene,
    For the image data in which the scene indicated by the scene information and the identified scene do not match, print the printed matter,
    A printing method comprising: starting printing of image data in which a scene indicated by the scene information matches the identified scene before reading a printed matter in which a print instruction content is entered by the user.
  7. 請求項2〜6のいずれかに記載の印刷方法であって、
    前記読み取り結果に応じて、前記印刷指示内容を前記付加データに記憶することを特徴とする印刷方法。
    The printing method according to any one of claims 2 to 6,
    According to the read result, the printing instruction content is stored in the additional data.
  8. 画像データに付加されている付加データから、前記画像データのシーン情報を取得するシーン情報取得部と、
    前記画像データに基づいて、前記画像データの示す画像のシーンを識別する識別部と、
    この識別したシーンと前記シーン情報の示すシーンとを比較する比較部と、
    前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷する印刷部と、
    を備えることを特徴とする印刷装置。
    A scene information acquisition unit for acquiring scene information of the image data from the additional data added to the image data;
    An identification unit for identifying a scene of an image indicated by the image data based on the image data;
    A comparison unit for comparing the identified scene with the scene indicated by the scene information;
    If the identified scene and the scene indicated by the scene information do not match, a printing unit that prints a printed material used to prompt the user to confirm;
    A printing apparatus comprising:
  9. 印刷装置に、
    画像データに付加されている付加データから、前記画像データのシーン情報を取得させ、
    前記画像データに基づいて、前記画像データの示す画像のシーンを識別させ、
    この識別したシーンと前記シーン情報の示すシーンとを比較させ、
    前記識別したシーンと前記シーン情報の示すシーンとが不一致の場合、ユーザに確認を促すことに用いる印刷物を印刷させる
    ことを特徴とするプログラム。
    In the printing device,
    From the additional data added to the image data, the scene information of the image data is acquired,
    Based on the image data, the scene of the image indicated by the image data is identified,
    The identified scene is compared with the scene indicated by the scene information,
    A program for printing a printed material used to prompt a user to check if the identified scene and the scene indicated by the scene information do not match.
JP2007319982A 2007-04-20 2007-12-11 Printing method, printer, and program Withdrawn JP2008284868A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007112225 2007-04-20
JP2007319982A JP2008284868A (en) 2007-04-20 2007-12-11 Printing method, printer, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007319982A JP2008284868A (en) 2007-04-20 2007-12-11 Printing method, printer, and program
CN2008102147170A CN101335811B (en) 2007-04-20 2008-04-18 Printing method, and printing apparatus
US12/106,153 US8243328B2 (en) 2007-04-20 2008-04-18 Printing method, printing apparatus, and storage medium storing a program

Publications (1)

Publication Number Publication Date
JP2008284868A true JP2008284868A (en) 2008-11-27

Family

ID=40145051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007319982A Withdrawn JP2008284868A (en) 2007-04-20 2007-12-11 Printing method, printer, and program

Country Status (2)

Country Link
JP (1) JP2008284868A (en)
CN (1) CN101335811B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085134B2 (en) 2013-09-03 2015-07-21 Seiko Epson Corporation Line printer and method for controlling the same
JP2018034418A (en) * 2016-08-31 2018-03-08 京セラドキュメントソリューションズ株式会社 Printer

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101900097B1 (en) * 2012-07-30 2018-09-20 삼성전자주식회사 Image capturing method and image capturing apparatus

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002273973A (en) * 2000-12-12 2002-09-25 Hewlett Packard Co <Hp> Method for processing image file
JP2002305701A (en) * 2000-12-12 2002-10-18 Hewlett Packard Co <Hp> Storing and retrieving digital camera image via user- completed proof sheet
JP2004061762A (en) * 2002-07-26 2004-02-26 Fuji Photo Film Co Ltd Digital camera
JP2005310123A (en) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd Apparatus for selecting image of specific scene, program therefor and recording medium with the program recorded thereon
JP2006109175A (en) * 2004-10-06 2006-04-20 Canon Inc Method and device for processing image and computer program
JP2006150791A (en) * 2004-11-30 2006-06-15 Kyocera Mita Corp Imaging device
JP2006205414A (en) * 2005-01-26 2006-08-10 Seiko Epson Corp Printer
JP2006252191A (en) * 2005-03-10 2006-09-21 Ricoh Co Ltd Image forming device
JP2008257344A (en) * 2007-04-02 2008-10-23 Seiko Epson Corp Information processing method, information processing apparatus and program
JP4830950B2 (en) * 2007-04-04 2011-12-07 セイコーエプソン株式会社 Information processing method, information processing apparatus, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209709A (en) * 2002-01-17 2003-07-25 Canon Inc Image processing apparatus, method, storage medium, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002273973A (en) * 2000-12-12 2002-09-25 Hewlett Packard Co <Hp> Method for processing image file
JP2002305701A (en) * 2000-12-12 2002-10-18 Hewlett Packard Co <Hp> Storing and retrieving digital camera image via user- completed proof sheet
JP2004061762A (en) * 2002-07-26 2004-02-26 Fuji Photo Film Co Ltd Digital camera
JP2005310123A (en) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd Apparatus for selecting image of specific scene, program therefor and recording medium with the program recorded thereon
JP2006109175A (en) * 2004-10-06 2006-04-20 Canon Inc Method and device for processing image and computer program
JP2006150791A (en) * 2004-11-30 2006-06-15 Kyocera Mita Corp Imaging device
JP2006205414A (en) * 2005-01-26 2006-08-10 Seiko Epson Corp Printer
JP2006252191A (en) * 2005-03-10 2006-09-21 Ricoh Co Ltd Image forming device
JP2008257344A (en) * 2007-04-02 2008-10-23 Seiko Epson Corp Information processing method, information processing apparatus and program
JP4830950B2 (en) * 2007-04-04 2011-12-07 セイコーエプソン株式会社 Information processing method, information processing apparatus, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9085134B2 (en) 2013-09-03 2015-07-21 Seiko Epson Corporation Line printer and method for controlling the same
JP2018034418A (en) * 2016-08-31 2018-03-08 京セラドキュメントソリューションズ株式会社 Printer

Also Published As

Publication number Publication date
CN101335811A (en) 2008-12-31
CN101335811B (en) 2012-08-29

Similar Documents

Publication Publication Date Title
US9137417B2 (en) Systems and methods for processing video data
US10395407B2 (en) Image processing apparatus and image processing method
JP6191511B2 (en) Method, system and program for capturing an image sequence
KR100679049B1 (en) Photo search method and apparatus by thumbnail providing person and location information
US7272269B2 (en) Image processing apparatus and method therefor
US6807294B2 (en) Image capturing device
KR101040461B1 (en) Image discriminating method and image processing apparatus
US7349020B2 (en) System and method for displaying an image composition template
US8139826B2 (en) Device and method for creating photo album
JP4338560B2 (en) Image feature portion extraction method, feature portion extraction program, imaging apparatus, and image processing apparatus
US10089770B2 (en) Image processing device and image processing method for image correction
JP4606828B2 (en) Device for selecting an image of a specific scene, program, and recording medium recording the program
US8488847B2 (en) Electronic camera and image processing device
US8379108B2 (en) Electronic camera that detects and extracts faces
US20160314344A1 (en) Image selecting device, image selecting method, image pickup apparatus, and computer-readable medium
US10127436B2 (en) Apparatus, image processing method and storage medium storing program
US9558212B2 (en) Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US20040208114A1 (en) Image pickup device, image pickup device program and image pickup method
JP4228641B2 (en) Output target image data selection
US9292760B2 (en) Apparatus, method, and non-transitory computer-readable medium
JP2004236120A (en) Photographic image sorting apparatus and program
US9053556B2 (en) Image processing apparatus for panoramic synthesis of a plurality of sub-images
US7636477B2 (en) Device for detecting red eye, program therefor, and recording medium storing the program
KR101312838B1 (en) Object of image capturing used in an image processing system
JP2009223580A (en) Priority target determination device, electronic apparatus, priority target determination method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120911