JP2008278344A - Image output system - Google Patents
Image output system Download PDFInfo
- Publication number
- JP2008278344A JP2008278344A JP2007121367A JP2007121367A JP2008278344A JP 2008278344 A JP2008278344 A JP 2008278344A JP 2007121367 A JP2007121367 A JP 2007121367A JP 2007121367 A JP2007121367 A JP 2007121367A JP 2008278344 A JP2008278344 A JP 2008278344A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- output system
- digital image
- image output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像出力システムに関するものである。 The present invention relates to an image output system.
近年のデジタルカメラの普及により、個人がデジタル画像を鑑賞する要求、機会が高まっている。これを受け、紙媒体に画像を出力して楽しむ従来の画像鑑賞の仕方に加え、デジタル画像ならではの新しい画像鑑賞方法が広まりつつある。この例として、スライドショーと呼ばれる、ユーザーが事前に保存しておいた複数の写真をモニタ（画像表示装置）上に順次表示するシステムが既に商品化もなされ、一般にも認知されつつある。 With the recent spread of digital cameras, demands and opportunities for individuals to view digital images are increasing. In response to this, new image appreciation methods unique to digital images are becoming widespread in addition to conventional image appreciation methods for outputting and enjoying images on paper media. As an example of this, a system called a slide show that sequentially displays a plurality of photos stored in advance by a user on a monitor (image display device) has already been commercialized and is generally recognized.
しかし、従来の技術には次のような問題点が存在した。前述のような画像鑑賞方法において、従来の手法では表示する写真は、予め決められた画像ファイルの保存場所（あるいは、画像ファイルが保存されているメモリアドレス）を参照し、そこにある画像を順次表示するという形態がとられている。 However, the conventional techniques have the following problems. In the image appreciation method as described above, in the conventional method, the photo to be displayed refers to a predetermined storage location of the image file (or a memory address where the image file is stored), and sequentially stores the images there. The form of displaying is taken.
この為、ユーザーが特に画像の選別を行うこと無く、画像の保存を行っていた場合、手ぶれ等の鑑賞に堪えない画像や、連写等で冗長に撮影された類似画像（以下、これらを纏めてミスショットと呼ぶ）がモニタに出力され、鑑賞者の興趣を損なうおそれがあった。 For this reason, when the user saves the image without selecting the image, images that cannot be appreciated such as camera shake or similar images that are taken redundantly by continuous shooting (hereinafter these are summarized) This is called a miss shot) and is output to the monitor, which may impair the interest of the viewer.
一方、これとは別の技術領域である、デジタル画像を印画紙にプリントするプリント装置において、ミスショットを検出してユーザーが印刷するべき画像を選別しやすくするプリント装置が特開２００６−２５００６号公報（特許文献１）により提案されている。しかしながら、この技術は最終的にユーザーが印刷する画像を指定することを前提としており、自動的に画像表示を行うことを目的としたスライドショーのような画像出力システムに適用することはできなかった。 On the other hand, in a printing apparatus that prints a digital image on photographic paper, which is another technical area, a printing apparatus that detects a miss shot and makes it easy for a user to select an image to be printed is disclosed in Japanese Patent Application Laid-Open No. 2006-25006. It is proposed by the gazette (patent document 1). However, this technique is based on the premise that the user finally designates an image to be printed, and cannot be applied to an image output system such as a slide show for the purpose of automatically displaying an image.
本発明は、このような事情に鑑みてなされたものであり、スライドショーのように、順次画像を表示する場合においても、ミスショットであるデジタル画像を表示しないような画像出力システムを提供することを課題とする。 The present invention has been made in view of such circumstances, and provides an image output system that does not display a digital image that is a miss shot even when images are sequentially displayed as in a slide show. Let it be an issue.
前記課題を解決するための第１の手段は、デジタル画像を保存する記憶装置とデジタル画像を出力する外部端子を有し、画像出力指令に基づいて、前記記憶装置に保存された前記デジタル画像を順次自動的に前記外部端子より画像表示装置に出力する画像出力システムであって、前記記憶装置に保存された前記デジタル画像が、出力するに相応しいデジタル画像か否かを判定する判定手段を有し、当該判定手段により、出力するに相応しくないと判定されたデジタル画像は出力しないようにする機能を有することを特徴とする画像出力システムである。 A first means for solving the problem includes a storage device for storing a digital image and an external terminal for outputting the digital image, and the digital image stored in the storage device is stored on the basis of an image output command. An image output system for sequentially and automatically outputting from the external terminal to an image display device, comprising: a determination means for determining whether the digital image stored in the storage device is a digital image suitable for output The image output system is characterized in that it has a function of not outputting a digital image determined to be unsuitable for output by the determination means.
前記課題を解決するための第２の手段は、前記第１の手段であって、前記判定手段が、出力するに相応しくないデジタル画像を判定するにあたり、その相応しくない度合いを数値化した上で、当該数値が予め定められた所定の閾値を超えるか否かによって、出力するに相応しいか否かを判定する機能を有することを特徴とするものである。 The second means for solving the above-mentioned problem is the first means, and when the determination means determines a digital image that is not suitable for output, the degree of inappropriateness is quantified, It has a function of determining whether or not it is suitable for output depending on whether or not the numerical value exceeds a predetermined threshold value.
前記課題を解決するための第３の手段は、前記第２の手段であって、前記所定の閾値を、ユーザーが設定可能であることを特徴とするものである。 A third means for solving the problem is the second means, wherein the predetermined threshold value can be set by a user.
前記課題を解決するための第４の手段は、前記第１の手段から第３の手段のいずれかであって、前記出力するに相応しくないデジタル画像が、連続撮影写真等、記憶装置内に冗長に保存されている類似デジタル画像群であることを特徴とするものである。 The fourth means for solving the problem is any one of the first to third means, and the digital image not suitable for the output is redundant in a storage device such as a continuous photograph. It is a group of similar digital images stored in.
前記課題を解決するための第５の手段は、前記第１の手段から第４の手段のいずれかであって、前記出力するに相応しくないデジタル画像が、撮影に失敗したデジタル画像であることを特徴とするものである。
前記課題を解決するための第６の手段は、前記第５の手段であって、前記撮影に失敗したデジタル画像が、手ぶれ又は被写体ぶれを数値化した値が予め定められた所定の値を超えるデジタル画像であることを特徴とするものである。
A fifth means for solving the problem is any one of the first to fourth means, wherein the digital image not suitable for output is a digital image that has failed to be captured. It is a feature.
A sixth means for solving the problem is the fifth means, wherein the digital image that has failed to be photographed has a value obtained by quantifying camera shake or subject blur exceeding a predetermined value. It is a digital image.
前記課題を解決するための第７の手段は、前記第６の手段であって、前記手ぶれを数値化した値が、画像解析により、手ぶれ形状と物理的に対応するＰＳＦ（Point Spread Function）を推定し、その結果求まる手ぶれ幅であることを特徴とするものである。
前記課題を解決するための第８の手段は、前記第６の手段であって、撮影時情報であるＡＦ（Auto Focus）エリア情報を基に主要被写体領域を判断し、これにより被写体ぶれの数値化を行うことを特徴とするものである。
A seventh means for solving the problem is the sixth means, wherein a value obtained by quantifying the camera shake is a PSF (Point Spread Function) physically corresponding to a camera shake shape by image analysis. It is characterized by the hand movement width that is estimated and obtained as a result.
The eighth means for solving the above-mentioned problem is the sixth means, which determines a main subject area based on AF (Auto Focus) area information which is information at the time of photographing, and thereby a subject blur value. It is characterized by performing.
前記課題を解決するための第９の手段は、前記第１の手段から第８の手段のいずれかであって、前記判定手段が判定した結果に対し、ユーザーが自分の感覚と合うか否かの評価情報を入力する手段を持ち、前記判定手段は、その評価情報を基に、自己の判定基準をユーザーの感覚と合うように学習、更新する機能を有することを特徴とするものである。
前記課題を解決するための第１０の手段は、前記第１の手段から第９の手段のいずれかであって、デジタル画像を取得する撮像手段を有することを特徴とするものである。
The ninth means for solving the problem is any one of the first means to the eighth means, and whether or not the user agrees with his / her sense with respect to the result determined by the determination means. The evaluation means has a function of learning and updating its determination criteria so as to match the user's sense based on the evaluation information.
A tenth means for solving the above-described problem is any one of the first to ninth means, and has an imaging means for acquiring a digital image.
前記課題を解決するための第１１の手段は、前記第１の手段から第１０の手段のいずれかであって、内部に表示部を有し、ユーザーの入力又はシステムによる自動診断により、前記外部端子に画像表示装置が接続されていないことを検出した場合には、前記デジタル画像の出力先を前記表示部に切り替えて画像表示することを特徴とするものである。 An eleventh means for solving the problem is any one of the first means to the tenth means, and has an internal display unit, and the external input is performed by user input or automatic diagnosis by a system. When it is detected that an image display device is not connected to the terminal, the digital image output destination is switched to the display unit to display an image.
本発明によれば、スライドショーのように、順次画像を表示する場合においても、ミスショットであるデジタル画像を表示しないような画像出力システムを提供することができる。 According to the present invention, it is possible to provide an image output system that does not display a digital image that is a miss shot even when images are sequentially displayed as in a slide show.
以下、本発明の実施の形態の例を、図を用いて説明する。図１は、本発明の実施の形態の１例である画像出力システムのハードウェア構成を表す概要図である。また、以下においては、図１に示す画像出力システムの状態を撮影モード、画像出力モード、及びミスショット識別モードの三態に大別して説明を行う。 Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing a hardware configuration of an image output system as an example of an embodiment of the present invention. In the following description, the state of the image output system shown in FIG. 1 will be broadly divided into three modes: a shooting mode, an image output mode, and a miss shot identification mode.
まず、撮影モード時の動作フローの説明を、図１、図２を参照して行う。撮像装置１００内において、図示しないレリーズボタンをユーザーが押すと、撮像された画像データがメモリ１０１内に保存される（Ｓ２１）。メモリ１０１に蓄えられた画像は、画像処理部１０２により、縮小／拡大やその他各種画像処理を施され、表示部１０３にて画像表示される（Ｓ２２）と共に、可搬性メモリ１０４に記録される。また、新たに撮影した画像のファイル名、撮影情報を可搬性メモリ１０４に追記する（Ｓ２３）。 First, the operation flow in the shooting mode will be described with reference to FIGS. When the user presses a release button (not shown) in the imaging apparatus 100, the captured image data is stored in the memory 101 (S21). The image stored in the memory 101 is subjected to reduction / enlargement and other various image processing by the image processing unit 102, displayed on the display unit 103 (S 22), and recorded in the portable memory 104. Further, the file name and shooting information of the newly shot image are added to the portable memory 104 (S23).
可搬性メモリ１０４には、保存した画像を識別するためのファイル名（以下ファイル名とする）、撮影情報、及び後述するミスショット情報のレコードを記載した画像リストが記憶されている。以上の動作を行った後、再度レリーズボタンが押されるまでシステムは待機状態となる。 The portable memory 104 stores an image list in which a file name (hereinafter referred to as a file name) for identifying a stored image, shooting information, and a record of miss shot information described later is described. After performing the above operation, the system is in a standby state until the release button is pressed again.
この画像リストの一例を図５に示す。ファイル名（file）、撮影期日（date）、撮影時刻（time）、露出、オートフォーカスエリア（ＡＦエリア）等が、順に記憶されている。以上が、撮影モード時の動作である。 An example of this image list is shown in FIG. The file name (file), shooting date (date), shooting time (time), exposure, autofocus area (AF area), etc. are stored in order. The above is the operation in the shooting mode.
撮像装置を有しない画像出力システムの場合は、これらの情報が記憶された可搬性メモリ１０４が装置に差し込まれるだけで、撮像モードは存在しない。 In the case of an image output system that does not have an imaging device, the portable memory 104 storing these pieces of information is simply inserted into the device, and there is no imaging mode.
次に、ミスショット識別時の動作について、図１、図３を参照して説明を行う。ユーザーがミスショット識別開始スイッチ１０６を押すことにより、制御部１０７はシステムの動作をミスショット識別モードに移行させる（Ｓ３１）。ミスショット識別モードにおいて、まず画像処理部１０２は、前述の画像リストを参照し、画像リストの先頭に登録されている画像のファイル名を参照する（Ｓ３２）。 Next, the operation at the time of miss shot identification will be described with reference to FIGS. When the user presses the miss shot identification start switch 106, the control unit 107 shifts the system operation to the miss shot identification mode (S31). In the miss shot identification mode, first, the image processing unit 102 refers to the above-described image list, and refers to the file name of the image registered at the top of the image list (S32).
画像処理部１０２は参照したファイル名をミスショット検出部１０５に送信し、ミスショット検出部１０５は、受信したファイル名に対応する画像に対して画像解析を行い、ミスショットか否かを判定する為の指標であるミスショット強度を各ミスショット項目毎に計算を行う。（Ｓ３３）。解析を行った結果、ミスショット検出部１０５は、検出したミスショットの種類及び検出されたミスショットの強度に関する情報（以下ミスショット情報と呼ぶ）を画像処理部１０２に送信する（Ｓ３４）。 The image processing unit 102 transmits the referenced file name to the miss shot detection unit 105, and the miss shot detection unit 105 performs image analysis on the image corresponding to the received file name to determine whether or not it is a miss shot. The miss shot intensity, which is an index for the calculation, is calculated for each miss shot item. (S33). As a result of the analysis, the miss shot detection unit 105 transmits information regarding the type of detected miss shot and the intensity of the detected miss shot (hereinafter referred to as miss shot information) to the image processing unit 102 (S34).
画像処理部１０２はそれらミスショット情報を受け取ると、画像リスト中の対応する画像のミスショット情報項目を、受信したミスショット情報により更新、保存する（Ｓ３５）。以降、システムは参照する画像を画像リストの順番に従って順次更新し（Ｓ３６，Ｓ３７）、画像リストに登録された画像全てに対しミスショット識別処理、及び画像リストの更新を行う。 When receiving the miss shot information, the image processing unit 102 updates and stores the miss shot information item of the corresponding image in the image list with the received miss shot information (S35). Thereafter, the system sequentially updates the images to be referred to in the order of the image list (S36, S37), and performs the miss shot identification process and the image list update for all the images registered in the image list.
なお、このミスショット識別モード時において、ミスショット識別開始スイッチ１０６をユーザーが押したならば、システムはその時に行っている処理を中断し、ミスショット識別モードを終了させるようにしてもよい。 In the miss shot identification mode, if the user presses the miss shot identification start switch 106, the system may interrupt the process being performed at that time and end the miss shot identification mode.
ここで、本実施の形態で扱うミスショットの種類とその識別方法及びミスショット強度に関して説明を行う。本実施の形態において、識別するミスショットの一つは「手ぶれ」である。以下、この手ぶれを検出するアルゴリズムに関して説明を行う。手ぶれにより劣化した画像は、以下の数式によりモデル化される。 Here, the types of miss shots handled in the present embodiment, their identification methods, and miss shot intensities will be described. In the present embodiment, one of the miss shots identified is “camera shake”. Hereinafter, an algorithm for detecting the camera shake will be described. An image deteriorated by camera shake is modeled by the following mathematical formula.
ここでＢは劣化画像（手ぶれ画像）、ｆは理想画像、＊はコンボリュージョンを意味し、ｋ（ｘ，ｙ）が手ぶれの軌跡に相当するＰＳＦ（Point Spread Function）である。手ぶれを検出するアプローチの一つとして、劣化画像ＢからBayes推定の枠組みを用いてこのＰＳＦであるｋ（ｘ，ｙ）を決定する手法が、例えばSIGGRAPH 2006年の発表論文予稿集の「Removing Camera Shake from a Single Photograph」（Furgus et al.）等に示されているので、これらの手法を用いることにより、得られた画像情報であるＢ（ｘ，ｙ）からｋ（ｘ，ｙ）を決定するようにすればよい。 Here, B is a deteriorated image (camera shake image), f is an ideal image, * means convolution, and k (x, y) is a PSF (Point Spread Function) corresponding to the trajectory of camera shake. As one approach for detecting camera shake, a method for determining k (x, y), which is the PSF from the degraded image B using a Bayesian estimation framework, is described in, for example, “Removing Camera” As shown in “Shake from a Single Photograph” (Furgus et al.) Etc., k (x, y) is determined from B (x, y) which is the obtained image information by using these methods. You just have to do it.
得られたＰＳＦの例を図６に示す。図６（ａ）はぶれ画像であり、図６（ｂ）がこれから得られたＰＳＦの強度を画像の濃淡で示したものである（実際には色で強度が識別されているが、出願制約の関係で灰色情報となっている）。図６（ｂ）において、横軸がｘ軸、縦軸がｙ軸であり、ｋ（ｘ，ｙ）の大きさが画像の濃淡で示されている。ぶれがない場合は、明るい部分は点状になるはずであるが、ぶれのために、特にｘ方向に広がっている。 An example of the obtained PSF is shown in FIG. FIG. 6A is a blurred image, and FIG. 6B shows the intensity of the PSF obtained from this by the shading of the image (actually, the intensity is identified by the color, but the application restrictions Gray information in relation to In FIG. 6B, the horizontal axis is the x-axis, the vertical axis is the y-axis, and the size of k (x, y) is indicated by the shading of the image. When there is no blur, the bright part should be point-like, but due to the blur, it spreads in the x direction.
このようにしてＰＳＦを推定し、推定されたＰＳＦから、ミスショットの強度として、以下に定義する”ぶれ幅σ”を得る。 The PSF is estimated in this way, and the “blur width σ” defined below is obtained as the miss shot intensity from the estimated PSF.
ここで、ベクトル記号を付したμはＰＳＦの重心座標ベクトルを表す。ベクトル符号を付したＸは座標（ｘ，ｙ）の位置ベクトルを示す。この指標により、直感的に解りやすい形式でぶれの強弱を判定することができる。 Here, μ with a vector symbol represents a barycentric coordinate vector of the PSF. X with a vector code indicates a position vector of coordinates (x, y). With this index, it is possible to determine the strength of the shake in a format that is intuitively easy to understand.
次に、実施の形態で扱うミスショットの一つとして、「類似画像」を挙げる。類似画像とは、可搬性メモリ１０４に保存されている画像のうち、同一シーンを撮影している画像等、互いに似通っている画像のグループを意味する。このような類似画像の検出は、例えば、ISO/IEC 15938-3（mpeg7 visual discription）に定義されている各種画像統計量（色、テクスチャ、形状等）を特徴量として各画像を特徴付け、各特徴量を成分とする特徴ベクトルを画像毎に定義し、この特徴ベクトルの定義された線形空間を特徴空間として定義した上で、各画像に対応する特徴ベクトルの”距離”に応じてグルーピングすることにより行うことができる。 Next, “similar images” are listed as one of miss shots handled in the embodiment. The similar image means a group of images that are similar to each other, such as an image in which the same scene is captured, among images stored in the portable memory 104. Such similar image detection is performed by, for example, characterizing each image using various image statistics (color, texture, shape, etc.) defined in ISO / IEC 15938-3 (mpeg7 visual discription) as feature amounts, Define feature vectors whose components are feature quantities for each image, define the linear space in which the feature vectors are defined as feature spaces, and then group them according to the "distance" of the feature vectors corresponding to each image. Can be performed.
より具体的な例としては、特徴量として画像のテクスチャと関連したエッジヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトを用い、特徴空間上でのユークリッド距離に応じて類似度を判定した上で階層的クラスタリングをはじめとする各種クラスタリング手法によりグルーピングすることができる。 More specific examples include image statistics called edge histograms related to image texture as feature quantities, and color histograms and color layouts that are statistics related to color distribution, depending on the Euclidean distance in the feature space. Grouping by various clustering methods including hierarchical clustering after determining the similarity.
本実施の形態においては、クラスタリング手法として階層的クラスタリングを行ったとして説明を行う。なお、この手法に関する詳細は、例えば書籍[Richard O.Duda et al., ”Pattern Classification Second Edition”, John Wiley & Sons（邦題：パターン識別、監訳：尾上守夫、出版社：新技術コミュニケーションズ）]等の画像処理の教科書に記載されている。 In the present embodiment, description will be made assuming that hierarchical clustering is performed as a clustering method. Details regarding this method are, for example, the book [Richard O. Duda et al., “Pattern Classification Second Edition”, John Wiley & Sons (Japanese title: pattern identification, translation: Morio Onoe, publisher: New Technology Communications)], etc. It is described in the textbook of image processing.
階層的クラスタリングによりグルーピングを行うと、その類似度（距離）に応じて、どの画像とどの画像が同じグループに属するかを表す系統図が生成される。この系統図の例を図７に示す。 When grouping is performed by hierarchical clustering, a system diagram representing which images and which images belong to the same group is generated according to the similarity (distance). An example of this system diagram is shown in FIG.
図７において、縦軸はミスショット強度であり、縦方向の線の長さが、ユークリッド距離を示す。例えば、線分ＡＤとＢＥは、画像00001jpgと画像00002jpgを類似とみなすことができるユークリッド距離を示し、線分ＣＨ（及び線分ＡＤと線分ＦＧの長さの和）は、これら２つの画像と画像00003jpgを類似とみなすことができるユークリッド距離を示す。又、線分ＣＨと線分ＩＪの長さの和は、画像00001jpg〜画像00008jpgを類似とみなすことができるユークリッド距離を示す。 In FIG. 7, the vertical axis represents the miss shot intensity, and the length of the vertical line indicates the Euclidean distance. For example, line segments AD and BE indicate Euclidean distances in which the images 00001jpg and 00002jpg can be regarded as similar, and the line segment CH (and the sum of the lengths of the line segment AD and the line segment FG) are the two images. And Euclidean distance that can be considered similar to image 0003jpg. Further, the sum of the lengths of the line segment CH and the line segment IJ indicates the Euclidean distance at which the image 00001jpg to the image 0008jpg can be regarded as similar.
ＴＢは閾値を示し、この例においては、ＴＢで切断した下の部分が、類似グループとみなされる。すなわち、画像00001jpgと画像00002jpgが同じ類似グループとされ、画像00003jpgは単独グループとされ、画像00004jpgと画像00005jpgが同じ類似グループとみなされる。そして、画像00006jpg〜画像00008jpgが同じ類似グループとみなされる。 T B indicates the threshold, in this example, the lower part taken along the T B is considered similar groups. That is, the image 00001jpg and the image 00002jpg are regarded as the same similar group, the image 00003jpg is regarded as the single group, and the image 0004jpg and the image 0005jpg are regarded as the same similar group. The images 00000jpg to 0008jpg are regarded as the same similar group.
このように類似画像のグルーピングを行った場合、ミスショット強度として前述の特徴空間における距離を用いることができる。なお、ここでは画像特徴量から類似画像判定を行う例を挙げたが、撮影時の情報として、撮影時刻を画像リストに保存しておき、特徴量の一つとしてもよい。 When similar images are grouped in this way, the distance in the feature space described above can be used as the miss shot intensity. Here, an example is given in which similar image determination is performed from the image feature amount. However, as information at the time of shooting, the shooting time may be stored in an image list and may be one of the feature amounts.
次に、本実施の形態で扱うミスショットの一つとして、「被写体ぶれ」を挙げる。被写体ぶれとは露光時に主要被写体が動いてしまい、最終的に出来上がった画像において、主要被写体がぶれてしまっているものである。「手ぶれ」が画像全体がぶれてしまっている状態なのに対し、「被写体ぶれ」は画像の一部、特に主要被写体のみがぶれてしまっている点が異なる。被写体ぶれは、主要被写体が画像中に存在する領域が判れば、手ぶれと同じように（１）式により表現することができ、ぶれの検出も手ぶれと同じ手法を用いることができる。これより、被写体ぶれ検出は主要被写体領域の同定に帰着することができる。 Next, “subject blurring” is one of miss shots handled in the present embodiment. Subject blur means that the main subject moves during exposure and the main subject is blurred in the final image. “Camera shake” is a state where the entire image is blurred, whereas “Subject blur” is different in that only a part of the image, particularly the main subject, is blurred. If the region where the main subject is present in the image is known, the subject blur can be expressed by equation (1) in the same way as the camera shake, and the same method as the camera shake can be used for the shake detection. Thus, subject blur detection can result in identification of the main subject region.
本実施の形態では、この問題に対し、撮影時情報として合焦に使用されたＡＦエリア情報を用いることで解決を図る。画像撮影時に、撮影時の情報としてＡＦエリア情報を画像リストに記録しておき、被写体ぶれ検出時には、該当するエリアのみを切り出して、手ぶれと同様にぶれ検出処理を行う。このような処理手順とすることにより、被写体ぶれの検出がなされる。該当するミスショットの強度も手ぶれと同様に、ぶれ幅σを用いて定義できるので、これを用いるものとする。 In the present embodiment, this problem is solved by using AF area information used for focusing as shooting time information. At the time of image shooting, AF area information is recorded in the image list as information at the time of shooting, and at the time of subject shake detection, only the corresponding area is cut out and shake detection processing is performed in the same way as camera shake. By adopting such a processing procedure, subject shake is detected. Since the intensity of the corresponding miss shot can be defined using the blur width σ as in the case of camera shake, this is used.
次に、画像出力モードにおけるシステムの動作について、図１、図４を参照して説明を行う。ユーザーにより画像出力開始スイッチ１０９が押されると、制御部１０７は画像出力開始モードに移行する旨を画像処理部１０２に通知する（Ｓ４１）。画像処理部１０２は、画像リストを参照し、各画像のミスショット情報から出力候補画像リストを生成する（Ｓ４２）。出力候補画像リストの例を図８に示す。図８において、no.は出力する順を示すインデックス番号であり、fileは、画像ファイル名である。この例においては、画像00002jpgは、画像00001jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。又、画像00003jpgは、手ぶれ幅σが閾値を超えたのでミスショット画像として出力候補画像リストから外されている。画像00005jpgは、画像00004jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。画像00007jpg、画像00008jpgは、画像00006jpgの類似画像であるのでミスショット画像として出力候補画像リストから外されている。 Next, the operation of the system in the image output mode will be described with reference to FIGS. When the image output start switch 109 is pressed by the user, the control unit 107 notifies the image processing unit 102 that the mode is shifted to the image output start mode (S41). The image processing unit 102 refers to the image list and generates an output candidate image list from the miss shot information of each image (S42). An example of the output candidate image list is shown in FIG. In FIG. 8, no. Is an index number indicating the output order, and file is an image file name. In this example, the image 00002jpg is a similar image to the image 00001jpg, and thus is excluded from the output candidate image list as a miss shot image. Also, the image 00003jpg is excluded from the output candidate image list as a miss shot image because the camera shake width σ exceeds the threshold value. Since the image 0005jpg is a similar image to the image 0004jpg, it is excluded from the output candidate image list as a miss shot image. Since the image 00007jpg and the image 0008jpg are similar images to the image 0006jpg, they are excluded from the output candidate image list as miss shot images.
画像処理部１０２は出力候補画像リストに挙げられた画像の枚数、及び各画像の画像情報より、画像を出力する順番、時間、レイアウト情報等を記述した再生シナリオを作成する（Ｓ４３）。再生シナリオの例を図９に示す。図９においては、上から順に画像を出力するものとし、no.はインデックス番号であり、図８のインデックス番号に対応している。表示開始時刻は、表示を開始する時刻（秒）を示し、表示開始座標は、表示を開始するときの矩形画像表示領域の位置を示し、最初の２つの座標が矩形画像表示領域の左上の隅の座標、最後の２つの座標が矩形画像表示領域の右下の隅の座標を示している。 The image processing unit 102 creates a reproduction scenario describing the order of outputting images, time, layout information, and the like from the number of images listed in the output candidate image list and the image information of each image (S43). An example of a playback scenario is shown in FIG. In FIG. 9, images are output in order from the top, and no. Is an index number corresponding to the index number in FIG. The display start time indicates the time (seconds) at which display is started, the display start coordinates indicate the position of the rectangular image display area when display is started, and the first two coordinates are the upper left corner of the rectangular image display area. The last two coordinates indicate the coordinates of the lower right corner of the rectangular image display area.
効果１は、画像を表示する際の効果であり、例えばF.Iはフェードイン、C.Iはカットインを示す。表示時間は画像を表示している時間（秒）を示す。効果２は、画像を表示しているときの効果であり、ズームイン、ズームアウト、スライド等である。表示終了座標は、表示を終了するときの矩形画像表示領域の位置を示し、最初の２つの座標が矩形画像表示領域の左上の隅の座標、最後の２つの座標が矩形画像表示領域の右下の隅の座標を示している。 The effect 1 is an effect when displaying an image. For example, F.I indicates a fade-in, and C.I indicates a cut-in. The display time indicates the time (seconds) during which an image is displayed. Effect 2 is an effect when an image is displayed, such as zooming in, zooming out, and sliding. The display end coordinates indicate the position of the rectangular image display area when the display is ended. The first two coordinates are the coordinates of the upper left corner of the rectangular image display area, and the last two coordinates are the lower right of the rectangular image display area. The coordinates of the corners are shown.
再生シナリオの作成が終了したならば、画像処理部１０２は、この再生シナリオを参照して、画像データより出力画像を構築し、外部端子１０８を通じてモニタ１１０（画像表示装置）へ出力する（Ｓ４４）。図９に示す再生シナリオに基づく出力画像の例を図１０に示す。 When the creation of the playback scenario is completed, the image processing unit 102 refers to the playback scenario, constructs an output image from the image data, and outputs the output image to the monitor 110 (image display device) through the external terminal 108 (S44). . An example of an output image based on the reproduction scenario shown in FIG. 9 is shown in FIG.
まず、no.1の画像である画像00001jpgの表示が時間０秒から開始される。表示領域は、左上隅座標（０，０）と右下隅座標（319，239）で囲まれる領域である。この画像は、フェードイン効果を伴って表示開始され、表示後ズームインされ画像が拡大される。表示領域は変わらない。そして、１０秒経過後フェードアウトにより消去される。 First, the display of the image 00001jpg, which is a no.1 image, starts at time 0 seconds. The display area is an area surrounded by upper left corner coordinates (0, 0) and lower right corner coordinates (319, 239). This image starts to be displayed with a fade-in effect, and is zoomed in after the display to enlarge the image. The display area does not change. Then, after 10 seconds, it is erased by fading out.
１０秒経過すると、No.2の画像である00004jpgとno.3の画像である00006jpgが表示される。表示領域は、それぞれ図９の表示開始座標で決定される領域である。これらの画像も表示開始の際、フェードイン効果を伴って表示開始される。そして、表示後ズームインされ画像が拡大される。表示領域は変わらない。そして、１０秒経過後フェードアウトにより消去される。 When 10 seconds elapses, No. 2 image 0004jpg and no. 3 image 0006jpg are displayed. The display areas are areas determined by the display start coordinates in FIG. These images are also displayed with a fade-in effect at the start of display. After the display, the image is zoomed in and the image is enlarged. The display area does not change. Then, after 10 seconds, it is erased by fading out.
２０秒経過すると、No.4の画像である00013jpgとno.5の画像である00014jpgと、no.6の画像である00057jpgが表示される。表示領域は、それぞれ図９の表示開始座標で決定される領域である。これらの画像も表示開始の際、カットイン効果を伴って表示開始される。そして、表示後、画像00013jpgと画像0057jpgとが、１０秒間に亘りスライドされる。スライドの最終位置は、図９の表示終了座標で示される位置である。そして、１０秒経過後カットアウトにより消去される。 When 20 seconds elapses, the No. 4 image 0103jpg, the no. 5 image 00001jpg, and the no. 6 image 00057jpg are displayed. The display areas are areas determined by the display start coordinates in FIG. These images are also displayed with a cut-in effect when the display is started. After the display, the image 00001jpg and the image 0057jpg are slid for 10 seconds. The final position of the slide is the position indicated by the display end coordinates in FIG. Then, after 10 seconds, it is erased by cutout.
以下、各ミスショットにおいて、ミスショット情報に基づく画像選定を如何に行うかに関して述べる。先ず、ミスショットが手ぶれ、被写体ぶれの場合における選定手順を説明する。予め決められたぶれ幅の閾値ＴＢに対し、画像リストに記載された各画像の手ぶれ／被写体ぶれに関するミスショット強度ｂ（ぶれ幅σ＝ｂ）を比較する。ｂ＞ＴＢならばミスショットと判定し出力候補画像リストからは除外、そうでなければ出力画像リストに書き込む。これを、画像リスト上に記載の画像全てに実施する。以上が、手ぶれ、被写体ぶれの場合での画像の選定手順である。 Hereinafter, how to select an image based on the miss shot information in each miss shot will be described. First, the selection procedure when a miss shot is a camera shake and a subject shake will be described. Predetermined relative threshold value T B of the blur width, comparing the missed shot intensities for shake / motion blur of the image listed in the image list b (blur width σ = b). If b> T B, it is determined as a miss shot and excluded from the output candidate image list, otherwise it is written to the output image list. This is performed for all the images described on the image list. The above is the procedure for selecting an image in the case of camera shake and subject shake.
次に、類似画像の場合に関して図７、図１１を用いて説明を行う。予め決められた距離ＴＳにより、先に示した系統図（図７）の切断を行う（図１１）これにより、類似画像グループが決定する。この場合、図７に示す画像が、４つの類似グループに分けられる。 Next, the case of a similar image will be described with reference to FIGS. The predetermined distance T S, by which to cut the system diagram shown above (Fig. 7) (Fig. 11), similar image groups is determined. In this case, the image shown in FIG. 7 is divided into four similar groups.
類似画像グループが決定した後、各グループにある画像から、画像リスト中で上位にあるもの１枚を選択し、出力画像候補リストに書き込む。すなわち各グループのうち、図１１で下線を施した画像（最初に撮像された画像）が、各類似グループの代表画像として出力画像リストに書き込まれ、他の画像は出力候補から除外される。 After the similar image group is determined, one image that is higher in the image list is selected from the images in each group, and is written in the output image candidate list. That is, among each group, the image underlined in FIG. 11 (the first captured image) is written in the output image list as a representative image of each similar group, and other images are excluded from output candidates.
以上が、本実施の形態における画像選定の手順である。本実施例においては、手ぶれ、被写体ぶれに係る閾値ＴＢ及び類似画像に係る閾値ＴＳはそれぞれ予め決められたものであるとしたが、これはシステムにユーザーが閾値を入力する為のインターフェースを備えた上で、ユーザーが好みの値に入力できるようにしてもよいし、また、システムによるミスショットの自動判定がユーザーの感覚とずれた場合に、その旨をユーザーがシステムに通知するインターフェースを持たせた上で、ニューラルネット等の学習アルゴリズムを用いて、ユーザーの好みを反映した閾値を学習により決定する構成にしてもよい。 The above is the image selection procedure in this embodiment. In the present embodiment, the camera shake, the interface for was The threshold T S in according to the threshold T B and similar image according to the motion blur in which predetermined each which to enter a user threshold system In addition, it is possible to allow the user to input a desired value, and when the automatic determination of miss shots by the system deviates from the user's sense, an interface is provided for the user to notify the system to that effect. Then, a threshold value reflecting the user's preference may be determined by learning using a learning algorithm such as a neural network.
本実施の形態では、画像は外部端子を通じて外部モニタより表示する構成としているが、外部端子にモニタが接続されていない場合、その旨をユーザーが指定したり、あるいは端子を通じてシステムが自動判定することにより、画像の出力を撮像装置に組み込まれた表示部に切り替えてもよい。
In this embodiment, an image is displayed from an external monitor through an external terminal. However, if a monitor is not connected to the external terminal, the user can specify that, or the system can automatically determine through the terminal. Thus, the output of the image may be switched to the display unit incorporated in the imaging device.
１００…撮像装置、１０１…メモリ、１０２…画像処理部、１０３…表示部、１０４…可搬性メモリ、１０５…ミスショット検出部、１０６…ミスショット識別開始スイッチ、１０７…制御部、１０８…外部端子、１０９…画像出力開始スイッチ、１１０…モニタ DESCRIPTION OF SYMBOLS 100 ... Imaging device 101 ... Memory, 102 ... Image processing part, 103 ... Display part, 104 ... Portable memory, 105 ... Miss shot detection part, 106 ... Miss shot identification start switch, 107 ... Control part, 108 ... External terminal 109: Image output start switch 110: Monitor
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007121367A JP2008278344A (en) | 2007-05-02 | 2007-05-02 | Image output system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007121367A JP2008278344A (en) | 2007-05-02 | 2007-05-02 | Image output system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008278344A true JP2008278344A (en) | 2008-11-13 |
Family
ID=40055733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007121367A Pending JP2008278344A (en) | 2007-05-02 | 2007-05-02 | Image output system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008278344A (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06121282A (en) * | 1992-10-09 | 1994-04-28 | Matsushita Electric Ind Co Ltd | Moving picture high speed reproduction device |
| JP2003078859A (en) * | 2001-09-06 | 2003-03-14 | Sony Corp | Image recording and reproducing device, reproducing device, recording and reproducing method and reproducing method |
| JP2005167377A (en) * | 2003-11-28 | 2005-06-23 | Sony Corp | Motion picture editor and motion picture editing method |
| JP2005236646A (en) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | Image display device, method, and program |
| JP2006050497A (en) * | 2004-08-09 | 2006-02-16 | Casio Comput Co Ltd | Image photographing apparatus and image processing system |
| JP2006079461A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Electronic album display system, image classification device, electronic album display method, image classification method, and program |
| JP2006122502A (en) * | 2004-10-29 | 2006-05-18 | Olympus Corp | Image processing method and capsulated endoscopic device |
| JP2006311340A (en) * | 2005-04-28 | 2006-11-09 | Olympus Imaging Corp | Image display device and digital camera |
| JP2006320650A (en) * | 2005-05-20 | 2006-11-30 | Olympus Medical Systems Corp | Image display device |
| JP2007096774A (en) * | 2005-09-29 | 2007-04-12 | Casio Comput Co Ltd | Image display device and program |
| WO2007055334A1 (en) * | 2005-11-10 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Viewer device, slide show display method in viewer device, and program |
-
2007
- 2007-05-02 JP JP2007121367A patent/JP2008278344A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06121282A (en) * | 1992-10-09 | 1994-04-28 | Matsushita Electric Ind Co Ltd | Moving picture high speed reproduction device |
| JP2003078859A (en) * | 2001-09-06 | 2003-03-14 | Sony Corp | Image recording and reproducing device, reproducing device, recording and reproducing method and reproducing method |
| JP2005167377A (en) * | 2003-11-28 | 2005-06-23 | Sony Corp | Motion picture editor and motion picture editing method |
| JP2005236646A (en) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | Image display device, method, and program |
| JP2006050497A (en) * | 2004-08-09 | 2006-02-16 | Casio Comput Co Ltd | Image photographing apparatus and image processing system |
| JP2006079461A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Electronic album display system, image classification device, electronic album display method, image classification method, and program |
| JP2006122502A (en) * | 2004-10-29 | 2006-05-18 | Olympus Corp | Image processing method and capsulated endoscopic device |
| JP2006311340A (en) * | 2005-04-28 | 2006-11-09 | Olympus Imaging Corp | Image display device and digital camera |
| JP2006320650A (en) * | 2005-05-20 | 2006-11-30 | Olympus Medical Systems Corp | Image display device |
| JP2007096774A (en) * | 2005-09-29 | 2007-04-12 | Casio Comput Co Ltd | Image display device and program |
| WO2007055334A1 (en) * | 2005-11-10 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Viewer device, slide show display method in viewer device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2040246B1 (en) | Image display control apparatus and image display control method | |
| EP1737216B1 (en) | Object determination device, imaging device and monitor | |
| JP4640456B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
| JP4912117B2 (en) | Imaging device with tracking function | |
| US9001230B2 (en) | Systems, methods, and computer-readable media for manipulating images using metadata | |
| JP5054063B2 (en) | Electronic camera, image processing apparatus, and image processing method | |
| US8131014B2 (en) | Object-tracking computer program product, object-tracking device, and camera | |
| JP5760324B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium on which the image processing program is recorded | |
| JP2007129480A (en) | Imaging device | |
| EP2547089A1 (en) | Electronic zoom device, electronic zoom method, and program | |
| JP2006148260A (en) | Automatic tracking device, image abnormality detector, automatic tracking method, image abnormality detecting method, program and storage medium | |
| JP5268025B2 (en) | Imaging device | |
| JP2007110262A (en) | Software for image appreciation and image storage device | |
| EP2200275B1 (en) | Method and apparatus of displaying portrait on a display | |
| JP2007142507A (en) | Imaging apparatus | |
| JP2007110261A (en) | Digital camera | |
| JP2008278347A (en) | Image display system | |
| JP2006319526A (en) | Network camera system and its control method | |
| KR20110099498A (en) | Digital image processing apparatus and digital image processing method | |
| JP2008278344A (en) | Image output system | |
| JP2008211534A (en) | Face detecting device | |
| JP5383207B2 (en) | Information processing apparatus, control method, computer program, and storage medium | |
| JP5570348B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4966167B2 (en) | Image evaluation apparatus and camera having the image evaluation apparatus | |
| JP5434096B2 (en) | Digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20100325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111114 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111213 |