JP2003203229A - Image processor, image processing method, storage medium and program - Google Patents

Image processor, image processing method, storage medium and program

Info

Publication number
JP2003203229A
JP2003203229A JP2002001582A JP2002001582A JP2003203229A JP 2003203229 A JP2003203229 A JP 2003203229A JP 2002001582 A JP2002001582 A JP 2002001582A JP 2002001582 A JP2002001582 A JP 2002001582A JP 2003203229 A JP2003203229 A JP 2003203229A
Authority
JP
Japan
Prior art keywords
image
correction
image data
processing
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002001582A
Other languages
Japanese (ja)
Other versions
JP2003203229A5 (en
Inventor
Kenji Miwa
憲治 三輪
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, キヤノン株式会社 filed Critical Canon Inc
Priority to JP2002001582A priority Critical patent/JP2003203229A/en
Publication of JP2003203229A publication Critical patent/JP2003203229A/en
Publication of JP2003203229A5 publication Critical patent/JP2003203229A5/ja
Granted legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of regularly efficiently and surely providing the image of a subject with high resolution. <P>SOLUTION: An information acquiring means 121 acquires the information related to the correlation of two imaging means 114a and 114b. A selecting means 150 selects an optional algorithm from two or more correction algorithms for correcting, when connecting two image data obtained by the imaging means 114a and 114b to generate the image data of the whole subject, the connection part. A correcting means 120 executes the correcting processing of the connection part according to the correction algorithm selected by the selection means 150. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention
【0001】[0001]
【発明の属する技術分野】本発明は、例えば、被写体を
複数の撮像素子により分割して撮像して得られた複数の
撮像画像を合成することで、当該被写体全体に対する撮
像画像を生成する装置或いはシステムに用いられる、画
像処理装置、画像処理方法、それを実施するためのプロ
グラムを記憶したコンピュータ読出可能な記憶媒体、及
び当該プログラムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to, for example, an apparatus for generating a picked-up image for the entire subject by synthesizing a plurality of picked-up images obtained by dividing a picked-up subject by a plurality of image pickup devices The present invention relates to an image processing device used in a system, an image processing method, a computer-readable storage medium storing a program for implementing the same, and the program.
【0002】[0002]
【従来の技術】従来より、CCD等の固体撮像素子を用
いた電子カメラ等の撮像装置では、解像度を高める方法
として、例えば、特開平5−137059号や特開平6
−141246号等に記載されているような、複数のC
CDにより被写体を部分的に撮像し、これにより得られ
た複数の撮像画像を画像処理により合成することで、当
該被写体全体の撮像画像を取得する方法が採用されてい
る。
2. Description of the Related Art Conventionally, in an image pickup apparatus such as an electronic camera using a solid-state image pickup device such as a CCD, a method for increasing the resolution is disclosed in, for example, Japanese Patent Laid-Open No. 137059/1994.
A plurality of Cs as described in No. 141246, etc.
A method of partially capturing an image of a subject with a CD and synthesizing a plurality of captured images obtained by the image processing to obtain a captured image of the entire subject is adopted.
【0003】また、例えば、特開平3−74991号等
には、被写体の画像情報を分割し、当該分割画像情報を
読み取るべく複数の撮像素子を設け、隣接する撮像素子
の撮像範囲を境界部分で重複させ、両撮像素子の撮像画
像を境界部分で貼り合わせることで、上記被写体の画像
情報全体の画像を得る画像読取装置が記載されている。
特に、この画像読取装置は、ある撮像素子の撮像画素を
構成する画素データの中から、近接画素との間の空間的
な濃度変化の小さい画素位置を検出し、当該画素位置に
おいて、もう一方の撮像素子の撮像画素を構成する画素
データを貼り合わせるように構成されている。
Further, for example, in Japanese Patent Application Laid-Open No. 3-74991, image information of a subject is divided, a plurality of image pickup devices are provided to read the divided image information, and the image pickup range of the adjacent image pickup device is set at a boundary portion. There is described an image reading apparatus that obtains an image of the entire image information of the subject by overlapping and adhering the picked-up images of both image pickup elements at a boundary portion.
In particular, this image reading device detects a pixel position having a small spatial density change between adjacent pixels from pixel data forming an image pickup pixel of an image pickup element, and detects the pixel position of the other pixel at the pixel position. The pixel data forming the image pickup pixels of the image pickup device is configured to be pasted together.
【0004】また、例えば、特開平11−55558号
等には、被写体を部分的に撮像するにあたり、境界部分
が重複するように撮像可能なディジタルカメラにおい
て、重複した境界部分の画像を構成する画素データを用
いて、平均値演算等により境界部分における濃度段差を
目立たなくした境界部画像を生成し、当該境界部画像
と、当該境界部分を除く複数の画像とを合成すること
で、上記被写体の撮像画像を生成する構成が記載されて
いる。
Further, for example, in Japanese Laid-Open Patent Publication No. 11-55558, in a digital camera capable of picking up an image of a subject so that the boundary portions overlap, the pixels forming the images of the overlapping boundary portions. The data is used to generate a boundary image in which the density step at the boundary is made inconspicuous by an average value calculation or the like, and the boundary image and a plurality of images excluding the boundary are combined to obtain the image of the subject. A configuration for generating a captured image is described.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、上述し
たような、複数の撮像素子により被写体を部分的に分割
して撮像し、これらの撮像画像を貼り合わせることで、
当該被写体全体の撮像画像を取得するように構成された
従来の画像処理装置では、それぞれの撮像素子間の感度
差が異なる場合、撮像画像の貼り合わせ部分(境界部分)
で当該感度差に起因する画像濃度の段差が生じてしま
い、不自然な画質の被写体全体の撮像画像が得られると
いう不具合が生じる。
However, as described above, the subject is partially divided by the plurality of image pickup elements to be picked up, and these picked-up images are pasted together,
In the conventional image processing apparatus configured to acquire the captured image of the entire subject, when the difference in sensitivity between the respective image sensors is different, the bonded portion (boundary portion) of the captured images
Therefore, a step of image density is caused due to the difference in sensitivity, which causes a problem that a captured image of the entire subject with unnatural image quality is obtained.
【0006】また、特開平5−137059号や特開平
6−141246号等には、複数の撮像素子により被写
体を部分的に分割して撮像する技術については開示され
ているが、上記の問題(撮像素子間の感度に起因して撮
像画像の境界部分に生じる濃度段差の問題)に関しての
記載がなく、当然のことながら当該問題の解決方法も記
載されていない。
Further, Japanese Unexamined Patent Publication No. 5-137059, Japanese Unexamined Patent Publication No. 6-141246 and the like disclose techniques for partially dividing an image of a subject by a plurality of image pickup devices, but the above problems ( There is no description regarding the problem of the density difference occurring in the boundary portion of the captured image due to the sensitivity between the image pickup elements), and naturally, there is no description of the solution to the problem.
【0007】また、特開平3−74991号等には、境
界部分での画像の乱れ等の画質不良を改善する方法につ
いて記載されているが、ここに記載の方法では、ライン
毎に境界部分の濃度変化の少ない位置を検出して2つの
部分画像を単純に貼り合わせる構成であるため、当該貼
合処理が複雑になると共に、処理時間が長くなる。ま
た、当該貼合処理は、横方向のライン単位での処理に過
ぎないため、縦方向の境界部分の急激な濃度変化を効果
的に抑制することが困難である。したがって、撮像素子
間の感度差に起因して境界部分に生じる濃度段差を効果
的に低減させることが困難であると共に、貼り合わせ部
分が目立たない撮像画像を得ることが非常に困難であ
る。
Further, Japanese Patent Laid-Open No. 3-74991 discloses a method for improving image quality defects such as image distortion at the boundary portion. However, in the method described here, the boundary portion is changed line by line. Since the configuration is such that the position where the density change is small is detected and the two partial images are simply pasted together, the pasting process becomes complicated and the processing time becomes long. In addition, since the bonding process is only a process in units of horizontal lines, it is difficult to effectively suppress a rapid change in density at the boundary portion in the vertical direction. Therefore, it is difficult to effectively reduce the density step generated at the boundary portion due to the difference in sensitivity between the image pickup devices, and it is very difficult to obtain a picked-up image in which the bonded portion is inconspicuous.
【0008】また、特開平11−55558号等には、
重複した境界部分の画像を構成する画像データを用いて
境界部画像を生成する方法として、平均値演算を用いた
方法や、予め設定された所定の重みで加重平均する方法
が記載されているが、例えば、予め設定された所定の重
みで加重平均する方法の場合、撮像素子間の感度差は、
撮像素子の温度等の撮像時の条件により大きく変化する
ため、予め設定された所定の重みでの加重平均では、撮
像素子間の感度差に起因して境界部分に生じる濃度段差
を効果的に低減させることが困難である。また、平均値
演算を用いる方法であっても、撮像素子の経年変化や撮
像条件により撮像素子間の感度差が発生するため、効果
的に補正することが困難である。
Further, in Japanese Patent Laid-Open No. 11-55558, etc.,
As a method of generating a boundary image using image data forming images of overlapping boundary parts, a method using an average value calculation and a method of weighted averaging with a predetermined weight set in advance are described. , For example, in the case of the method of weighted averaging with a predetermined weight set in advance, the sensitivity difference between the image pickup elements is
Since it greatly changes depending on the conditions such as the temperature of the image sensor at the time of image capture, the weighted average with a predetermined weight set in advance effectively reduces the density step generated at the boundary portion due to the sensitivity difference between the image sensors. It is difficult to let Further, even with the method using the average value calculation, it is difficult to effectively correct the sensitivity because the sensitivity difference between the image sensors occurs due to the secular change of the image sensors and the imaging conditions.
【0009】また、上記の特開平11−55558号等
に記載の方法では、生成された境界部画像と、当該境界
部分を除く複数の画像との合成処理が別途必要となるた
め、その分処理が煩雑となり、長い処理時間を必要とす
る。さらに、被写体全体の撮像画像(合成画像)を見た
場合、境界部分を除いた複数の画像の濃度差が依然残さ
れた状態であるため、当該撮像画像中に感度差に起因す
る画像濃度の差がある不自然な画質の撮像画像として得
られる、という不具合が生じる。
Further, in the method described in the above-mentioned Japanese Patent Laid-Open No. 11-55558, it is necessary to separately combine the generated boundary image and a plurality of images excluding the boundary portion. Becomes complicated and requires a long processing time. Furthermore, when the captured image of the entire subject (composite image) is viewed, the density difference between the plurality of images excluding the boundary portion remains, so that the image density of the image density caused by the difference in sensitivity remains in the captured image. There is a problem that a captured image having an unnatural image quality with a difference is obtained.
【0010】そこで、本発明は、上記の欠点を除去する
ために成されたもので、高解像度の被写体の画像を、常
に効率的に確実に提供できる、画像処理装置、画像処理
方法、それを実施するためのプログラムを記憶したコン
ピュータ読出可能な記憶媒体、及び当該プログラムを提
供することを目的とする。具体的には例えば、複数の撮
像素子により被写体を分割撮像して得られた複数の撮像
画像を接続することで、当該被写体全体の撮像画像を生
成するにあたり、撮像素子の接続部分の相関関係の判別
結果に応じて、複数の補正アルゴリズムを動的に変更し
て実行することで、撮像画像におけるレベル差を適切に
補正する。
Therefore, the present invention has been made in order to eliminate the above-mentioned drawbacks, and an image processing apparatus, an image processing method, and an image processing method capable of always and efficiently providing a high-resolution image of a subject. An object of the present invention is to provide a computer-readable storage medium storing a program to be executed and the program. Specifically, for example, by connecting a plurality of captured images obtained by dividing and imaging a subject with a plurality of image sensors, in generating a captured image of the entire subject, the correlation of the connection portion of the image sensors The level difference in the captured image is appropriately corrected by dynamically changing and executing a plurality of correction algorithms according to the determination result.
【0011】[0011]
【課題を解決するための手段】斯かる目的下において、
第1の発明は、撮像手段から得られた複数の画像データ
を合成する画像処理装置であって、上記複数の画像デー
タの相関関係に関する情報を取得する情報取得手段と、
上記情報取得手段で得られた相関関係情報に基づいて、
上記複数の画像データを合成する際に当該画像データの
接続部分を補正するためのアルゴリズムを選択する選択
手段と、上記選択手段で選択された補正アルゴリズムに
従って、上記接続部分の補正処理を実行する補正手段と
を備えることを特徴とする。
[Means for Solving the Problems] Under such a purpose,
A first invention is an image processing apparatus for synthesizing a plurality of image data obtained from an image pickup means, and an information obtaining means for obtaining information on a correlation between the plurality of image data,
Based on the correlation information obtained by the information acquisition means,
Selection means for selecting an algorithm for correcting the connection part of the image data when synthesizing the plurality of image data, and correction for executing the correction process of the connection part according to the correction algorithm selected by the selection means And means.
【0012】第2の発明は、上記第1の発明において、
上記相関関係情報は、各画像データのレベル差であり、
上記選択手段は上記各画像データのレベル差に応じてア
ルゴリズムを選択することを特徴とする。
A second invention is the same as the first invention,
The correlation information is a level difference of each image data,
It is characterized in that the selecting means selects an algorithm according to the level difference between the image data.
【0013】第3の発明は、上記第1の発明において、
上記相関関係情報は、各画像データの分散値であり、上
記選択手段は上記各画像データの分散値の大きさに応じ
てアルゴリズムを選択することを特徴とする。
A third invention is the same as the first invention,
The correlation information is a variance value of each image data, and the selecting means selects an algorithm according to the magnitude of the variance value of each image data.
【0014】第4の発明は、撮像手段から得られる複数
の画像データを合成する画像処理装置であって、上記複
数の画像データのレベル差に関する情報を取得する情報
取得手段と、上記情報取得手段によって得られるレベル
差が所定のレベルより大きい場合、上記複数の画像デー
タの接続部分を補正して合成する合成手段と、上記情報
取得手段によって得られるレベル差が所定のレベルより
小さい場合、上記複数の画像データを合成せずに記憶媒
体に記憶する制御手段とを有することを特徴とする。
A fourth aspect of the present invention is an image processing apparatus for synthesizing a plurality of image data obtained from an image pickup means, wherein the information obtaining means obtains information on a level difference between the plurality of image data and the information obtaining means. If the level difference obtained by the above is larger than a predetermined level, the combining means for correcting and combining the connection portion of the plurality of image data, and if the level difference obtained by the information acquisition means is smaller than the predetermined level, the plurality of And a control means for storing the image data in the storage medium without synthesizing the image data.
【0015】第5の発明は、上記第4の発明において、
上記制御手段は、上記情報取得手段によって得られるレ
ベル差が所定のレベルより小さい場合、上記記憶媒体に
記憶する前に上記複数の画像データを破棄するか上記記
憶媒体に記憶するかを選択するための通知を行なうため
の手段を有することを特徴とする。
A fifth invention is the same as the above-mentioned fourth invention,
If the level difference obtained by the information acquisition means is smaller than a predetermined level, the control means selects whether to discard the plurality of image data or store the image data in the storage medium before storing the image data in the storage medium. It is characterized by having a means for making a notification of.
【0016】第6の発明は、撮像手段から得られた複数
の画像データを合成する画像処理装置であって、上記複
数の撮像手段の動作モードに応じて、上記複数の画像デ
ータを合成する際に当該画像データの接続部分を補正す
るためのアルゴリズムを選択する選択手段と、上記選択
手段で選択された補正アルゴリズムに従って、上記接続
部分の補正処理を実行する補正手段とを備えることを特
徴とする。
A sixth aspect of the present invention is an image processing apparatus for synthesizing a plurality of image data obtained from image pickup means, wherein the plurality of image data are synthesized in accordance with the operation mode of the plurality of image pickup means. And a selecting means for selecting an algorithm for correcting the connected portion of the image data, and a correcting means for executing the correction processing of the connected portion according to the correction algorithm selected by the selecting means. .
【0017】第7の発明は、上記第6の発明において、
上記補正値が予め設定された閾値を超えた場合、外部か
らの指示に基づいて、上記補正処理対象の画像データを
破棄する又は保存する手段を備えることを特徴とする。
A seventh invention is based on the sixth invention.
When the correction value exceeds a preset threshold value, the image processing device is provided with means for discarding or storing the image data to be corrected, based on an instruction from the outside.
【0018】第8の発明は、上記第1ないし7の何れか
の発明において、上記撮像手段は複数の撮像素子を有す
ることを特徴とする。
An eighth invention is characterized in that, in any one of the first to seventh inventions, the image pickup means has a plurality of image pickup elements.
【0019】第9の発明は、撮像手段から得られた複数
の画像データを合成するための画像処理方法であって、
上記複数の画像データの相関関係に関する情報を取得す
る情報取得ステップと、上記情報取得ステップにより得
られた相関関係情報に基づいて、上記複数の画像データ
を合成する際に当該画像データの接続部分を補正するた
めのアルゴリズムを選択する選択ステップと、上記選択
ステップにより選択された補正アルゴリズムに従って、
上記接続部分の補正処理を実行する補正ステップとを含
むことを特徴とする。
A ninth invention is an image processing method for synthesizing a plurality of image data obtained from the image pickup means,
An information acquisition step of acquiring information on the correlation of the plurality of image data, and a connection portion of the image data when synthesizing the plurality of image data based on the correlation information obtained by the information acquisition step. According to the selection step for selecting the algorithm for correction and the correction algorithm selected by the above selection step,
And a correction step for executing the correction process of the connection portion.
【0020】第10の発明は、撮像手段から得られた複
数の画像データを生成するための画像処理方法であっ
て、上記撮像手段の撮影モードに応じて、上記複数の画
像データを合成する際に当該画像データの接続部分を補
正するためのアルゴリズムを選択する選択ステップと、
上記選択ステップにより選択された補正アルゴリズムに
従って、上記接続部分の補正処理を実行する補正ステッ
プとを含むことを特徴とする。
A tenth aspect of the present invention is an image processing method for generating a plurality of image data obtained from an image pickup means, wherein the plurality of image data are combined in accordance with the image pickup mode of the image pickup means. A selection step of selecting an algorithm for correcting the connection portion of the image data,
And a correction step of executing the correction process of the connection portion according to the correction algorithm selected in the selection step.
【0021】第11の発明は、複数の撮像素子を接続し
て1つの撮像素子を構成し、当該撮像素子により被写体
を撮像して得られた画像データを画像処理する画像処理
方法であって、上記画像データから上記複数の撮像素子
の相関関係を判別する判別ステップと、上記複数の撮像
素子間のレベル差を補正するための複数の補正アルゴリ
ズムと、上記複数の補正アルゴリズムの中の任意の補正
アルゴリズムの実行結果に基づいて、上記画像データに
おける上記複数の撮像素子間のレベル差を補正する補正
ステップと、上記判別ステップによる判別結果に基づい
て、上記補正ステップで用いる補正アルゴリズムを上記
複数の補正アルゴリズムの中で動的に変更して設定する
設定ステップとを含むことを特徴とする。
An eleventh invention is an image processing method for connecting a plurality of image pickup devices to form one image pickup device, and image-processing image data obtained by picking up an image of a subject by the image pickup device. A determination step of determining the correlation between the plurality of image sensors from the image data, a plurality of correction algorithms for correcting the level difference between the plurality of image sensors, and an arbitrary correction among the plurality of correction algorithms A correction step for correcting the level difference between the plurality of image pickup devices in the image data based on the execution result of the algorithm, and a correction algorithm used in the correction step based on the determination result by the determination step And a setting step of dynamically changing and setting in the algorithm.
【0022】第12の発明は、複数の撮像素子を接続し
て1つの撮像素子を構成し、当該撮像素子により被写体
を撮像して得られた画像データを画像処理する画像処理
方法であって、単写モード及び連写モードを含む動作モ
ードの中から任意の動作モードを選択するモード選択ス
テップと、上記複数の撮像素子間のレベル差を補正する
ための複数の補正アルゴリズムと、上記複数の補正アル
ゴリズムの中の任意の補正アルゴリズムの実行結果に基
づいて、上記画像データにおける上記複数の撮像素子間
のレベル差を補正する補正ステップと、上記モード選択
ステップにより選択された動作モードに基づいて、上記
補正ステップで用いる補正アルゴリズムを上記複数の補
正アルゴリズムの中で動的に変更して設定する設定ステ
ップとを含むことを特徴とする。
A twelfth invention is an image processing method for connecting a plurality of image pickup devices to form one image pickup device, and image-processing image data obtained by picking up an image of a subject by the image pickup device. A mode selection step of selecting an arbitrary operation mode from operation modes including a single shooting mode and a continuous shooting mode, a plurality of correction algorithms for correcting the level difference between the plurality of image pickup devices, and the plurality of corrections Based on the execution result of any correction algorithm in the algorithm, based on the correction step for correcting the level difference between the plurality of image pickup elements in the image data, and the operation mode selected by the mode selection step, And a setting step for dynamically changing and setting the correction algorithm used in the correction step among the plurality of correction algorithms. And it features.
【0023】第13の発明は、上記第11又は12の発
明において、上記補正ステップにより補正処理された画
像データ上に残る複数の撮像素子の接続部分のレベル差
を容認する閾値を設定する閾値設定ステップを含むこと
を特徴とする。
A thirteenth invention is, in the eleventh or twelfth invention, a threshold value setting for setting a threshold value for allowing a level difference between connection portions of a plurality of image pickup devices remaining on the image data corrected by the correction step. It is characterized by including a step.
【0024】第14の発明は、上記第13の発明におい
て、上記補正ステップにより補正処理された画像データ
上に残る複数の撮像素子の接続部分のレベル差が、上記
閾値設定ステップにより設定された閾値を超えた場合
に、外部の端末装置上で起動する任意のアプリケーショ
ンの実行により上記補正処理が可能なように、上記複数
の撮像素子により得られた画像データをRAWデータと
してファイルに保存する保存ステップを含むことを特徴
とする。
In a fourteenth aspect based on the thirteenth aspect, the level difference between the connection portions of the plurality of image pickup devices remaining on the image data corrected by the correction step is set to the threshold value set in the threshold setting step. When the value exceeds the limit, a saving step of saving the image data obtained by the plurality of image pickup devices as a RAW data in a file so that the correction process can be performed by executing an arbitrary application started on an external terminal device. It is characterized by including.
【0025】第15の発明は、上記第13の発明におい
て、上記補正ステップにより補正処理された画像データ
上に残る複数の撮像素子の接続部分のレベル差が、上記
閾値設定ステップにより設定された閾値を超えた場合の
処理ステップとして、ユーザに対して画像データの保存
又は破棄の意志を確認する確認ステップと、上記確認ス
テップによりユーザが画像データ保存を選択した場合
に、外部の端末装置上で起動する任意のアプリケーショ
ンの実行により上記補正処理が可能なように、上記複数
の撮像素子により得られた画像データをRAWデータと
してファイルに保存する保存ステップとを含むことを特
徴とする。
A fifteenth invention is the thirteenth invention, wherein the level difference of the connection portion of the plurality of image pickup devices remaining on the image data corrected by the correction step is the threshold value set by the threshold value setting step. As a processing step in case of exceeding the above, a confirmation step for confirming the user's intention to save or discard the image data, and when the user selects the image data storage by the confirmation step, it is started on the external terminal device. And a saving step of saving the image data obtained by the plurality of image pickup devices in a file as RAW data so that the correction process can be performed by executing an arbitrary application.
【0026】第16の発明は、請求項1〜8の何れかに
記載の画像処理装置の機能をコンピュータに実現させる
ためのプログラムをコンピュータ読出可能な記憶媒体に
記録したことを特徴とする。
A sixteenth invention is characterized in that a program for causing a computer to realize the functions of the image processing apparatus according to any one of claims 1 to 8 is recorded in a computer-readable storage medium.
【0027】第17の発明は、請求項9〜15の何れか
に記載の画像処理方法の処理ステップをコンピュータに
実行させるためのプログラムをコンピュータ読出可能な
記憶媒体に記録したことを特徴とする。
A seventeenth invention is characterized in that a program for causing a computer to execute the processing steps of the image processing method according to any one of claims 9 to 15 is recorded in a computer-readable storage medium.
【0028】第18の発明は、請求項1〜8の何れかに
記載の画像処理装置の機能をコンピュータに実現させる
ためのプログラムであることを特徴とする。
An eighteenth invention is a program for causing a computer to realize the function of the image processing apparatus according to any one of the first to eighth aspects.
【0029】第19の発明は、請求項9〜15の何れか
に記載の画像処理方法の処理ステップをコンピュータに
実行させるためのプログラムであることを特徴とする。
A nineteenth invention is a program for causing a computer to execute the processing steps of the image processing method according to any one of claims 9 to 15.
【0030】具体的には例えば、複数の撮像素子を接続
して1つの撮像素子を構成する電子カメラ機能を有する
画像処理装置において、カメラ機能により得られた画像
データから複数の撮像素子の相関関係を判別し、当該判
別結果に基づいて、複数の撮像素子のレベル差(複数の
撮像素子に対応する複数の画像データの接続部分で生じ
るレベル差)を補正するための複数の補正アルゴリズム
の中から任意のアルゴリズムを選択し、当該選択補正ア
ルゴリズムの実行結果(レベル差補正値)を用いて、画
像データ上に生じている複数の撮像素子のレベル差の補
正処理を行う。ここで、複数の補正アルゴリズムの中か
ら、複数の撮像素子の相関関係に基づいたアルゴリズム
を選択する方法としては、例えば、複数の撮像素子の相
関関係から、撮像素子間のレベル差が小さいと判定でき
る場合、レベル差補正値(補正係数)を得るための補正
アルゴリズムとして、簡単な計算で当該補正値(補正
量)を算出するアルゴリズムを選択し、一方、撮像素子
間のレベル差が大きいと判定できる場合、より細かい演
算により適切な補正値を取得する補正アルゴリズムを選
択する方法等が挙げられる。これにより、複数の撮像素
子の相関関係に対して適切な補正量を得ることができ
る。
Specifically, for example, in an image processing apparatus having an electronic camera function in which a plurality of image pickup devices are connected to form one image pickup device, the correlation between the plurality of image pickup devices is calculated from the image data obtained by the camera function. From among the plurality of correction algorithms for correcting the level difference of the plurality of image pickup elements (the level difference generated at the connection portion of the plurality of image data corresponding to the plurality of image pickup elements) based on the determination result. An arbitrary algorithm is selected, and by using the execution result (level difference correction value) of the selected correction algorithm, the level difference correction processing of the plurality of image pickup elements occurring on the image data is performed. Here, as a method of selecting an algorithm based on the correlation of a plurality of image sensors from a plurality of correction algorithms, for example, it is determined that the level difference between the image sensors is small based on the correlation of the plurality of image sensors. If possible, select an algorithm that calculates the correction value (correction amount) by a simple calculation as the correction algorithm for obtaining the level difference correction value (correction coefficient), and determine that the level difference between the image sensors is large. If possible, a method of selecting a correction algorithm that obtains an appropriate correction value by a finer calculation may be used. This makes it possible to obtain an appropriate correction amount for the correlation between the plurality of image pickup devices.
【0031】また、撮影モード(単写モードや連写モー
ド等)に基づいて、複数の撮像素子のレベル差(複数の
撮像素子に対応する複数の画像データの接続部分で生じ
るレベル差)を補正するための複数の補正アルゴリズム
の中から任意のアルゴリズムを選択し、当該選択補正ア
ルゴリズムの実行結果(レベル差補正値)を用いて、画
像データ上に生じている複数の撮像素子のレベル差の補
正処理を行う。ここで、複数の補正アルゴリズムの中か
ら、複数の撮像素子の相関関係に基づいたアルゴリズム
を選択する方法としては、例えば、複数存在する補正ア
ルゴリズムの中には、その実行結果を得るまでにかかる
処理の時間に差があるものとし、連写速度ならびに連写
枚数を優先する撮影モードが選択されている場合、処理
時間の短い補正アルゴリズムを選択する方法等が挙げら
れる。
Further, based on the photographing mode (single-shot mode, continuous-shot mode, etc.), the level difference between the plurality of image pickup devices (the level difference generated at the connecting portion of the plurality of image data corresponding to the plurality of image pickup devices) is corrected. An arbitrary algorithm is selected from among a plurality of correction algorithms for performing the correction, and the execution result (level difference correction value) of the selected correction algorithm is used to correct the level difference between the plurality of image pickup elements that is present in the image data. Perform processing. Here, as a method of selecting an algorithm based on the correlation of a plurality of image pickup elements from among a plurality of correction algorithms, for example, among the plurality of correction algorithms that exist, it is necessary to perform a process until the execution result is obtained. If there is a difference in time, and a shooting mode that prioritizes continuous shooting speed and the number of continuous shots is selected, a method of selecting a correction algorithm with a short processing time can be used.
【0032】また、補正処理後の画像データ上に残る接
続部分のレベル差を容認する閾値を設定可能とする。こ
れにより、例えば、画像データの使用目的に合わせて容
認できる接続部分のレベル差は異なるため、接続部分の
レベル差の厳密度を閾値として使用目的に合わせて設定
できる。
Further, it is possible to set a threshold value that allows the level difference of the connection portion remaining on the image data after the correction processing. Thereby, for example, since the level difference of the connection portion that can be accepted is different according to the purpose of use of the image data, the strictness of the level difference of the connection portion can be set as a threshold value according to the purpose of use.
【0033】また、接続部分のレベル差が、設定された
閾値以上となった場合、複数の撮像素子により得られた
画像データを、例えば、RAWデータとしてファイルに
保存する。これにより、パーソナルコンピュータ(P
C)等の端末装置上で起動するアプリケーションによ
り、画像データ上に接続部分のレベル差を補正すること
ができる。具体的には例えば、画像処理装置内に持つ複
数の補正アルゴリズムを、電子カメラの応答性や処理能
力等を考慮して構築する。複数の撮像素子間のレベル差
が極度に大きくなり、画像処理装置内の補正アルゴリズ
ムでは、画像データに対するレベル差補正値を適切に算
出できない場合、画像処理装置のメモリへ画像データを
RAWデータとして保存した後、PC上のアプリケーシ
ョンの起動により、レベル差が極度に大きな当該画像デ
ータに対応した補正アルゴリズムを使用して、補正処理
を実行する。
When the level difference between the connected portions exceeds the set threshold value, the image data obtained by the plurality of image pickup devices is saved in a file as RAW data, for example. This allows the personal computer (P
An application started on the terminal device such as C) can correct the level difference of the connection portion on the image data. Specifically, for example, a plurality of correction algorithms included in the image processing apparatus are constructed in consideration of the responsiveness and processing capability of the electronic camera. When the level difference between the plurality of image pickup devices becomes extremely large and the correction algorithm in the image processing apparatus cannot appropriately calculate the level difference correction value for the image data, the image data is saved as RAW data in the memory of the image processing apparatus. After that, when the application on the PC is started, the correction process is executed by using the correction algorithm corresponding to the image data having the extremely large level difference.
【0034】また、接続部分のレベル差が、設定された
閾値以上となった場合、ユーザに対して、画像データの
保存又は破棄の意志を確認し、ユーザが画像データ保存
することを選択した場合、複数の撮像素子により得られ
た画像データを、例えば、RAWデータとしてファイル
に保存する。これにより、パーソナルコンピュータ(P
C)等の端末装置上で起動するアプリケーションによ
り、画像データ上に接続部分のレベル差を補正すること
ができる。
Further, when the level difference between the connected portions is equal to or more than the set threshold value, when the user confirms the intention to save or discard the image data and the user selects to save the image data. The image data obtained by the plurality of image pickup devices is stored in a file as RAW data, for example. This allows the personal computer (P
An application started on the terminal device such as C) can correct the level difference of the connection portion on the image data.
【0035】[0035]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings.
【0036】[第1の実施の形態]本発明は、例えば、図
1に示すような画像処理装置100に適用される。本実
施の形態の画像処理装置100は、複数の撮像素子11
4a,114bからなる1つの撮像部114により被写
体を撮像する電子カメラ機能を有し、特に、複数の撮像
素子114a,114bから出力される画像データの相
関関係を判別し、当該判別結果に基づいて、画素情報間
のレベル差を補正するための複数の補正アルゴリズムを
動的に変更して実行することで、複数の撮像素子114
a,114bから出力される画像データに対して合成処
理を行う際の接合部分のレベル差を補正するように構成
されている。以下、本実施の形態の画像処理装置100
の構成及び動作について具体的に説明する。
[First Embodiment] The present invention is applied to, for example, an image processing apparatus 100 as shown in FIG. The image processing apparatus 100 according to the present embodiment includes a plurality of image pickup elements 11
It has an electronic camera function of picking up an image of a subject by one image pickup unit 114 composed of 4a and 114b, and in particular, discriminates a correlation between image data output from a plurality of image pickup elements 114a and 114b, and based on the discrimination result. , By dynamically changing and executing a plurality of correction algorithms for correcting the level difference between pixel information.
It is configured to correct the level difference at the joint portion when the combining process is performed on the image data output from a and 114b. Hereinafter, the image processing apparatus 100 according to the present embodiment
The configuration and operation of will be specifically described.
【0037】<画像処理装置100の構成>画像処理装
置100は、上記図1に示すような構成を備えている。
<Structure of Image Processing Apparatus 100> The image processing apparatus 100 has the structure shown in FIG.
【0038】上記図1において、“110”は、撮影レ
ンズであり、“112”は、絞り機能を有するシャッタ
ーである。撮像部114は、撮像レンズ110及びシャ
ッター112を介した被写体の光学像を電気信号に変換
する複数の撮像素子114a,114bを有する。
In FIG. 1, "110" is a taking lens and "112" is a shutter having a diaphragm function. The image capturing unit 114 includes a plurality of image capturing elements 114a and 114b that convert an optical image of a subject through the image capturing lens 110 and the shutter 112 into an electric signal.
【0039】尚、本実施の形態では、撮像部114が有
する複数の撮像素子を、説明の簡単のため、2つの撮像
素子114a,114bとしているが、この個数に限ら
れることはない。
In the present embodiment, the plurality of image pickup devices included in the image pickup unit 114 are two image pickup devices 114a and 114b for simplicity of explanation, but the number is not limited to this.
【0040】A/D変換器116a,116bは、撮像
素子114a及び114bから出力でされる電気信号
(アナログ信号)をディジタル化する。本実施の形態で
は、2つの撮像素子114a,114bにより、被写体
全体の画像を2分割する形で、左右別々の撮影画像デー
タを取得して出力する構成としているため、これに伴っ
て、2つのA/D変換器116a,116bを備える構
成としている。
The A / D converters 116a and 116b digitize the electric signals (analog signals) output from the image pickup devices 114a and 114b. In the present embodiment, the two image pickup elements 114a and 114b divide the image of the entire subject into two parts, and the left and right separate picked-up image data are acquired and output. It is configured to include the A / D converters 116a and 116b.
【0041】タイミング発生回路118は、撮像素子1
14a,114b及びA/D変換器116a,116b
に対して、クロック信号や制御信号等を供給し、後述す
るメモリ制御回路122及びシステム制御回路150に
より制御される。
The timing generation circuit 118 is used for the image pickup device 1.
14a, 114b and A / D converters 116a, 116b
A clock signal, a control signal, or the like is supplied to the memory control circuit 122 and the system control circuit 150, which will be described later.
【0042】画像処理回路120は、後述するメモリ1
30に保存された静止画像や動画像のデータに対して、
所定の画素補間処理や色変換処理等の画像処理を行い、
当該処理後のデータを再度メモリ130に書き込む。ま
た、画像処理回路120は、撮像素子114a,114
bのレベル差を補正する補正処理を実行する。ここでの
補正処理とは、例えば、撮像素子114a,114bの
オフセットを調整するオフセット調整回路や、ゲインを
調整するゲイン調整回路等による処理である。さらに、
画像処理回路120は、撮像素子114a,114bに
より得られた撮像画像データを用いて所定の演算処理を
行い、当該演算結果に基づいて、TTL方式のAWB
(オートホワイトバランス)処理も実行する。
The image processing circuit 120 includes a memory 1 which will be described later.
For still image and moving image data saved in 30,
Performs image processing such as predetermined pixel interpolation processing and color conversion processing,
The processed data is written in the memory 130 again. Further, the image processing circuit 120 includes the image pickup elements 114a and 114
A correction process for correcting the level difference of b is executed. The correction process here is, for example, a process performed by an offset adjustment circuit that adjusts the offset of the imaging elements 114a and 114b, a gain adjustment circuit that adjusts the gain, and the like. further,
The image processing circuit 120 performs a predetermined calculation process using the captured image data obtained by the image pickup elements 114a and 114b, and based on the calculation result, the TTL AWB.
(Auto white balance) processing is also executed.
【0043】出力判別処理回路121は、メモリ130
に保存されたデータにより、撮像素子114a,114
bの相関関係を判別する。ここでの判別処理とは、画素
の平均値算出回路、分散値算出回路、最大値算出回路、
及び最小値算出回路等による処理である。
The output discrimination processing circuit 121 includes a memory 130.
Based on the data stored in the image pickup device 114a, 114
The correlation of b is determined. The discrimination processing here means a pixel average value calculation circuit, a variance value calculation circuit, a maximum value calculation circuit,
And processing by the minimum value calculation circuit and the like.
【0044】メモリ制御回路122は、A/D変換器1
16a,116b、タイミング発生回路118、及び画
像処理回路120と共に、後述する画像表示メモリ12
4、D/A変換器126、メモリ130、及び圧縮/伸
長回路132を制御する。また、直接メモリ制御回路1
22を介して、A/D変換器116で得られたディジタ
ルデータがメモリ130に書き込まれる。
The memory control circuit 122 includes the A / D converter 1
16a and 116b, a timing generation circuit 118, and an image processing circuit 120, together with an image display memory 12 to be described later.
4, controlling the D / A converter 126, the memory 130, and the compression / expansion circuit 132. In addition, the direct memory control circuit 1
The digital data obtained by the A / D converter 116 is written in the memory 130 via 22.
【0045】“126”は、D/A変換器であり、“1
28”は、TFT/LCD等から成る画像表示部であ
る。例えば、メモリ130に書き込まれた表示用の画像
データは、D/A変換器126を介して画像表示部12
8により表示される。
"126" is a D / A converter and is "1".
28 ″ is an image display unit including a TFT / LCD or the like. For example, the image data for display written in the memory 130 is displayed on the image display unit 12 via the D / A converter 126.
8 is displayed.
【0046】メモリ130は、撮像部114により得ら
れた静止画像や動画像のデータを格納するためのもので
あり、所定枚数の静止画像や所定時間の動画像を格納す
るのに十分な記憶量を有する。これにより、複数枚の静
止画像を連続して撮影する連射撮影やパノラマ撮影の場
合であっても、高速且つ大量の画像書込をメモリ130
に対して実行することが可能となる。また、メモリ13
0は、必要に応じて、システム制御回路150の作業領
域としても使用される。
The memory 130 is for storing data of still images and moving images obtained by the image pickup section 114, and has a storage capacity sufficient to store a predetermined number of still images and moving images of a predetermined time. Have. As a result, even in the case of continuous shooting or panoramic shooting in which a plurality of still images are continuously shot, the memory 130 can write a large amount of images at high speed.
It becomes possible to execute against. In addition, the memory 13
0 is also used as a work area of the system control circuit 150 as needed.
【0047】圧縮/伸長回路132は、適応離散コサイ
ン変換(ADCT)等により画像データを圧縮/伸長す
る。例えば、圧縮/伸長回路132は、メモリ130に
格納された画像データを取得し、当該画像データに対し
て圧縮処理或いは伸長処理を施し、当該処理後のデータ
をメモリ130に書き込む。
The compression / expansion circuit 132 compresses / expands image data by adaptive discrete cosine transform (ADCT) or the like. For example, the compression / expansion circuit 132 acquires the image data stored in the memory 130, performs compression processing or expansion processing on the image data, and writes the processed data in the memory 130.
【0048】露光制御部140は、絞り機能を有するシ
ャッター112を制御する。測距制御部142は、撮影
レンズ110のフォーカシングを制御する。
The exposure controller 140 controls the shutter 112 having a diaphragm function. The distance measurement control unit 142 controls the focusing of the taking lens 110.
【0049】システム制御回路150は、画像処理装置
100全体の動作制御を司る。メモリ152は、システ
ム制御回路150での動作制御に必要な定数、変数、及
び処理プログラム等を記憶する。メモリ152に記憶さ
れる処理プログラム、すなわちシステム制御回路150
で実行される処理プログラムは、出力判別処理回路12
1が出力したデータを処理することで、画像処理回路1
20がレベル補正処理を行うために必要なゲイン補正値
及びオフセット補正値等の補正値を演算する補正アルゴ
リズムを複数含んでいる。
The system control circuit 150 controls the operation of the entire image processing apparatus 100. The memory 152 stores constants, variables, processing programs and the like necessary for operation control in the system control circuit 150. A processing program stored in the memory 152, that is, the system control circuit 150
The processing program executed in is the output determination processing circuit 12
Image processing circuit 1 by processing the data output by
20 includes a plurality of correction algorithms for calculating correction values such as gain correction values and offset correction values necessary for performing the level correction processing.
【0050】液晶表示部154は、システム制御回路1
50による処理プログラムの実行に応じて、文字、画像
を用いて動作状態やメッセージ等を表示するである。表
示部154は、画像処理装置100の操作部近辺の視認
し易い位置に単数或いは複数個所設置される。
The liquid crystal display section 154 has the system control circuit 1
According to the execution of the processing program by 50, the operating state, the message and the like are displayed using characters and images. The display unit 154 is installed at a single position or a plurality of positions at a position near the operation unit of the image processing apparatus 100 that is easily visible.
【0051】具体的には例えば、表示部154は、LC
DやLED、或いは発音素子等の組み合わせにより構成
されている。表示部154の表示内容のうち、例えば、
LCD等に表示する内容としては、シングルショット/
連写撮影表示、2画面レベル差容認レベル表示、セルフ
タイマー表示、圧縮率表示、記録画素数表示、記録枚数
表示、残撮影可能枚数表示、シャッタースピード表示、
絞り値表示、露出補正表示、時計用電池残量表示、電池
残量表示、エラー表示、複数桁の数字による情報表示、
記録媒体200の着脱状態表示、及び日付/時刻表示等
が挙げられる。
Specifically, for example, the display unit 154 is an LC
It is composed of a combination of D, LED, and a sounding element. Of the display contents of the display unit 154, for example,
The contents displayed on the LCD etc. are single shot /
Continuous shooting display, 2-screen level differential acceptance level display, self-timer display, compression ratio display, recording pixel count display, record count display, remaining recordable count display, shutter speed display,
Aperture value display, exposure compensation display, clock battery level display, battery level display, error display, information display with multiple digits,
Examples include display of attachment / detachment state of the recording medium 200 and display of date / time.
【0052】“104”は、光学ファインダーであり、
例えば、光学ファインダー104内に表示する内容とし
ては、合焦表示、手振れ警告表示、フラッシュ充電表
示、シャッタースピード表示、絞り値表示、露出補正表
示、及びISO表示等が挙げられる。“156”は、電
気的に消去及び記録可能な不揮発性メモリであり、例え
ば、EEPROM等を適用可能である。
"104" is an optical finder,
For example, the contents displayed in the optical finder 104 include focus display, camera shake warning display, flash charge display, shutter speed display, aperture value display, exposure correction display, ISO display and the like. “156” is an electrically erasable and recordable non-volatile memory, and for example, an EEPROM or the like can be applied.
【0053】操作手段160、162、164、及び1
70は、システム制御回路150に対して各種の動作指
示を入力するためのであり、具体的には、スイッチ、ダ
イアル、タッチパネル、視線検知によるポインティン
グ、及び音声認識装置等の単数或いは複数の手段の組み
合わせで構成される。ここでは一例として、モードダイ
アルスイッチ160、シャッタースイッチ162,16
4、操作部170を、上記操作手段として用いている。
Operating means 160, 162, 164 and 1
Reference numeral 70 is for inputting various operation instructions to the system control circuit 150, and specifically, is a combination of one or more means such as a switch, a dial, a touch panel, pointing by visual axis detection, and a voice recognition device. Composed of. Here, as an example, the mode dial switch 160, the shutter switches 162, 16
4. The operating unit 170 is used as the operating means.
【0054】モードダイアルスイッチ160は、電源オ
フ、自動撮影モード、撮影モード、パノラマ撮影モー
ド、再生モード、マルチ画面再生/消去モード、及びパ
ーソナルコンピュータ等の外部装置の接続モード等の各
機能モードを切替設定が可能なように構成されている。
The mode dial switch 160 switches each function mode such as power-off, automatic shooting mode, shooting mode, panoramic shooting mode, playback mode, multi-screen playback / erasure mode, and connection mode of an external device such as a personal computer. It is configured to be configurable.
【0055】シャッタースイッチSW1(162)は、
不図示のシャッターボタンの操作途中の状態でONとな
り、このタイミングで、AF(オートフォーカス)処
理、AE(自動露出)処理、AWB(オートホワイトバ
ランス)処理、及びEF(フラッシュプリ発光)処理等
の動作開始を指示する。シャッタースイッチSW2(1
64)は、不図示のシャッターボタンの操作完了の状態
でONとなり、このタイミングで、撮像部114からの
出力信号を画像データとしてA/D変換器116及びメ
モリ制御回路122を介してメモリ130へ書き込む露
光処理、画像処理回路120、出力判別処理回路12
1、及びメモリ制御回路122での演算による現像処
理、及びメモリ130から画像データを読み出して圧縮
/伸長回路132により圧縮処理を実行し記録媒体20
0に記録する記録処理等の一連の処理の動作開始を指示
する。
The shutter switch SW1 (162) is
The shutter button (not shown) is turned on during operation, and at this timing, AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, EF (flash pre-flash) processing, etc. are performed. Instruct to start operation. Shutter switch SW2 (1
64) is turned on when the operation of the shutter button (not shown) is completed, and at this timing, the output signal from the image pickup unit 114 is transferred as image data to the memory 130 via the A / D converter 116 and the memory control circuit 122. Exposure processing for writing, image processing circuit 120, output determination processing circuit 12
1 and development processing by calculation in the memory control circuit 122, image data is read from the memory 130 and compression processing is executed by the compression / expansion circuit 132, and the recording medium 20
It is instructed to start the operation of a series of processes such as a recording process for recording 0.
【0056】操作部170は、各種ボタンやタッチパネ
ル等からなる。具体的には例えば、操作部170は、メ
ニューボタン、セットボタン、マクロボタン、マルチ画
面再生改ページボタン、フラッシュ設定ボタン、単写/
連写/セルフタイマー切り替えボタン、2画面レベル差
容認レベル切り替えボタン、メニュー移動+(プラス)
ボタン、メニュー移動−(マイナス)ボタン、再生画像
移動+(プラス)ボタン、再生画像−(マイナス)ボタ
ン、撮影画質選択ボタン、露出補正ボタン、及び日付/
時間設定ボタン等からなる。
The operation section 170 is composed of various buttons, a touch panel and the like. Specifically, for example, the operation unit 170 includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting /
Sequential shooting / self-timer switching button, dual screen level tolerance level switching button, menu move + (plus)
Button, menu move- (minus) button, playback image move + (plus) button, playback image- (minus) button, shooting image quality selection button, exposure compensation button, and date /
It consists of a time setting button.
【0057】電源制御部180は、必要な電圧を必要な
期間に、記録媒体200を含む各構成部に対して供給す
る。電源部186は、アルカリ電池やリチウム電池等の
一次電池、或いはNiCd電池やNiMH電池、Li電
池等の二次電池、ACアダプター等からなる。コネクタ
182,184は、電源制御部180と電源部186を
接続する。
The power supply control unit 180 supplies a required voltage to each component including the recording medium 200 during a required period. The power supply unit 186 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, a Li battery, an AC adapter, or the like. The connectors 182 and 184 connect the power supply control unit 180 and the power supply unit 186.
【0058】インタフェース190は、メモリカードや
ハードディスク等の記録媒体200との通信を行い、
“コネクタ192”は、メモリカードやハードディスク
等の記録媒体200と接続を行う。記録媒体着脱検知部
198は、コネクタ192に記録媒体200が装着され
ているか否かを検知するである。ここでのインタフェー
ス190及びコネクタ192としては、例えば、PCM
CIAカードやCF(コンパクトフラッシュ(R))カ
ード等の規格に準拠したものを適用可能である。
The interface 190 communicates with the recording medium 200 such as a memory card or a hard disk,
The “connector 192” is connected to the recording medium 200 such as a memory card or a hard disk. The recording medium attachment / detachment detection unit 198 detects whether or not the recording medium 200 is attached to the connector 192. The interface 190 and the connector 192 here are, for example, PCM.
A CIA card, a CF (Compact Flash (R)) card, or the like that conforms to the standard can be applied.
【0059】通信部101は、であり、RS232C
や、USB、IEEE1394、P1284、SCS
I、モデム、LAN、或いは無線通信等によって構成さ
れる。通信部102は、通信部101により画像処理装
置100を他の機器或いはシステムと接続するコネクタ
として機能し、或いは無線通信の場合にはアンテナとし
て機能する。
The communication unit 101 is an RS232C
, USB, IEEE1394, P1284, SCS
I, modem, LAN, or wireless communication. The communication unit 102 functions as a connector that connects the image processing apparatus 100 to another device or system by the communication unit 101, or functions as an antenna in the case of wireless communication.
【0060】記録媒体200は、メモリカードやハード
ディスク等によって構成される。記録媒体200は、半
導体メモリや磁気ディスク等を含む記録部202、画像
処理装置100とのインタフェース204、及び画像処
理装置100と接続を行うコネクタ206を備えてい
る。
The recording medium 200 is composed of a memory card, a hard disk or the like. The recording medium 200 includes a recording unit 202 including a semiconductor memory and a magnetic disk, an interface 204 with the image processing apparatus 100, and a connector 206 for connecting with the image processing apparatus 100.
【0061】<画像処理装置100の動作>画像処理装
置100は、例えば、図2に示すフローチャートに従っ
て動作する。
<Operation of Image Processing Apparatus 100> The image processing apparatus 100 operates according to the flowchart shown in FIG. 2, for example.
【0062】ステップS201:ユーザから、シャッタ
ースイッチSW2(164)がONされると、システム
制御回路150は、このユーザ操作を認識し、メモリ制
御回路122を駆動することで、2分割された撮像素子
114a,114bから出力される信号(アナログ)
を、A/D変換器116a,116bによりディジタル
データ(画像データ)に変換し、2つの画像データとし
てメモリ制御回路122を介してメモリ130に保存す
る。
Step S201: When the shutter switch SW2 (164) is turned on by the user, the system control circuit 150 recognizes this user operation and drives the memory control circuit 122 to divide the image sensor into two halves. Signals output from 114a and 114b (analog)
Are converted into digital data (image data) by the A / D converters 116a and 116b, and are stored in the memory 130 via the memory control circuit 122 as two image data.
【0063】ステップS202:システム制御部150
は、ステップS201での画像データの保存を終える
と、出力判別処理回路121を駆動することで、メモリ
130内の保存データを用いて、2つの撮像素子114
a,114bから出力される各画像データの相関関係を
検出する。ここでの相関関係を取得するための演算処理
としては、各画像データを構成する画素の出力レベル
の、平均値、分散値、最大値、及び最小値算出等の演算
処理のうち1つ又は複数を用いた処理を適用可能であ
る。
Step S202: System control unit 150
When the storage of the image data in step S201 is completed, the output determination processing circuit 121 is driven to use the storage data in the memory 130 to store the two image pickup elements 114.
The correlation of each image data output from a and 114b is detected. As the calculation process for obtaining the correlation here, one or more of calculation processes such as average value, variance value, maximum value, and minimum value calculation of the output level of the pixels forming each image data are performed. The processing using is applicable.
【0064】ステップS203:システム制御部150
は、ステップS202での出力判別処理回路121によ
る検出結果(撮像素子114a,114bから得られた
画像データの)から、撮像素子114a,114bの特
性の違いによって生じる各画像データの接続部分のレベ
ル差を補正するためのレベル差補正値を取得するのに最
適な補正アルゴリズムを選択可能であるか否かを判別す
る。この判別の結果、最適な補正アルゴリズムを選択可
能でない場合(例えば、各画像データの平均レベルの差
が所定の値より大きいために適切なレベル補正値を算出
できない場合)にはそのままステップS208に進み、
最適な補正アルゴリズムを選択可能である場合(例え
ば、各画像データの平均レベルの差が所定の値より小さ
い場合)には次のステップS204へ進む。
Step S203: System control unit 150
Is the level difference of the connection portion of each image data caused by the difference in the characteristics of the image pickup elements 114a and 114b from the detection result (of the image data obtained from the image pickup elements 114a and 114b) by the output determination processing circuit 121 in step S202. It is determined whether or not it is possible to select the optimum correction algorithm for obtaining the level difference correction value for correcting. As a result of this determination, when the optimum correction algorithm cannot be selected (for example, when the difference between the average levels of the image data is larger than the predetermined value and the appropriate level correction value cannot be calculated), the process directly proceeds to step S208. ,
When the optimum correction algorithm can be selected (for example, when the difference between the average levels of the image data is smaller than a predetermined value), the process proceeds to the next step S204.
【0065】ステップS204、ステップS205:ス
テップS203の判別の結果、最適な補正アルゴリズム
を選択可能である場合、システム制御部150は、出力
判別処理回路121による検出結果から、撮像素子11
4a,114bから得られる各画像データの接続部分の
レベル差を補正するためのレベル差補正値を取得するの
に最適な補正アルゴリズムを選択し(ステップS20
4)、当該選択アルゴリズムを実行することで、レベル
差補正値を取得する(ステップS205)。
Step S204, Step S205: If the optimum correction algorithm can be selected as a result of the determination in Step S203, the system control unit 150 determines from the detection result by the output determination processing circuit 121 that the image sensor 11
4a, 114b, the optimum correction algorithm for obtaining the level difference correction value for correcting the level difference of the connection portion of each image data is selected (step S20).
4) The level difference correction value is acquired by executing the selection algorithm (step S205).
【0066】ステップS204における補正アルゴリズ
ム選択に関して、例えば、2つの画像データのばらつき
(分散)に基づいて補正アルゴリズムを選択する構成と
してもよい。分散値が所定値より大きな値を示している
場合、補正値を算出する前に補正値算出データから不適
切なデータを除去するための前処理を有するアルゴリズ
ムを実行し、不適切なデータを選別した結果、減少した
データから信頼度の高い補正値を求めるためのアルゴリ
ズムを実行する。一方、分散値が所定値より小さな値を
示すと共に、平均値も大きな差がない場合、オフセット
調整だけの簡単な処理でレベル補正するアルゴリズムを
選択する。また、例えば、各画像データのレベルの平均
値を比較することによって補正アルゴリズムを選択する
構成としてもよい。互いの平均値にある一定値以上の差
がある場合、一方が極端に暗いかあるいは一方が極端に
暗い可能性が高いため不適切なデータが存在する可能性
が高いので、補正値を算出する前に補正値算出データか
ら不適切なデータを除去するための前処理を有するアル
ゴリズムを実行し、不適切なデータを選別した結果、減
少したデータから信頼度の高い補正値を求めるためのア
ルゴリズムを実行する。また、互いの平均値にある一定
値以上の差がない場合、ゲイン補正を行わずにオフセッ
ト調整だけの簡単な処理でレベル補正するアルゴリズム
を選択する。
Regarding the correction algorithm selection in step S204, for example, the correction algorithm may be selected based on the variation (dispersion) of the two image data. If the variance value is larger than the predetermined value, execute an algorithm that has a pre-processing to remove inappropriate data from the correction value calculation data before calculating the correction value, and select the inappropriate data. As a result, an algorithm for obtaining a highly reliable correction value from the reduced data is executed. On the other hand, when the variance value is smaller than the predetermined value and the average value does not have a large difference, the algorithm for level correction is selected by a simple process of only offset adjustment. Further, for example, the correction algorithm may be selected by comparing the average values of the levels of the respective image data. If there is a difference of a certain value or more between each other, it is highly likely that one is extremely dark or one is extremely dark, so there is a high possibility that inappropriate data will exist, so calculate the correction value. By executing an algorithm that has pre-processing to remove inappropriate data from the correction value calculation data and selecting inappropriate data, an algorithm for obtaining a highly reliable correction value from the reduced data is created. Run. If there is no difference between the average values of a certain value or more, an algorithm for level correction is selected by a simple process of offset adjustment without performing gain correction.
【0067】ステップS206:システム制御部150
は、ステップS205で取得したレベル差補正値を画像
処理回路120にセットする。これにより、画像処理回
路120は、メモリ130から画像データを読み出しな
がら、当該セット値に基づいた補正処理(具体的には、
画像データのレベル調整)を実行した後、合成処理を行
い、合成された画像データをメモリ130に保存する。
Step S206: System control unit 150
Sets the level difference correction value acquired in step S205 in the image processing circuit 120. As a result, the image processing circuit 120 reads the image data from the memory 130, and performs a correction process based on the set value (specifically,
After performing the level adjustment of the image data), a combining process is performed and the combined image data is stored in the memory 130.
【0068】ステップS207:システム制御部150
は、メモリ130内の補正処理後の画像データに対し
て、圧縮/伸長回路132により、ユーザから指定され
た圧縮処理を施す。
Step S207: System control unit 150
The compression / expansion circuit 132 performs compression processing specified by the user on the corrected image data in the memory 130.
【0069】ステップS208:ステップS207から
本ステップS208へ進む処理の場合、システム制御部
150は、ステップS207での圧縮処理後の画像デー
タを記録媒体200に記録(保存)して、本処理終了す
る。一方、ステップS203から直接本ステップS20
8へ進む処理の場合、すなわち出力判別処理回路121
により得られた相関関係に基づいて画像処理装置100
内の複数の補正アルゴリズムの中から適切な補正アルゴ
リズムを選択できない(例えば、各画像データの平均レ
ベルの差が所定の値より大きいために適切なレベル補正
値を算出できない)場合、システム制御部150は、画
像処理回路120によるレベル補正処理を実行せずに、
メモリ130内の画像データをそのまま記録媒体200
にRAWデータとして記録(保存)して、本処理終了す
る。
Step S208: In the case of the processing proceeding from step S207 to this step S208, the system control unit 150 records (saves) the image data after the compression processing in step S207 on the recording medium 200, and the present processing ends. . On the other hand, from step S203 directly to this step S20
In the case of processing to proceed to 8, that is, the output determination processing circuit 121
The image processing apparatus 100 based on the correlation obtained by
If a suitable correction algorithm cannot be selected from the plurality of correction algorithms in the above (for example, an appropriate level correction value cannot be calculated because the difference between the average levels of the image data is larger than a predetermined value), the system control unit 150 Without performing the level correction processing by the image processing circuit 120,
The image data in the memory 130 is directly recorded on the recording medium 200.
The data is recorded (saved) in RAW data and the present process ends.
【0070】上述したような本実施の形態によれば、出
力判別処理回路121により得られる複数の撮像素子1
14a,114bから出力される各画像データの相関関
係に基づき、補正値を算出するデータの選別の有り無し
の選択や、ゲイン調整、オフセット調整、或いはこれら
の両方の調整実行の選択、或いは調整値算出等の、撮像
素子114a,114bから得られる画像データを合成
する際の接続部分のレベル差を補正するためのレベル差
補正値を取得するのに最適な補正アルゴリズムを選択す
ることが可能となるので、適切なレベル差補正値を求
め、当該レベル差補正値を用いて、複数の撮像素子11
4a,114bにより得られた画像データの補正を行う
ことが可能となる。したがって、複数の撮像素子114
a,114bにより得られた複数の画像データを接続し
て得られる被写体全体の画像データにおいて、従来のよ
うな接続部分(貼り合わせ部分)の不具合が生じること
はなく、良好な被写体全体の画像を提供することができ
る。
According to the present embodiment as described above, the plurality of image pickup devices 1 obtained by the output discrimination processing circuit 121 are obtained.
14a, 114b, based on the correlation between the image data output, selection of whether or not to select data for calculating the correction value, gain adjustment, offset adjustment, or both of these adjustment execution selections, or adjustment values It is possible to select the optimum correction algorithm for obtaining the level difference correction value for correcting the level difference of the connection portion when combining the image data obtained from the image pickup devices 114a and 114b, such as calculation. Therefore, an appropriate level difference correction value is obtained, and by using the level difference correction value, the plurality of imaging elements 11
It is possible to correct the image data obtained by 4a and 114b. Therefore, the plurality of imaging elements 114
In the image data of the entire subject obtained by connecting the plurality of image data obtained by a and 114b, a good image of the entire subject can be obtained without causing a defect in the connecting portion (bonding portion) as in the conventional case. Can be provided.
【0071】また、画像処理装置100内の複数の補正
アルゴリズムで適切なレベル差補正量を取得することが
困難である場合には、複数の撮像素子114a,114
bから得られた画像データをRAWデータとしてメモリ
130に保存するように構成したので、例えば、パーソ
ナルコンピュータにおいて、適切なレベル差補正量を取
得し、当該レベル差補正値を用いて、メモリ130内の
画像データの補正を行うことが可能となる。
Further, when it is difficult to obtain an appropriate level difference correction amount with a plurality of correction algorithms in the image processing apparatus 100, a plurality of image pickup elements 114a, 114 are provided.
Since the image data obtained from b is stored in the memory 130 as RAW data, for example, in a personal computer, an appropriate level difference correction amount is acquired, and the level difference correction value is used to store in the memory 130. It becomes possible to correct the image data.
【0072】[第2の実施の形態]本実施の形態では、上
記図1に示した画像処理装置100の動作を、例えば、
図3のフローチャートに従った動作とする。
[Second Embodiment] In the present embodiment, the operation of the image processing apparatus 100 shown in FIG.
The operation follows the flowchart of FIG.
【0073】ここで、本実施の形態の画像処理装置10
0の動作の説明の前に、本実施の形態では、例えば、ユ
ーザは予め、操作部170に設けられた2画面レベル差
容認レベルボタン(不図示)により、2つの撮像素子1
14a,114bのそれぞれから出力される画像データ
の接続部分のレベル差として、容認できるレベル差の閾
値を設定できる構成とする。閾値の設定方法としては、
例えば、厳密さを要求する「Fine」、通常使用する
「Normal」等の項目の中から所望する項目を選択
する方法や、メニュー画面において、メニュー移動+
(プラス)ボタン及びメニュー移動−(マイナス)ボタ
ンを操作することで、サンプル画像でレベル差を確認し
ながら容認するレベル差の上限を設定する方法等が挙げ
られる。
Here, the image processing apparatus 10 of the present embodiment
Before describing the operation of No. 0, in the present embodiment, for example, the user uses the two-screen level difference acceptance level button (not shown) provided on the operation unit 170 in advance to set the two image pickup devices 1
As a level difference between the connection portions of the image data output from each of 14a and 114b, an acceptable level difference threshold value can be set. As a threshold setting method,
For example, a method of selecting a desired item from items such as “Fine” that requires strictness and “Normal” that is normally used, and menu movement + on the menu screen.
By operating the (plus) button and the menu move- (minus) button, there is a method of setting the upper limit of the allowable level difference while confirming the level difference in the sample image.
【0074】また、ユーザは予め、操作部170に設け
られた単写/連写/セルフタイマー切り替えボタン(不
図示)により、所望するモード(単写/連写/セルフタ
イマー)を選択する。
Further, the user previously selects a desired mode (single shooting / continuous shooting / self-timer) using a single shooting / continuous shooting / self-timer switching button (not shown) provided on the operation unit 170.
【0075】ステップS301:ユーザから、シャッタ
ースイッチSW2(164)がONされると、システム
制御回路150は、このユーザ操作を認識し、メモリ制
御回路122を駆動することで、2分割された撮像素子
114a,114bから出力される信号(アナログ)
を、A/D変換器116a,116bによりディジタル
データ(画像データ)に変換し、メモリ制御回路122
を介してメモリ130に保存する。このとき、システム
制御部150は、2分割された撮像素子114a,11
4bからの出力信号に対応する2つの画像データを、元
の1画面のデータとなるように結合して保存する。
Step S301: When the shutter switch SW2 (164) is turned on by the user, the system control circuit 150 recognizes this user operation and drives the memory control circuit 122 to divide the image pickup device into two parts. Signals output from 114a and 114b (analog)
Is converted into digital data (image data) by the A / D converters 116a and 116b, and the memory control circuit 122
To the memory 130 via. At this time, the system control unit 150 causes the image pickup elements 114a and 11 divided into two parts.
The two image data corresponding to the output signal from 4b are combined and stored so as to become the original one-screen data.
【0076】ステップS302:システム制御部150
は、ステップS301での画像データの保存を終える
と、出力判別処理回路121を駆動することで、メモリ
130内の保存データを用いて、2つの撮像素子114
a,114bから出力される各画像データの相関関係を
検出する。ここでの相関関係を取得するための演算処理
としては、画像データを構成する画素の出力レベルの、
平均値、分散値、最大値、及び最小値算出等の演算処理
のうち1つ又は複数を用いた処理を適用可能である。
Step S302: System control unit 150
When the storage of the image data in step S301 is completed, the output determination processing circuit 121 is driven to use the stored data in the memory 130 and the two image pickup devices 114
The correlation of each image data output from a and 114b is detected. The calculation processing for obtaining the correlation here includes the output levels of the pixels forming the image data,
A process using one or more of the arithmetic processes such as the average value, variance value, maximum value, and minimum value calculation can be applied.
【0077】ステップS303:システム制御回路15
0は、操作部170の単写/連写/セルフタイマー切り
替えボタンにより、ユーザから連写モードが選択された
か否かを判別する。この判別の結果、連写モード選択の
場合にはステップS305へ進み、そうでない場合には
ステップS304へ進む。
Step S303: System control circuit 15
0 determines whether the continuous shooting mode is selected by the user by the single shooting / continuous shooting / self-timer switching button of the operation unit 170. As a result of this determination, if the continuous shooting mode is selected, the process proceeds to step S305, and if not, the process proceeds to step S304.
【0078】ステップS304:ステップS303の判
別の結果、連写モード選択でない場合、すなわち単写モ
ード等の選択の場合、システム制御回路150は、第1
の実施の形態で述べたような複数の補正アルゴリズムの
中から、最適な補正アルゴリズムを選択する。具体的に
は例えば、単写モード選択の場合、補正値算出処理に時
間的余裕があることにより、ゲイン補正(不適切な画素
データの削除)とオフセット補正(画像データのレベル
補正)の両方を使用するアルゴリズムを選択する。そし
て、システム制御回路150は、選択アルゴリズムを実
行することで、レベル差補正値を取得する。その後、ス
テップS306へ進む。
Step S304: As a result of the determination in step S303, if the continuous shooting mode is not selected, that is, if the single shooting mode or the like is selected, the system control circuit 150 causes the first
The optimum correction algorithm is selected from the plurality of correction algorithms as described in the embodiment. Specifically, for example, in the case of single-shot mode selection, both gain correction (deletion of inappropriate pixel data) and offset correction (level correction of image data) are performed because there is a time margin in the correction value calculation processing. Select the algorithm to use. Then, the system control circuit 150 acquires the level difference correction value by executing the selection algorithm. Then, it progresses to step S306.
【0079】ステップS305:ステップS303の判
別の結果、連写モード選択である場合、システム制御回
路150は、第1の実施の形態で述べたような複数の補
正アルゴリズムの中から、最適な補正アルゴリズムを選
択する。具体的には例えば、連写モードの場合、補正値
算出処理に割り当てられる時間を短くするために、オフ
セット補正値(画像データのレベル補正)のみを算出す
るアルゴリズムを選択する。そして、システム制御回路
150は、選択アルゴリズムを実行することで、レベル
差補正値を取得する。その後、ステップS306へ進
む。
Step S305: If the result of determination in step S303 is continuous shooting mode selection, the system control circuit 150 selects the optimum correction algorithm from among the plurality of correction algorithms as described in the first embodiment. Select. Specifically, for example, in the case of the continuous shooting mode, an algorithm for calculating only the offset correction value (level correction of image data) is selected in order to shorten the time assigned to the correction value calculation process. Then, the system control circuit 150 acquires the level difference correction value by executing the selection algorithm. Then, it progresses to step S306.
【0080】ステップS306:システム制御回路15
0は、ステップS304又はステップS305で取得し
たレベル差補正値が、ユーザから設定されたレベル差容
認レベルを超えているか否かを判別する。この判別の結
果、レベル差補正値がレベル差容認レベルを超えている
場合にはステップS310へ進み、レベル差補正値がレ
ベル差容認レベルを超えていない場合にはステップS3
07へ進む。
Step S306: System control circuit 15
0 determines whether or not the level difference correction value acquired in step S304 or step S305 exceeds the level difference acceptance level set by the user. As a result of this determination, if the level difference correction value exceeds the level difference acceptance level, the process proceeds to step S310, and if the level difference correction value does not exceed the level difference acceptance level, step S3.
Proceed to 07.
【0081】ステップS307:ステップS306の判
別の結果、レベル差補正値がレベル差容認レベルを超え
ていない場合、システム制御部150は、ステップS3
04又はステップS305で取得したレベル差補正値を
画像処理回路120にセットする。これにより、画像処
理回路120は、メモリ130から画像データを読み出
しながら、当該セット値に基づいた補正処理(各画像デ
ータのレベルを合わせるための調整処理)を実行し合成
を行い、当該処理後データをメモリ130に保存する。
Step S307: When the level difference correction value does not exceed the level difference acceptable level as a result of the determination in step S306, the system control unit 150 causes the system control unit 150 to perform step S3.
04 or the level difference correction value acquired in step S305 is set in the image processing circuit 120. As a result, the image processing circuit 120 reads the image data from the memory 130, executes correction processing (adjustment processing for adjusting the level of each image data) based on the set value, synthesizes the processed data, Are stored in the memory 130.
【0082】ステップS308:システム制御部150
は、メモリ130内の補正処理後の画像データに対し
て、圧縮/伸長回路132により、ユーザから指定され
た圧縮処理を施す。
Step S308: System control unit 150
The compression / expansion circuit 132 performs compression processing specified by the user on the corrected image data in the memory 130.
【0083】ステップS309:ステップS308の処
理後、システム制御部150は、ステップS207での
圧縮処理後の画像データを記録媒体200に記録(保
存)して、本処理終了する。
Step S309: After the processing of step S308, the system control unit 150 records (saves) the image data after the compression processing of step S207 on the recording medium 200, and the present processing ends.
【0084】ステップS310:ステップS306の判
別の結果、レベル差補正値がレベル差容認レベルを超え
ている場合、システム制御部150は、画像処理回路1
20によるレベル補正処理を実行せずに、例えば、画像
表示部128に対して、画像データのレベル差補正値が
設定された閾値(レベル差容認レベル)を超えたことを
知らせるためのメッセージ等を表示すると同時に、ユー
ザに対して画像データの保存又は破棄を選択するための
操作を促す通知を行なう。そして、システム制御部15
0は、ユーザから画像データの保存を指示されたか、或
いは破棄を指示されたかを判別する。この判別の結果、
画像データ保存の場合にはステップS309へ進み、画
像データ破棄の場合にはステップS311へ進む。
Step S310: When the level difference correction value exceeds the level difference acceptable level as a result of the determination in step S306, the system control unit 150 causes the image processing circuit 1 to operate.
For example, a message or the like for notifying the image display unit 128 that the level difference correction value of the image data has exceeded the set threshold value (level difference acceptance level) without performing the level correction processing by 20. Simultaneously with the display, the user is notified of an operation for selecting the saving or discarding of the image data. Then, the system control unit 15
A value of 0 determines whether the user has instructed to save the image data or to instruct to discard the image data. As a result of this determination,
If the image data is saved, the process proceeds to step S309, and if the image data is discarded, the process proceeds to step S311.
【0085】ステップS309:ステップS310の判
別の結果、画像データ保存がユーザから指示された場
合、システム制御部150は、画像処理回路120によ
るレベル補正処理および画像の合成処理を実行せずに、
メモリ130内の画像データをそのまま記録媒体200
にRAWデータとして記録(保存)して、本処理終了す
る。
Step S309: If the result of the determination in step S310 is that the image data storage is instructed by the user, the system control section 150 does not execute the level correction processing and the image combination processing by the image processing circuit 120, and
The image data in the memory 130 is directly recorded on the recording medium 200.
The data is recorded (saved) in RAW data and the present process ends.
【0086】ステップS311:ステップS310の判
別の結果、画像データ破棄がユーザから指示された場
合、システム制御部150は、画像処理回路120によ
るレベル補正処理を実行せずに、また、記録媒体200
への画像データの保存処理を実行せずに、メモリ130
内の画像データを破棄し、本処理終了する。
Step S311: As a result of the determination in step S310, when the user instructs the image data discard, the system control section 150 does not execute the level correction processing by the image processing circuit 120, and the recording medium 200
The storage of the image data to the memory 130 is not performed.
The image data inside is discarded, and this processing ends.
【0087】上述したような本実施の形態によれば、ユ
ーザから選択された単写モードや連写モード等に応じ
て、撮影動作における連写速度や連写枚数等の性能に影
響を及ぼすことなく、撮像素子114a,114bの接
続部分のレベル差を補正するためのレベル差補正値を取
得するのに最適な補正アルゴリズムを選択することが可
能となるので、適切なレベル差補正値を求め、当該レベ
ル差補正値を用いて、複数の撮像素子114a,114
bにより得られた画像データの補正を行うことが可能と
なる。したがって、複数の撮像素子114a,114b
により得られた複数の画像データを接続して得られる被
写体全体の画像データにおいて、従来のような接続部分
(貼り合わせ部分)の不具合が生じることはなく、良好
な被写体全体の画像を提供することができる。
According to the present embodiment as described above, the performance such as the continuous shooting speed and the number of continuous shootings in the shooting operation is influenced according to the single shooting mode or the continuous shooting mode selected by the user. Instead, it is possible to select the optimum correction algorithm for obtaining the level difference correction value for correcting the level difference between the connection parts of the image pickup devices 114a and 114b, and therefore, obtain an appropriate level difference correction value, Using the level difference correction value, the plurality of image pickup devices 114a, 114
It is possible to correct the image data obtained by b. Therefore, the plurality of imaging elements 114a and 114b
The image data of the entire subject obtained by connecting a plurality of image data obtained by the method does not cause a defect in the connecting portion (bonding portion) as in the past, and provides a good image of the entire subject. You can
【0088】また、上記の選択補正アルゴリズムの実行
で得られるレベル差補正値が、ユーザから設定された、
画像データ上に残る接続部分のレベル差を容認する閾値
を超える判断された場合には、ユーザに対して、画像デ
ータ保存或いは破棄の意思を確認した上で、画像データ
保存を指示された場合には、当該画像データをRAMデ
ータとしてメモリ130に保存するように構成したの
で、例えば、パーソナルコンピュータにおいて、適切な
レベル差補正量を取得し、当該レベル差補正値を用い
て、メモリ130内の画像データの補正を行うことが可
能となる。
Further, the level difference correction value obtained by executing the above selection correction algorithm is set by the user,
If it is determined that the level difference of the remaining connection part on the image data exceeds the threshold value, the user is asked to save or discard the image data, and then the image data saving is instructed. Is configured to store the image data as RAM data in the memory 130. Therefore, for example, in a personal computer, an appropriate level difference correction amount is acquired, and the image in the memory 130 is acquired using the level difference correction value. It becomes possible to correct the data.
【0089】尚、本発明の目的は、第1及び第2の実施
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ(又はCPUやMPU)が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第1及び第2
の実施の形態の機能を実現することとなり、そのプログ
ラムコードを記憶した記憶媒体及び当該プログラムコー
ドは本発明を構成することとなる。プログラムコードを
供給するための記憶媒体としては、ROM、フレキシブ
ルディスク、ハードディスク、光ディスク、光磁気ディ
スク、CD−ROM、CD−R、磁気テープ、不揮発性
のメモリカード等を用いることができる。また、コンピ
ュータが読みだしたプログラムコードを実行することに
より、第1及び第2の実施の形態の機能が実現されるだ
けでなく、そのプログラムコードの指示に基づき、コン
ピュータ上で稼動しているOS等が実際の処理の一部又
は全部を行い、その処理によって第1及び第2の実施の
形態の機能が実現される場合も含まれることは言うまで
もない。さらに、記憶媒体から読み出されたプログラム
コードが、コンピュータに挿入された拡張機能ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部又は全部を行い、その
処理によって第1及び第2の実施の形態の機能が実現さ
れる場合も含まれることは言うまでもない。
An object of the present invention is to supply a storage medium storing a program code of software for realizing the functions of the host and the terminal of the first and second embodiments to a system or apparatus, and the system or apparatus. By the computer (or CPU or MPU) of the device reading and executing the program code stored in the storage medium,
It goes without saying that it will be achieved. In this case, the program code itself read from the storage medium is the first and second program codes.
The functions of the embodiment are realized, and the storage medium storing the program code and the program code constitute the present invention. A ROM, flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, non-volatile memory card, or the like can be used as a storage medium for supplying the program code. Further, by executing the program code read by the computer, not only the functions of the first and second embodiments are realized, but also the OS running on the computer based on the instruction of the program code. It goes without saying that this also includes the case where the above-mentioned processes perform some or all of the actual processing and the functions of the first and second embodiments are realized by the processing. Further, after the program code read from the storage medium is written in the memory provided in the extended function board inserted in the computer or the extended function unit connected to the computer, the extended function is executed based on the instruction of the program code. Needless to say, this also includes the case where the CPU provided in the board or the function expansion unit performs some or all of the actual processing, and the processing realizes the functions of the first and second embodiments.
【0090】図4は、上記コンピュータの機能600を
示したものである。コンピュータ機能600は、上記図
4に示すように、CPU601と、ROM602と、R
AM603と、キーボード(KB)609のキーボード
コントローラ(KBC)605と、表示部としてのCR
Tディスプレイ(CRT)610のCRTコントローラ
(CRTC)606と、ハードディスク(HD)611
及びフレキシブルディスク(FD)612のディスクコ
ントローラ(DKC)607と、ネットワーク620と
の接続のためのネットワークインターフェースコントロ
ーラ(NIC)608とが、システムバス604を介し
て互いに通信可能に接続された構成としている。
FIG. 4 shows the function 600 of the computer. As shown in FIG. 4, the computer function 600 includes a CPU 601, a ROM 602, and an R
AM 603, keyboard controller (KBC) 605 of keyboard (KB) 609, and CR as a display unit
T-display (CRT) 610 CRT controller (CRTC) 606 and hard disk (HD) 611
A disk controller (DKC) 607 of the flexible disk (FD) 612 and a network interface controller (NIC) 608 for connecting to the network 620 are connected to each other via a system bus 604 so that they can communicate with each other. .
【0091】CPU601は、ROM602或いはHD
611に記憶されたソフトウェア、或いはFD612よ
り供給されるソフトウェアを実行することで、システム
バス604に接続された各構成部を総括的に制御する。
すなわち、CPU601は、所定の処理シーケンスに従
った処理プログラムを、ROM602、或いはHD61
1、或いはFD612から読み出して実行することで、
第1及び第2の実施の形態での動作を実現するための制
御を行う。
The CPU 601 is a ROM 602 or HD.
By executing the software stored in 611 or the software supplied from FD612, each component connected to the system bus 604 is comprehensively controlled.
That is, the CPU 601 executes the processing program according to the predetermined processing sequence in the ROM 602 or the HD 61.
1 or by reading from FD612 and executing,
Control for realizing the operation in the first and second embodiments is performed.
【0092】RAM603は、CPU601の主メモリ
或いはワークエリア等として機能する。KBC605
は、KB609や図示していないポインティングデバイ
ス等からの指示入力を制御する。CRTC606は、C
RT610の表示を制御する。DKC607は、ブート
プログラム、種々のアプリケーション、編集ファイル、
ユーザファイル、ネットワーク管理プログラム、及び第
1及び第2の実施の形態における所定の処理プログラム
等を記憶するHD611及びFD612とのアクセスを
制御する。NIC608は、ネットワーク620上の装
置或いはシステムと双方向にデータをやりとりする。
The RAM 603 functions as the main memory or work area of the CPU 601. KBC605
Controls instruction input from the KB 609 or a pointing device (not shown). CRTC606 is C
It controls the display of the RT 610. The DKC607 is a boot program, various applications, edit files,
It controls access to the HD 611 and the FD 612 that store the user file, the network management program, and the predetermined processing programs according to the first and second embodiments. The NIC 608 bidirectionally exchanges data with a device or system on the network 620.
【0093】[0093]
【発明の効果】以上説明したように本発明によれば、複
数の画像データの合成を常に適切な処理で行うことがで
き、高解像度の画像を常に効率的に確実に提供できる。
As described above, according to the present invention, it is possible to always combine a plurality of image data by an appropriate process, and always provide a high resolution image efficiently and reliably.
【図面の簡単な説明】[Brief description of drawings]
【図1】第1の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an image processing apparatus to which the present invention has been applied in a first embodiment.
【図2】上記画像処理装置の動作を説明するためのフロ
ーチャートである。
FIG. 2 is a flowchart for explaining the operation of the image processing apparatus.
【図3】第2の実施の形態において、上記画像処理装置
の動作を説明するためのフローチャートである。
FIG. 3 is a flowchart for explaining the operation of the image processing apparatus in the second embodiment.
【図4】上記画像処理装置の機能をコンピュータに実現
させるためのプログラムをコンピュータ読出可能な記憶
媒体から読み出して実行する当該コンピュータの構成を
示すブロック図である。
FIG. 4 is a block diagram showing a configuration of a computer that reads a program for causing a computer to realize the functions of the image processing apparatus from a computer-readable storage medium and executes the program.
【符号の説明】[Explanation of symbols]
100 画像処理装置 110 撮影レンズ 112 シャッター 114 撮像部 114a,114b 撮像素子 116a,116b A/D変換器 118 タイミング発生回路 120 画像処理回路 121 出力判定回路 122 メモリ制御回路 124 画像表示メモリ 126 D/A変換器 128 画像表示部 130 メモリ 132 画像圧縮/伸長回路 140 露光制御部 142 測距制御部 150 システム制御回路 152 メモリ 154 表示部 156 不揮発性メモリ 160 モードダイアルスイッチ 162 シャッタースイッチSW1 164 シャッタースイッチSW2 170 操作部 180 電源制御部 182 コネクタ 184 コネクタ 186 電源部 190 インタフェース 192 コネクタ 194 インタフェース 196 コネクタ 198 記録媒体着脱検知部 104 光学ファインダー 101 通信部 102 コネクタ(又はアンテナ) 200 記録媒体 202 記録部 204 インタフェース 206 コネクタ 100 image processing device 110 shooting lens 112 shutter 114 imaging unit 114a, 114b Image sensor 116a, 116b A / D converter 118 timing generation circuit 120 image processing circuits 121 Output judgment circuit 122 memory control circuit 124 Image display memory 126 D / A converter 128 image display section 130 memory 132 Image compression / decompression circuit 140 Exposure control unit 142 Distance measurement control unit 150 system control circuit 152 memory 154 display 156 Non-volatile memory 160 mode dial switch 162 Shutter switch SW1 164 Shutter switch SW2 170 Operation part 180 Power control unit 182 connector 184 connector 186 power supply 190 interface 192 connector 194 interface 196 connector 198 Recording medium attachment / detachment detection unit 104 Optical viewfinder 101 Communication unit 102 connector (or antenna) 200 recording media 202 recording unit 204 interface 206 connector
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA20 CA08 CA12 CA16 CB08 CB12 CB16 CE10 CH01 CH11 CH14 CH18 DA16 DB02 DB09 DC22 DC34 5C022 AA01 AC02 AC03 AC42 AC54 AC69 5L096 AA06 BA20 CA05 FA14 FA33 FA34 GA08 LA04 LA05 LA11 MA03    ─────────────────────────────────────────────────── ─── Continued front page    F-term (reference) 5B057 AA20 CA08 CA12 CA16 CB08                       CB12 CB16 CE10 CH01 CH11                       CH14 CH18 DA16 DB02 DB09                       DC22 DC34                 5C022 AA01 AC02 AC03 AC42 AC54                       AC69                 5L096 AA06 BA20 CA05 FA14 FA33                       FA34 GA08 LA04 LA05 LA11                       MA03

Claims (19)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 撮像手段から得られた複数の画像データ
    を合成する画像処理装置であって、 上記複数の画像データの相関関係に関する情報を取得す
    る情報取得手段と、 上記情報取得手段で得られた相関関係情報に基づいて、
    上記複数の画像データを合成する際に当該画像データの
    接続部分を補正するためのアルゴリズムを選択する選択
    手段と、 上記選択手段で選択された補正アルゴリズムに従って、
    上記接続部分の補正処理を実行する補正手段とを備える
    ことを特徴とする画像処理装置。
    1. An image processing apparatus for synthesizing a plurality of image data obtained from an image pickup means, the information obtaining means obtaining information on a correlation between the plurality of image data, and the information obtaining means obtained by the information obtaining means. Based on the correlation information
    According to the correction algorithm selected by the selecting means for selecting an algorithm for correcting the connection portion of the image data when synthesizing the plurality of image data, according to the correction algorithm selected by the selecting means,
    An image processing apparatus comprising: a correction unit that executes the correction process of the connection portion.
  2. 【請求項2】 上記相関関係情報は、各画像データのレ
    ベル差であり、上記選択手段は上記各画像データのレベ
    ル差に応じてアルゴリズムを選択することを特徴とする
    請求項1記載の画像処理装置。
    2. The image processing according to claim 1, wherein the correlation information is a level difference between the image data, and the selecting means selects an algorithm according to the level difference between the image data. apparatus.
  3. 【請求項3】 上記相関関係情報は、各画像データの分
    散値であり、上記選択手段は上記各画像データの分散値
    の大きさに応じてアルゴリズムを選択することを特徴と
    する請求項1記載の画像処理装置。
    3. The correlation information is a variance value of each image data, and the selecting means selects an algorithm according to the magnitude of the variance value of each image data. Image processing device.
  4. 【請求項4】 撮像手段から得られる複数の画像データ
    を合成する画像処理装置であって、 上記複数の画像データのレベル差に関する情報を取得す
    る情報取得手段と、 上記情報取得手段によって得られるレベル差が所定のレ
    ベルより大きい場合、上記複数の画像データの接続部分
    を補正して合成する合成手段と、 上記情報取得手段によって得られるレベル差が所定のレ
    ベルより小さい場合、上記複数の画像データを合成せず
    に記憶媒体に記憶する制御手段とを有することを特徴と
    する画像処理装置。
    4. An image processing apparatus for synthesizing a plurality of image data obtained from an image pickup means, the information obtaining means obtaining information on a level difference between the plurality of image data, and the level obtained by the information obtaining means. When the difference is larger than a predetermined level, the combining means for correcting and combining the connection portion of the plurality of image data and the level difference obtained by the information acquisition means are smaller than the predetermined level. An image processing apparatus comprising: a control unit that stores the image in a storage medium without synthesizing the image.
  5. 【請求項5】 上記制御手段は、上記情報取得手段によ
    って得られるレベル差が所定のレベルより小さい場合、
    上記記憶媒体に記憶する前に上記複数の画像データを破
    棄するか上記記憶媒体に記憶するかを選択するための通
    知を行なうための手段を有することを特徴とする請求項
    4記載の画像処理装置。
    5. The control means, when the level difference obtained by the information acquisition means is smaller than a predetermined level,
    5. The image processing apparatus according to claim 4, further comprising means for giving a notification for selecting whether to discard the plurality of pieces of image data or store the plurality of pieces of image data in the storage medium before storing the plurality of pieces of image data in the storage medium. .
  6. 【請求項6】 撮像手段から得られた複数の画像データ
    を合成する画像処理装置であって、 上記複数の撮像手段の動作モードに応じて、上記複数の
    画像データを合成する際に当該画像データの接続部分を
    補正するためのアルゴリズムを選択する選択手段と、 上記選択手段で選択された補正アルゴリズムに従って、
    上記接続部分の補正処理を実行する補正手段とを備える
    ことを特徴とする画像処理装置。
    6. An image processing apparatus for synthesizing a plurality of image data obtained from an image pickup means, wherein the image data is synthesized when the plurality of image data is synthesized according to an operation mode of the plurality of image pickup means. Selection means for selecting an algorithm for correcting the connection part of, and according to the correction algorithm selected by the selection means,
    An image processing apparatus comprising: a correction unit that executes the correction process of the connection portion.
  7. 【請求項7】 上記補正値が予め設定された閾値を超え
    た場合、外部からの指示に基づいて、上記補正処理対象
    の画像データを破棄する又は保存する手段を備えること
    を特徴とする請求項6記載の画像処理装置。
    7. When the correction value exceeds a preset threshold value, the image data as the correction processing target is discarded or stored based on an instruction from the outside. 6. The image processing device according to item 6.
  8. 【請求項8】 上記撮像手段は複数の撮像素子を有する
    ことを特徴とする請求項1ないし請求項7のいずれか1
    項に記載の画像処理装置。
    8. The image pickup device according to claim 1, wherein the image pickup means has a plurality of image pickup elements.
    The image processing device according to item.
  9. 【請求項9】 撮像手段から得られた複数の画像データ
    を合成するための画像処理方法であって、 上記複数の画像データの相関関係に関する情報を取得す
    る情報取得ステップと、 上記情報取得ステップにより得られた相関関係情報に基
    づいて、上記複数の画像データを合成する際に当該画像
    データの接続部分を補正するためのアルゴリズムを選択
    する選択ステップと、 上記選択ステップにより選択された補正アルゴリズムに
    従って、上記接続部分の補正処理を実行する補正ステッ
    プとを含むことを特徴とする画像処理方法。
    9. An image processing method for synthesizing a plurality of image data obtained from an image pickup means, comprising: an information acquisition step of acquiring information on a correlation between the plurality of image data; and an information acquisition step. Based on the obtained correlation information, a selection step of selecting an algorithm for correcting the connection portion of the image data when synthesizing the plurality of image data, according to the correction algorithm selected by the selection step, An image processing method, comprising: a correction step of performing a correction process of the connection portion.
  10. 【請求項10】 撮像手段から得られた複数の画像デー
    タを生成するための画像処理方法であって、 上記撮像手段の撮影モードに応じて、上記複数の画像デ
    ータを合成する際に当該画像データの接続部分を補正す
    るためのアルゴリズムを選択する選択ステップと、 上記選択ステップにより選択された補正アルゴリズムに
    従って、上記接続部分の補正処理を実行する補正ステッ
    プとを含むことを特徴とする画像処理方法。
    10. An image processing method for generating a plurality of image data obtained from an image pickup means, wherein the image data is generated when the plurality of image data are combined according to a photographing mode of the image pickup means. An image processing method, comprising: a selecting step of selecting an algorithm for correcting the connection part of, and a correction step of executing the correction processing of the connection part according to the correction algorithm selected by the selecting step.
  11. 【請求項11】 複数の撮像素子を接続して1つの撮像
    素子を構成し、当該撮像素子により被写体を撮像して得
    られた画像データを画像処理する画像処理方法であっ
    て、 上記画像データから上記複数の撮像素子の相関関係を判
    別する判別ステップと、 上記複数の撮像素子間のレベル差を補正するための複数
    の補正アルゴリズムと、 上記複数の補正アルゴリズムの中の任意の補正アルゴリ
    ズムの実行結果に基づいて、上記画像データにおける上
    記複数の撮像素子間のレベル差を補正する補正ステップ
    と、 上記判別ステップによる判別結果に基づいて、上記補正
    ステップで用いる補正アルゴリズムを上記複数の補正ア
    ルゴリズムの中で動的に変更して設定する設定ステップ
    とを含むことを特徴とする画像処理方法。
    11. An image processing method, comprising: connecting a plurality of image pickup devices to form one image pickup device; and image-processing image data obtained by picking up an image of a subject by the image pickup device. A determination step of determining the correlation between the plurality of image sensors, a plurality of correction algorithms for correcting the level difference between the plurality of image sensors, and an execution result of any correction algorithm among the plurality of correction algorithms On the basis of the correction step for correcting the level difference between the plurality of image pickup devices in the image data, and based on the determination result by the determination step, the correction algorithm used in the correction step is And a setting step of dynamically changing and setting the image processing method.
  12. 【請求項12】 複数の撮像素子を接続して1つの撮像
    素子を構成し、当該撮像素子により被写体を撮像して得
    られた画像データを画像処理する画像処理方法であっ
    て、 単写モード及び連写モードを含む動作モードの中から任
    意の動作モードを選択するモード選択ステップと、 上記複数の撮像素子間のレベル差を補正するための複数
    の補正アルゴリズムと、 上記複数の補正アルゴリズムの中の任意の補正アルゴリ
    ズムの実行結果に基づいて、上記画像データにおける上
    記複数の撮像素子間のレベル差を補正する補正ステップ
    と、 上記モード選択ステップにより選択された動作モードに
    基づいて、上記補正ステップで用いる補正アルゴリズム
    を上記複数の補正アルゴリズムの中で動的に変更して設
    定する設定ステップとを含むことを特徴とする画像処理
    方法。
    12. An image processing method comprising: connecting a plurality of image pickup devices to form one image pickup device; and image-processing image data obtained by picking up an image of a subject by the image pickup device. A mode selection step of selecting an arbitrary operation mode from operation modes including a continuous shooting mode, a plurality of correction algorithms for correcting the level difference between the plurality of image pickup devices, and a plurality of correction algorithms among the plurality of correction algorithms Used in the correction step based on the execution result of an arbitrary correction algorithm, a correction step for correcting the level difference between the plurality of image pickup devices in the image data, and an operation mode selected in the mode selection step. And a setting step of dynamically changing and setting the correction algorithm among the plurality of correction algorithms. Image processing method.
  13. 【請求項13】 上記補正ステップにより補正処理され
    た画像データ上に残る複数の撮像素子の接続部分のレベ
    ル差を容認する閾値を設定する閾値設定ステップを含む
    ことを特徴とする請求項11又は12記載の画像処理方
    法。
    13. The method according to claim 11, further comprising a threshold setting step of setting a threshold that allows a level difference between connection portions of a plurality of image pickup devices remaining on the image data corrected by the correction step. The described image processing method.
  14. 【請求項14】 上記補正ステップにより補正処理され
    た画像データ上に残る複数の撮像素子の接続部分のレベ
    ル差が、上記閾値設定ステップにより設定された閾値を
    超えた場合に、外部の端末装置上で起動する任意のアプ
    リケーションの実行により上記補正処理が可能なよう
    に、上記複数の撮像素子により得られた画像データをR
    AWデータとしてファイルに保存する保存ステップを含
    むことを特徴とする請求項13記載の画像処理方法。
    14. An external terminal device is provided when a level difference between connection parts of a plurality of image pickup devices remaining on the image data corrected by the correction step exceeds a threshold value set by the threshold value setting step. The image data obtained by the plurality of image pickup devices are read so that the correction processing can be performed by executing an arbitrary application activated by
    14. The image processing method according to claim 13, further comprising a saving step of saving the AW data in a file.
  15. 【請求項15】 上記補正ステップにより補正処理され
    た画像データ上に残る複数の撮像素子の接続部分のレベ
    ル差が、上記閾値設定ステップにより設定された閾値を
    超えた場合の処理ステップとして、 ユーザに対して画像データの保存又は破棄の意志を確認
    する確認ステップと、 上記確認ステップによりユーザが画像データ保存を選択
    した場合に、外部の端末装置上で起動する任意のアプリ
    ケーションの実行により上記補正処理が可能なように、
    上記複数の撮像素子により得られた画像データをRAW
    データとしてファイルに保存する保存ステップとを含む
    ことを特徴とする請求項13記載の画像処理方法。
    15. The processing step when the level difference of the connection portion of the plurality of image pickup devices remaining on the image data corrected by the correction step exceeds the threshold set by the threshold setting step, On the other hand, a confirmation step for confirming the intention to save or discard the image data, and when the user selects the image data storage in the confirmation step, the correction processing is performed by executing an arbitrary application started on the external terminal device. As possible,
    RAW image data obtained by the plurality of image pickup devices
    The image processing method according to claim 13, further comprising a storage step of storing the data in a file.
  16. 【請求項16】 請求項1〜8の何れかに記載の画像処
    理装置の機能をコンピュータに実現させるためのプログ
    ラムを記録したコンピュータ読出可能な記憶媒体。
    16. A computer-readable storage medium in which a program for causing a computer to realize the functions of the image processing apparatus according to claim 1 is recorded.
  17. 【請求項17】 請求項9〜15の何れかに記載の画像
    処理方法の処理ステップをコンピュータに実行させるた
    めのプログラムを記録したコンピュータ読取可能な記憶
    媒体。
    17. A computer-readable storage medium recording a program for causing a computer to execute the processing steps of the image processing method according to claim 9.
  18. 【請求項18】 請求項1〜8の何れかに記載の画像処
    理装置の機能をコンピュータに実現させるためのプログ
    ラム。
    18. A program for causing a computer to realize the functions of the image processing apparatus according to claim 1.
  19. 【請求項19】 請求項9〜15の何れかに記載の画像
    処理方法の処理ステップをコンピュータに実行させるた
    めのプログラム。
    19. A program for causing a computer to execute the processing steps of the image processing method according to claim 9.
JP2002001582A 2002-01-08 2002-01-08 Image processor, image processing method, storage medium and program Granted JP2003203229A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002001582A JP2003203229A (en) 2002-01-08 2002-01-08 Image processor, image processing method, storage medium and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002001582A JP2003203229A (en) 2002-01-08 2002-01-08 Image processor, image processing method, storage medium and program

Publications (2)

Publication Number Publication Date
JP2003203229A true JP2003203229A (en) 2003-07-18
JP2003203229A5 JP2003203229A5 (en) 2007-11-15

Family

ID=27641669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002001582A Granted JP2003203229A (en) 2002-01-08 2002-01-08 Image processor, image processing method, storage medium and program

Country Status (1)

Country Link
JP (1) JP2003203229A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101670176B1 (en) * 2015-06-23 2016-10-27 삼성전기주식회사 Image fusion system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04153785A (en) * 1990-10-18 1992-05-27 Mazda Motor Corp Environment recognizer for mobile vehicle
JPH07200778A (en) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd Image handling device
JPH10136196A (en) * 1996-10-28 1998-05-22 Fuji Xerox Co Ltd Image read method, image reader, and medium recording image read program
JPH1155558A (en) * 1997-08-06 1999-02-26 Minolta Co Ltd Digital camera
JPH11196311A (en) * 1998-01-05 1999-07-21 Fuji Photo Film Co Ltd Camera provided with split photographing function
JPH11196319A (en) * 1997-12-26 1999-07-21 Minolta Co Ltd Image pickup device
JPH11205648A (en) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd Image synthesizing device
JPH11317904A (en) * 1998-05-01 1999-11-16 Canon Inc Image pickup device and its control method
JP2000092306A (en) * 1998-09-10 2000-03-31 Minolta Co Ltd Image composition method and image composition device using the method
JP2000182034A (en) * 1998-12-08 2000-06-30 Synoptics Ltd Automatic image synthesizing system
JP2001177714A (en) * 1999-12-15 2001-06-29 Nec Corp Image composition method, image composition device, recording medium, and fingerprint input device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04153785A (en) * 1990-10-18 1992-05-27 Mazda Motor Corp Environment recognizer for mobile vehicle
JPH07200778A (en) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd Image handling device
JPH10136196A (en) * 1996-10-28 1998-05-22 Fuji Xerox Co Ltd Image read method, image reader, and medium recording image read program
JPH1155558A (en) * 1997-08-06 1999-02-26 Minolta Co Ltd Digital camera
JPH11196319A (en) * 1997-12-26 1999-07-21 Minolta Co Ltd Image pickup device
JPH11196311A (en) * 1998-01-05 1999-07-21 Fuji Photo Film Co Ltd Camera provided with split photographing function
JPH11205648A (en) * 1998-01-09 1999-07-30 Olympus Optical Co Ltd Image synthesizing device
JPH11317904A (en) * 1998-05-01 1999-11-16 Canon Inc Image pickup device and its control method
JP2000092306A (en) * 1998-09-10 2000-03-31 Minolta Co Ltd Image composition method and image composition device using the method
JP2000182034A (en) * 1998-12-08 2000-06-30 Synoptics Ltd Automatic image synthesizing system
JP2001177714A (en) * 1999-12-15 2001-06-29 Nec Corp Image composition method, image composition device, recording medium, and fingerprint input device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101670176B1 (en) * 2015-06-23 2016-10-27 삼성전기주식회사 Image fusion system

Similar Documents

Publication Publication Date Title
US7796169B2 (en) Image processing apparatus for correcting captured image
JP4035543B2 (en) Imaging device
US7978238B2 (en) Image data correction processing based on sensitivity
KR100812312B1 (en) Image sensing apparatus
US7443425B2 (en) Image pickup apparatus, control method therefor, control program for implementing the control method, and storage medium storing the control program
JP5424732B2 (en) Imaging apparatus, control method thereof, and program
US8711244B2 (en) Imaging apparatus for calculating a histogram to adjust color balance
US20050018253A1 (en) Image pickup apparatus for correcting image deterioration due to fixed pattern noise, and image pickup method
JP2005167697A (en) Electronic camera having red-eye correction function
US20040032490A1 (en) Image sensing apparatus, image sensing method, program, and storage medium
US8045015B2 (en) Image pickup apparatus, white balance control method thereof, and storage medium
JP2001320620A (en) Image pickup device, its control method and storage medium
JP4646725B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2006042258A (en) Imaging apparatus and its control method
JP4574087B2 (en) Imaging apparatus, control method thereof, control program thereof, and storage medium
JP4948011B2 (en) Imaging apparatus, control method therefor, computer program, and storage medium
JP4508357B2 (en) Imaging apparatus, control method therefor, and storage medium
JP2003203229A (en) Image processor, image processing method, storage medium and program
JP4887733B2 (en) Imaging apparatus, imaging method, and program
JP5967897B2 (en) Imaging apparatus, control method therefor, and program
JP2005215206A (en) Imaging unit, imaging method, program, and storage medium
JP2006203665A (en) Imaging device and method therefor, and recording medium and program
JP4682104B2 (en) Imaging device
JP2020088599A (en) Imaging apparatus, control method of the same, and program
JP4719453B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080520