JP2000224460A - Picture signal processor - Google Patents
Picture signal processorInfo
- Publication number
- JP2000224460A JP2000224460A JP11019650A JP1965099A JP2000224460A JP 2000224460 A JP2000224460 A JP 2000224460A JP 11019650 A JP11019650 A JP 11019650A JP 1965099 A JP1965099 A JP 1965099A JP 2000224460 A JP2000224460 A JP 2000224460A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- image signal
- signal processing
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000012937 correction Methods 0.000 claims abstract description 23
- 238000007906 compression Methods 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims abstract description 13
- 238000012935 Averaging Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 20
- 230000006837 decompression Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims 2
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 25
- 230000009466 transformation Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 102100036738 Guanine nucleotide-binding protein subunit alpha-11 Human genes 0.000 description 2
- 101100283445 Homo sapiens GNA11 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 1
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 1
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 1
- 101000604592 Homo sapiens Keratin-like protein KRT222 Proteins 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 102100038184 Keratin-like protein KRT222 Human genes 0.000 description 1
- 101100121112 Oryza sativa subsp. indica 20ox2 gene Proteins 0.000 description 1
- 101100121113 Oryza sativa subsp. japonica GA20OX2 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、複数の画像信号
から１枚の静止画を生成することができる画像信号処理
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal processing apparatus capable of generating one still image from a plurality of image signals.
【０００２】[0002]
【従来の技術】現在、静止画モードを有するカメラ一体
型ディジタルＶＴＲおよびディジタルスチルカメラ（以
下、これらを総称してディジタルカメラと略する）を用
いて手持ちで夜景などの撮影を行う場合、手振れのため
鮮明な画像が得られない。2. Description of the Related Art At present, when a camera-integrated digital VTR and a digital still camera (hereinafter, these are collectively abbreviated as a digital camera) having a still image mode are used to carry a hand-held image of a night view, etc. Therefore, clear images cannot be obtained.
【０００３】[0003]
【発明が解決しようとする課題】鮮明な画像を得るため
には、高価で重い光軸可変素子を使用する必要があっ
た。また、最近はＣＣＤ撮像素子の画素数が数倍に増え
る傾向にあり、画素振れの問題も顕著になっている。In order to obtain a clear image, it is necessary to use an expensive and heavy optical axis variable element. In recent years, the number of pixels of the CCD image pickup device has tended to increase several times, and the problem of pixel shake has also become remarkable.
【０００４】例えば、１／１００sec のシャッタ速度が
必要な明るさの被写体を水平画角５度（ＴＥＬＥ端）の
望遠で撮影することを考える。このときの露光時間は、
１０ｍsec である。画像の水平画素数を６４０画素（Ｖ
ＧＡ（Video Graphics Array）相当）とすれば、１度当
たりの画素数は、６４０／５＝１２８画素である。従っ
て、１０ｍsec の間に、０．１度動いただけで０．１×
１２８＝１２．８画素の振れを生じてしまう問題があっ
た。For example, suppose that a subject having a brightness that requires a shutter speed of 1/100 sec is photographed at a telephoto angle of 5 degrees in horizontal angle of view (TELE end). The exposure time at this time is
10 msec. The number of horizontal pixels of the image is 640 pixels (V
Assuming GA (Video Graphics Array), the number of pixels per degree is 640/5 = 128 pixels. Therefore, within 10 msec, only 0.1 degree movement is 0.1 ×
There is a problem that a shake of 128 = 12.8 pixels occurs.
【０００５】そこで、この発明の目的は、手持ちで暗い
被写体を撮影しても複数の画像信号から高解像度の静止
画を得ることができる画像信号処理装置を提供すること
にある。It is an object of the present invention to provide an image signal processing apparatus capable of obtaining a high-resolution still image from a plurality of image signals even when a hand-held image of a dark object is shot.
【０００６】[0006]
【課題を解決するための手段】請求項１に記載の発明
は、予め設定されたｎ枚の画像を手振れの影響を受けな
い程度の短い露光時間で順次撮像する撮像素子と、ｎ枚
の画像の明度補正と、ｎ枚の画像中、時間的に隣り合う
２枚の画像の位置ずれを１／ｍ画素の精度で検出する処
理とを行う手段と、検出した位置ずれを補正する手段
と、位置ずれを補正したｎ枚の画像を加算し、平均化す
る手段とからなることを特徴とする画像信号処理装置で
ある。According to a first aspect of the present invention, there is provided an image pickup device for sequentially picking up a predetermined number of n images with a short exposure time which is not affected by camera shake, and an n number of images. Means for performing the brightness correction of the above, and processing for detecting the positional deviation of two temporally adjacent images in the n images with an accuracy of 1 / m pixel, and means for correcting the detected positional deviation, An image signal processing device comprising: means for adding and averaging n images whose position has been corrected.
【０００７】請求項３に記載の発明は、予め設定された
ｎ枚の画像を手振れの影響を受けない程度の短い露光時
間で順次撮像する撮像素子と、ｎ枚の画像をそれぞれ記
録する記録媒体と、記録媒体から読み出したｎ枚の画像
の明度補正と、ｎ枚の画像中、時間的に隣り合う２枚の
画像の位置ずれを１／ｍ画素の精度で検出する処理とを
行う手段と、検出した位置ずれを補正する手段と、位置
ずれを補正したｎ枚の画像を加算し、平均化する手段と
からなることを特徴とする画像信号処理装置である。According to a third aspect of the present invention, there is provided an image pickup device for sequentially picking up a predetermined number of n images with a short exposure time which is not affected by camera shake, and a recording medium for recording the respective n images. Means for performing brightness correction of n images read from the recording medium, and processing for detecting a positional shift between two temporally adjacent images in the n images with an accuracy of 1 / m pixel. An image signal processing apparatus comprising: means for correcting a detected positional shift; and means for adding and averaging n images for which the positional shift has been corrected.
【０００８】手持ちのディジタルカメラで静止した被写
体を手振れの影響を受けない程度、例えば１／１０００
sec 程度のシャッタ速度（露光時間）で数秒間撮影し、
複数枚の画像信号が撮影される。撮影された画像信号毎
に明度補正を行い、１画素の精度または１／２画素〜１
／８画素の精度で位置合わせが行われる。位置合わせが
行われた画像信号に対して平均化および高域強調が施さ
れる。よって、被写体が暗くても、手振れの影響の少な
い高解像度となる画像信号を得ることができる。[0008] An object which is stationary with a handheld digital camera is not affected by camera shake, for example, 1/1000.
Shoot for a few seconds at a shutter speed (exposure time) of about
A plurality of image signals are captured. Brightness correction is performed for each captured image signal, and the accuracy of one pixel or 1/2 pixel to 1
Positioning is performed with an accuracy of / 8 pixel. Averaging and high-frequency emphasis are performed on the aligned image signal. Therefore, even if the subject is dark, it is possible to obtain a high-resolution image signal with little influence of camera shake.
【０００９】[0009]
【発明の実施の形態】以下、この発明の実施形態につい
て図面を参照して説明する。図１は、この発明が適用さ
れた第１の実施形態の全体的構成を示す。１で示すレン
ズ群を介して入射された被写体の像がＣＣＤ撮像素子２
へ供給される。レンズ群１は、シスコン（システムコン
トローラ）９によって、ズーム制御およびフォーカス制
御が行われる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an overall configuration of a first embodiment to which the present invention is applied. The image of the subject incident through the lens group indicated by 1 is a CCD image sensor 2
Supplied to The lens group 1 is subjected to zoom control and focus control by a system controller (system controller) 9.
【００１０】ＣＣＤ撮像素子２では、被写体からの入射
光が電荷として蓄積される。ＣＣＤ撮像素子２は、シャ
ッタボタン２９が押されるとシスコン９を介して、電子
シャッタのオン／オフが制御される。これによって、Ｃ
ＣＤ撮像素子２の電子シャッタが駆動され、供給された
被写体の像が取り込まれる。取り込まれた被写体の像
は、Ａ／Ｄ変換器（図示せず）によりディジタル化さ
れ、ディジタル撮像信号（以下、画像信号と称する）と
して、画像処理回路３へ供給される。画像処理回路３へ
供給された画像信号は、一旦画像メモリ４に記憶され
る。In the CCD image pickup device 2, incident light from a subject is accumulated as electric charges. When the shutter button 29 is pressed, on / off of the electronic shutter of the CCD image sensor 2 is controlled via the system controller 9. This gives C
The electronic shutter of the CD imaging device 2 is driven, and the supplied image of the subject is captured. The captured image of the subject is digitized by an A / D converter (not shown) and supplied to the image processing circuit 3 as a digital image signal (hereinafter, referred to as an image signal). The image signal supplied to the image processing circuit 3 is temporarily stored in the image memory 4.
【００１１】画像処理回路３では、後述するように、画
像メモリ４に記憶された少なくとも２枚の画像信号の合
成処理がリアルタイムで順次行われる。この画像処理回
路３は、シスコン９によって制御される。画像処理回路
３で合成された合成画像信号は、圧縮回路５へ供給され
る。圧縮回路５へ供給された合成画像信号は、一旦画像
メモリ４へ供給される。In the image processing circuit 3, as will be described later, a synthesizing process of at least two image signals stored in the image memory 4 is sequentially performed in real time. The image processing circuit 3 is controlled by the system controller 9. The synthesized image signal synthesized by the image processing circuit 3 is supplied to the compression circuit 5. The composite image signal supplied to the compression circuit 5 is supplied to the image memory 4 once.
【００１２】画像メモリ４に記憶された合成画像信号
は、圧縮回路５によって圧縮処理が施される。一例とし
て、静止画として記憶された合成画像信号に対してＪＰ
ＥＧ（Joint Photographic Experts Group）が施され
る。生成された圧縮画像信号に対して、シスコン９から
供給されるサブデータが付加される。このサブデータ
は、例えば日付、時刻、フォーカス状態、シャッタ速
度、絞りの状態、総枚数、何枚目、・・・等の画像信号
が撮影されたときの情報である。The combined image signal stored in the image memory 4 is subjected to a compression process by a compression circuit 5. As an example, the combined image signal stored as a still image is JP
EG (Joint Photographic Experts Group) is administered. Sub data supplied from the system controller 9 is added to the generated compressed image signal. The sub data is information when an image signal such as a date, a time, a focus state, a shutter speed, an aperture state, the total number, the number of sheets,...
【００１３】サブデータが付加された圧縮画像信号は、
記録媒体６に供給される。記録媒体６に供給された圧縮
画像信号とサブデータは、シスコン９の制御に従って記
録される。この記録媒体６の一例として、磁気テープ、
磁気ディスク、光磁気ディスクまたは半導体メモリなど
の中から適宜選択された記録媒体が用いられる。The compressed image signal to which the sub data is added is
The recording medium 6 is supplied. The compressed image signal and the sub data supplied to the recording medium 6 are recorded under the control of the system controller 9. As an example of the recording medium 6, a magnetic tape,
A recording medium appropriately selected from a magnetic disk, a magneto-optical disk, a semiconductor memory, and the like is used.
【００１４】操作キー系からの指定に応じたシスコン９
の制御によって、記録媒体６から圧縮画像信号が読み出
される。読み出された圧縮画像信号は、伸張回路７を介
して一旦画像メモリ４へ記憶され、伸張回路７によっ
て、伸張処理が施される。すなわち、この伸張回路７で
は、ＪＰＥＧの復号がなされる。さらに、圧縮画像信号
から分離されたサブデータがシスコン９へ供給される。
供給されたサブデータから日付、時刻、フォーカス状
態、シャッタ速度、絞りの状態、総枚数、何枚目、・・
・等の情報が読み取られる。伸張された画像信号は、伸
張回路７から表示回路８へ供給される。A system controller 9 according to the designation from the operation key system
, The compressed image signal is read from the recording medium 6. The read compressed image signal is temporarily stored in the image memory 4 via the decompression circuit 7, and is subjected to decompression processing by the decompression circuit 7. That is, the decompression circuit 7 performs JPEG decoding. Further, the sub data separated from the compressed image signal is supplied to the system controller 9.
From the supplied sub data, date, time, focus state, shutter speed, aperture state, total number of sheets,
・ Information such as is read. The expanded image signal is supplied from the expansion circuit 7 to the display circuit 8.
【００１５】上述した画像メモリ４は、複数の画像信号
に対して画像処理を施す場合、合成画像信号に対して圧
縮を施す場合、および圧縮画像信号を伸張する場合に用
いられる。このとき、画像処理が施される領域と、圧縮
が施される領域と、伸張が施される領域とをアドレスに
よって分けるようにしても良いし、記憶された信号に画
像処理用のフラグ、圧縮用のフラグまたは伸張用のフラ
グを付けるようにしても良い。また、画像処理用のメモ
リ、圧縮用のメモリおよび伸張用のメモリを別々に設け
るようにしても良い。The above-mentioned image memory 4 is used when performing image processing on a plurality of image signals, when performing compression on a composite image signal, and when expanding a compressed image signal. At this time, the area where the image processing is performed, the area where the compression is performed, and the area where the expansion is performed may be divided according to the address, or a flag for image processing, a compression A flag for expansion or a flag for expansion may be added. Further, a memory for image processing, a memory for compression, and a memory for decompression may be separately provided.
【００１６】上述したレンズ群１には、光軸の方向を変
えることができる光軸可変素子が含まれていない。さら
に、この実施形態では、手振れ検出用の角速度センサも
使用しない。The above-described lens group 1 does not include an optical axis variable element that can change the direction of the optical axis. Further, in this embodiment, an angular velocity sensor for detecting camera shake is not used.
【００１７】静止画における手振れの影響は、被写体が
暗いときに顕著に現れ、明るいときはシャッタ速度が速
いので、さほど問題にならない。例えば、１／１００se
c のシャッタ速度が必要な明るさの被写体を撮影すると
きに、手振れを１／１０に軽減したい場合、この実施形
態では、まずシャッタ速度を１０倍の１／１０００sec
に設定してシャッタボタン２９を２秒間押し続けてから
離す。するとこの２秒間に、６０枚の画像信号が撮影さ
れ、それぞれの画像信号は、シャッタ速度が速いため、
手振れは１／１０に抑えられている。しかしながら、撮
影された画像信号の明るさはいくらか暗くなり、Ｓ／Ｎ
も悪い。そこで、６０枚の各画像信号に対して明度補正
を施し、１画素の精度または１／２画素〜１／８画素の
精度で位置合わせを行いながら平均化処理と高域増強を
施すことによって、Ｓ／Ｎの良いシャープな画像信号が
得られる。The effect of camera shake in a still image is remarkable when the subject is dark, and when the subject is bright, the shutter speed is high, so that there is no significant problem. For example, 1 / 100se
In a case where it is desired to reduce the camera shake to 1/10 when photographing a subject having a brightness that requires the shutter speed c, in this embodiment, the shutter speed is first increased by a factor of 10 to 1/1000 sec.
, The shutter button 29 is kept pressed for 2 seconds, and then released. Then, during this two seconds, 60 image signals are captured, and since each image signal has a high shutter speed,
Shake is reduced to 1/10. However, the brightness of the captured image signal will be somewhat darker and the S / N
Is also bad. Therefore, by performing brightness correction on each of the 60 image signals and performing averaging processing and high-frequency enhancement while performing alignment with an accuracy of one pixel or an accuracy of 画素 to ８ pixel, A sharp image signal with good S / N can be obtained.
【００１８】画像信号を撮影する第１の方法として、撮
影する画像信号の枚数を設定せず、上述のようにシャッ
タボタン２９が押されている間、１／１０００sec のシ
ャッタ速度で画像信号を撮影し続ける方法がある。第２
の方法として、シャッタボタン２９が押されている間、
１／１０００sec のシャッタ速度で画像信号を撮影し続
け、撮影された画像信号に対して明度補正、位置合わ
せ、平均化処理および高域強調を施し、Ｓ／Ｎが得られ
る枚数に達したら自動的に撮影を終了する方法がある。
第３の方法として、シャッタボタン２９が押されている
間、１／１０００sec のシャッタ速度で画像信号を撮影
し続け、順次撮影された画像信号の途中で極端な画像の
変化を検出したときは、その直前までの画像信号だけを
使用するようにし、撮影を終了する方法がある。このと
き、Ｓ／Ｎが十分でない場合、その旨を警告するように
する。この一例では、Ｓ／Ｎが得られる枚数を決めるた
めに、各画像信号の輝度レベルを使用する。As a first method for capturing an image signal, the number of image signals to be captured is not set, and the image signal is captured at a shutter speed of 1/1000 sec while the shutter button 29 is pressed as described above. There is a way to continue. Second
As a method, while the shutter button 29 is pressed,
The camera continuously shoots image signals at a shutter speed of 1/1000 sec, performs brightness correction, alignment, averaging, and high-frequency emphasis on the shot image signals. There is a method to end shooting.
As a third method, while the shutter button 29 is pressed, image signals are continuously captured at a shutter speed of 1/1000 sec. When an extreme image change is detected in the middle of sequentially captured image signals, There is a method in which only the image signal up to that immediately before is used and the shooting is terminated. At this time, if the S / N is not sufficient, a warning to that effect is issued. In this example, the luminance level of each image signal is used to determine the number of sheets at which the S / N can be obtained.
【００１９】上述した明度補正の一例を説明する。供給
された画像信号は、ｋ（＜１）倍され、加算される。加
算された画像信号の輝度レベルは平均化され、平均化さ
れた輝度レベルは所定値（最適レベル）と比較される。
この一例では、平均化された輝度レベルが所定値より大
きくなったときに、明度が十分な値となったと判断され
る。An example of the above-described brightness correction will be described. The supplied image signal is multiplied by k (<1) and added. The luminance levels of the added image signals are averaged, and the averaged luminance level is compared with a predetermined value (optimum level).
In this example, when the averaged brightness level becomes larger than a predetermined value, it is determined that the brightness has become a sufficient value.
【００２０】ここで、１画素の精度で位置合わせを行う
画像処理回路３の第１の例を図２を用いて説明する。Ｃ
ＣＤ撮像素子２から供給される画像信号は、入力端子１
１から入力される。入力された画像信号は、入力画像メ
モリ１２へ供給される。入力画像メモリ１２には、撮影
されたばかりの現画像信号が記憶される。さらに、入力
画像メモリ１２では、記憶された現画像信号に対して明
度補正が行われる。そして、バッファメモリ１３には、
１フレーム前の画像信号が記憶される。一例として、入
力画像メモリ１２およびバッファメモリ１３は、８ビッ
トのＶＧＡ規格の容量である。Here, a first example of the image processing circuit 3 for performing positioning with one pixel accuracy will be described with reference to FIG. C
An image signal supplied from the CD imaging device 2 is input to an input terminal 1
Input from 1. The input image signal is supplied to the input image memory 12. The input image memory 12 stores the current image signal that has just been shot. Further, the input image memory 12 performs brightness correction on the stored current image signal. Then, in the buffer memory 13,
The image signal of one frame before is stored. As an example, the input image memory 12 and the buffer memory 13 have an 8-bit VGA standard capacity.
【００２１】ブロック毎の位置検出回路１６では、１フ
レーム前の画像信号に対して現画像信号はどのような位
置にあるかが１画素の精度でブロック毎に検出される。
このとき、あるブロック内の画像が平坦な場合、位置検
出が不可能である。よって、ブロックのバリアンスＶａ
を算出し、バリアンスが小さいときには、そのブロック
を位置検出に使用しないようにする。バリアンスＶａの
計算式を式（１）に示す。The position detection circuit 16 for each block detects the position of the current image signal with respect to the image signal of one frame before in each block with an accuracy of one pixel.
At this time, if the image in a certain block is flat, position detection is impossible. Therefore, the variance Va of the block
Is calculated, and when the variance is small, the block is not used for position detection. The equation for calculating the variance Va is shown in equation (1).
【００２２】 Ｖａ＝Σ（ｙi 2 ）／Ｋ−（Σ（ｙi ／Ｋ））2 （１） 但し、ｙi ：輝度値、Ｋ：ブロック内の画素数とする。Va = Σ (yi 2 ) / K− (Σ (yi / K)) 2 (1) where yi is a luminance value and K is the number of pixels in a block.
【００２３】この位置検出回路１６では、ブロック番号
をｉとし、ブロック毎に縦横の平行移動成分が求められ
る。求められた縦方向の平行移動成分をｙ〔ｉ〕とし、
横方向の平行移動成分をｘ〔ｉ〕とする。多くのブロッ
クについて、ｘ〔ｉ〕の値と、ｙ〔ｉ〕の値とが同じ値
の場合、画面全体が平行移動したものと見做される。こ
の位置検出回路１６で検出された位置データは、１画素
を超える整数成分と、１画素未満の小数成分とを持って
いる。検出された小数成分は、四捨五入し、整数成分と
して出力画像メモリ２３へ供給される。また、検出され
た画像変形係数も、画像変形回路２３へ供給される。In the position detection circuit 16, a block number is set to i, and vertical and horizontal translation components are obtained for each block. The obtained vertical translation component is defined as y [i],
Let x [i] be the horizontal translation component. When the value of x [i] and the value of y [i] are the same for many blocks, it is considered that the entire screen has been translated. The position data detected by the position detection circuit 16 has an integer component exceeding one pixel and a decimal component less than one pixel. The detected decimal component is rounded off and supplied to the output image memory 23 as an integer component. The detected image deformation coefficient is also supplied to the image deformation circuit 23.
【００２４】加算回路２２では、出力画像メモリ２３か
らの画像信号と、バッファメモリ１３からの画像信号と
の加算が行われる。加算された画像信号は、出力画像メ
モリ２３に供給される。In the addition circuit 22, the image signal from the output image memory 23 and the image signal from the buffer memory 13 are added. The added image signal is supplied to the output image memory 23.
【００２５】ブロック毎の位置検出回路１６から供給さ
れる整数成分のずれを補正するように、出力画像メモリ
２３へ画像信号が書き込まれる。例えば、位置検出回路
１６で３．７画素分水平方向にずれていると判断された
場合、上述したように小数成分を四捨五入するので、こ
の出力画像メモリ２３には、位置検出回路１６から整数
成分として４が供給される。その整数成分の４のずれを
補正するように、出力画像メモリ２３では、水平方向に
４画素ずれた位置となるように、画像信号が書き込まれ
る。これによって、水平方向に４画素ずれている次のフ
レームの画像信号と、記憶している画像信号との位置合
わせが行われる。読み出される画像信号と、次のフレー
ムの画像信号とは、上述したように加算回路２２で加算
され、同じアドレスに書き込まれる。An image signal is written to the output image memory 23 so as to correct the deviation of the integer component supplied from the position detection circuit 16 for each block. For example, if the position detection circuit 16 determines that the pixel is shifted by 3.7 pixels in the horizontal direction, the decimal component is rounded off as described above. Is supplied as. In the output image memory 23, the image signal is written so as to be shifted by 4 pixels in the horizontal direction so as to correct the shift of 4 of the integer component. As a result, the image signal of the next frame shifted by 4 pixels in the horizontal direction is aligned with the stored image signal. The image signal to be read and the image signal of the next frame are added by the adding circuit 22 as described above, and are written to the same address.
【００２６】この一例では、２秒で６０枚の画像信号の
加算が可能であり、加算される枚数が６４枚以下の場
合、出力画像メモリ２３は、１４ビットのＶＧＡ規格に
合った容量である。加算された画像信号は、出力画像メ
モリ２３から加算回路２２および除算回路２４へ供給さ
れる。In this example, 60 image signals can be added in 2 seconds, and when the number of added images is 64 or less, the output image memory 23 has a capacity conforming to the 14-bit VGA standard. . The added image signal is supplied from the output image memory 23 to the addition circuit 22 and the division circuit 24.
【００２７】除算回路２４では、ｎ枚加算された画像信
号をｎで割り、画像信号が平均化される。平均化された
画像信号は、除算回路２４から高域強調フィルタ２５へ
供給される。高域強調フィルタ２５では、供給された画
像信号がより鮮明な画像信号に仕上げられ、Ｓ／Ｎの良
い静止画が得られる。鮮明に仕上げられた画像信号は、
出力端子２６を介して圧縮回路５へ供給される。In the dividing circuit 24, the image signals obtained by adding n images are divided by n, and the image signals are averaged. The averaged image signal is supplied from the division circuit 24 to the high-frequency emphasis filter 25. In the high-frequency emphasis filter 25, the supplied image signal is finished into a clearer image signal, and a still image with a good S / N is obtained. The sharply finished image signal
It is supplied to the compression circuit 5 via the output terminal 26.
【００２８】このように第１の例では、位置合わせを行
う画像信号は、静止画であり互いに相関を有する。ま
た、複数の画像信号のノイズは、ランダムであって相関
がない。従って、複数の画像信号を加算し、平均化する
ことによって、ノイズがキャンセルされるので、Ｓ／Ｎ
が向上する。As described above, in the first example, the image signals to be aligned are still images and have a correlation with each other. Further, noises of a plurality of image signals are random and have no correlation. Therefore, noise is canceled by adding and averaging a plurality of image signals, so that S / N
Is improved.
【００２９】上述した入力画像メモリ１２およびバッフ
ァメモリ１３の画像サイズは、どちらも入力画像の１枚
分＋αとしても良い。例えば、α＝０．２の場合、水平
画素が７６４となり、垂直画素が５７６となる。入力画
像メモリ１２およびバッファメモリ１３の画像信号のビ
ット数は、どちらも入力画像と同じで良い。例えば、８
ビット×３色で良い。The image sizes of the input image memory 12 and the buffer memory 13 may be set to one input image + α. For example, when α = 0.2, the number of horizontal pixels is 764 and the number of vertical pixels is 576. The number of bits of the image signals in the input image memory 12 and the buffer memory 13 may be the same as that of the input image. For example, 8
Bit x 3 colors is sufficient.
【００３０】また、出力画像メモリ２３の画像サイズ
は、入力画像の１枚分としても良い。出力画像メモリ２
３の画像信号のビット数は、加算する画像信号の枚数に
依存し、枚数が２倍になる毎に１ビット増加する。例え
ば、加算する画像信号の枚数が１６枚なら１２ビット×
３色となり、６４枚なら１４ビット×３色となるので、
１６ビット×３色のビット数があれば、２５６枚の画像
信号を加算することができる。加算する画像信号の枚数
は、除算の都合から２のべき乗が良い。The image size of the output image memory 23 may be one input image. Output image memory 2
The number of bits of the image signal of No. 3 depends on the number of image signals to be added, and increases by one bit every time the number of images is doubled. For example, if the number of image signals to be added is 16, 12 bits ×
It becomes 3 colors, and if it is 64 sheets, it will be 14 bits × 3 colors, so
If there are 16 bits × 3 color bits, 256 image signals can be added. The number of image signals to be added is preferably a power of 2 for convenience of division.
【００３１】ここで、１／２画素〜１／８画素の精度で
位置合わせを行う画像処理回路３の第２の例を図３を用
いて説明する。上述した図２と同じブロックには、同じ
参照符号を付し、その説明を省略する。Here, a second example of the image processing circuit 3 for performing positioning with an accuracy of 1/2 to 1/8 pixel will be described with reference to FIG. The same blocks as those in FIG. 2 described above are denoted by the same reference numerals, and description thereof will be omitted.
【００３２】入力画像メモリ１２に記憶されている現画
像信号およびバッファメモリ１３に記憶されている１フ
レーム前の画像信号は位置検出回路１４に供給される。
位置検出回路１４では、１フレーム前の画像信号に対し
て現画像信号はどのような位置にあるか、さらにどのよ
うな幾何学的な変形を受けているかが調べられる。この
位置検出回路１４は、拡大補間回路１５、１７、ブロッ
ク毎の位置検出回路１６および処理演算回路１８から構
成される。現画像信号は、拡大補間回路１５へ供給さ
れ、２倍〜８倍に拡大される。１フレーム前の画像信号
は、拡大補間回路１７へ供給され、２倍〜８倍に拡大さ
れる。拡大された現画像信号および１フレーム前の画像
信号は、ブロック毎の位置検出回路１６へ供給される。
ブロック毎の位置検出回路１６では、１画素の１／２〜
１／８の精度でブロック毎の位置が検出される。The current image signal stored in the input image memory 12 and the image signal one frame before stored in the buffer memory 13 are supplied to a position detection circuit 14.
The position detection circuit 14 examines the position of the current image signal with respect to the image signal of one frame before, and also what kind of geometric deformation has occurred. The position detection circuit 14 includes enlargement interpolation circuits 15 and 17, a position detection circuit 16 for each block, and a processing operation circuit 18. The current image signal is supplied to the enlargement interpolation circuit 15 and is enlarged by a factor of 2 to 8 times. The image signal of one frame before is supplied to the enlargement interpolation circuit 17, and is enlarged by 2 to 8 times. The enlarged current image signal and the image signal one frame before are supplied to the position detection circuit 16 for each block.
In the position detection circuit 16 for each block, 1/2 to 1 pixel
The position of each block is detected with 1/8 accuracy.
【００３３】このとき、あるブロック内の画像が平坦な
場合、位置検出が不可能である。よって、上述した式
（１）に示すバリアンスＶａの計算式により、ブロック
のバリアンスＶａを算出し、バリアンスが小さいときに
は、そのブロックを位置検出に使用しないようにする。At this time, if the image in a certain block is flat, position detection is impossible. Therefore, the variance Va of a block is calculated by the above-described equation (1) for calculating the variance Va, and when the variance is small, the block is not used for position detection.
【００３４】処理演算回路１８では、ブロック番号をｉ
とし、ブロック毎に縦横の平行移動成分が求められる。
求められた縦方向の平行移動成分をｙ〔ｉ〕とし、横方
向の平行移動成分をｘ〔ｉ〕とする。多くのブロックに
ついて、ｘ〔ｉ〕の値と、ｙ〔ｉ〕の値とが同じ値の場
合、画面全体が平行移動したものと見做される。この処
理演算回路１８で検出された位置データは、１画素を超
える整数成分と、１画素未満の小数成分とを持ってい
る。検出された位置データの整数成分は、出力画像メモ
リ２３へ供給され、小数成分は、画素ずらし補間回路２
０へ供給される。また、処理演算回路１８で検出された
画像変形係数は、画像変形回路２１へ供給される。In the processing operation circuit 18, the block number is set to i
The horizontal and vertical translation components are obtained for each block.
The obtained vertical translation component is y [i], and the horizontal translation component is x [i]. If the value of x [i] and the value of y [i] are the same for many blocks, it is considered that the entire screen has been translated. The position data detected by the processing operation circuit 18 has an integer component exceeding one pixel and a decimal component less than one pixel. The integer component of the detected position data is supplied to the output image memory 23, and the decimal component is
0. The image deformation coefficient detected by the processing operation circuit 18 is supplied to the image deformation circuit 21.
【００３５】画素ずらし補間回路２０では、供給された
小数成分に応じてバッファメモリ１３から供給された画
像信号に対して画素ずらし補間が施される。例えば、位
置検出回路１４で３．７画素分水平方向にずれていると
判断された場合、この画素ずらし補間回路２０には、位
置検出回路１４から小数成分の０．７が供給される。そ
こで、画素ずらし補間回路２０では、加重平均によっ
て、画素Ａから画素Ｂの方向へ０．７画素ずれた位置に
画素Ｃが生成される。この一例では、 Ａ×（１−０．７）＋Ｂ×０．７＝Ｃ から画素Ｃが生成される。このようにして、供給された
画像信号に対して０．７画素ずらしが施され、０．７画
素ずらされた画像信号が新たに生成される。新たに生成
された画像信号は、画素ずらし補間回路２０から画像変
形回路２１へ供給される。The pixel shift interpolation circuit 20 performs pixel shift interpolation on the image signal supplied from the buffer memory 13 according to the supplied decimal component. For example, if the position detection circuit 14 determines that the pixel is shifted by 3.7 pixels in the horizontal direction, the pixel shift interpolation circuit 20 is supplied with 0.7 as a decimal component from the position detection circuit 14. Therefore, the pixel shift interpolation circuit 20 generates the pixel C at a position shifted by 0.7 pixels from the pixel A to the pixel B by the weighted average. In this example, the pixel C is generated from A × (1−0.7) + B × 0.7 = C. In this way, the supplied image signal is shifted by 0.7 pixels, and an image signal shifted by 0.7 pixels is newly generated. The newly generated image signal is supplied from the pixel shift interpolation circuit 20 to the image transformation circuit 21.
【００３６】画像変形回路２１では、供給された画像変
形係数に応じて、画素ずらし補間が施された画像信号に
対して画像変形、例えば回転、伸縮および台形歪みなど
が施される。画像変形が施された画像信号は、画像変形
回路２１から加算回路２２へ供給される。The image transformation circuit 21 performs image transformation, for example, rotation, expansion and contraction, and trapezoidal distortion, on the image signal subjected to the pixel shift interpolation in accordance with the supplied image transformation coefficient. The image signal subjected to the image transformation is supplied from the image transformation circuit 21 to the addition circuit 22.
【００３７】出力画像メモリ２３では、位置検出回路１
４から供給される整数成分のずれを補正するように、画
像信号が書き込まれる。例えば、位置検出回路１４で
３．７画素分水平方向にずれていると判断された場合、
この出力画像メモリ２３には、位置検出回路１４から整
数成分の３が供給される。その整数成分の３のずれを補
正するように、出力画像メモリ２３では、水平方向に３
画素ずれた位置となるように、画像信号が書き込まれ
る。すなわち、画素ずらし補間回路２０で０．７画素ず
らされ、この出力画像メモリ２３で３画素ずらされる。
これによって、水平方向に３．７画素ずれている次のフ
レームの画像信号と、記憶している画像信号との位置合
わせが行われる。読み出される画像信号と、次のフレー
ムの画像信号とは、加算回路２２で加算され、同じアド
レスに書き込まれる。In the output image memory 23, the position detecting circuit 1
The image signal is written so as to correct the deviation of the integer component supplied from the step S4. For example, if the position detection circuit 14 determines that the pixel is horizontally shifted by 3.7 pixels,
The output image memory 23 is supplied with the integer component 3 from the position detection circuit 14. In the output image memory 23, 3 is shifted in the horizontal direction so as to correct the shift of 3 of the integer component.
An image signal is written so as to be a position shifted by a pixel. That is, the pixel is shifted by 0.7 pixels in the pixel shift interpolation circuit 20, and is shifted by 3 pixels in the output image memory 23.
As a result, the image signal of the next frame which is shifted by 3.7 pixels in the horizontal direction is aligned with the stored image signal. The image signal to be read and the image signal of the next frame are added by the adder circuit 22 and written to the same address.
【００３８】このように第２の例では、位置合わせを行
う画像信号は、静止画であり互いに相関を有する。ま
た、複数の画像信号のノイズは、ランダムであって相関
がない。従って、複数の画像信号を加算し、平均化する
ことによって、ノイズがキャンセルされるので、Ｓ／Ｎ
が向上する。さらに、複数の画像信号を合成するとき
に、元の画像信号の画素と異なる位置の画素の情報を持
つので、解像度が向上する。As described above, in the second example, the image signals to be aligned are still images and have a correlation with each other. Further, noises of a plurality of image signals are random and have no correlation. Therefore, noise is canceled by adding and averaging a plurality of image signals, so that S / N
Is improved. Further, when a plurality of image signals are combined, information of a pixel at a position different from the pixel of the original image signal is provided, so that the resolution is improved.
【００３９】ここで、タイミングチャートを図４に示
す。図４Ａに示すように、シャッタボタン２９が押され
ると、図４Ｂに示すように、ＣＣＤ撮像素子２から静止
画となる画像信号が毎フレーム連続的に出力される。図
４Ｃに示すように、出力された画像信号Ｐ１は、入力画
像メモリ１２に記憶される。そして、図４Ｄに示すよう
に、次のフレームで画像信号Ｐ１は、バッファメモリ１
３に記憶される。FIG. 4 shows a timing chart. As shown in FIG. 4A, when the shutter button 29 is pressed, as shown in FIG. 4B, an image signal serving as a still image is continuously output from the CCD image sensor 2 every frame. As shown in FIG. 4C, the output image signal P1 is stored in the input image memory 12. Then, as shown in FIG. 4D, the image signal P1 is stored in the buffer memory 1 in the next frame.
3 is stored.
【００４０】そして、入力画像メモリ１２に画像信号Ｐ
２が記憶され、バッファメモリ１３に画像信号Ｐ１が記
憶されているときに、位置検出回路１４では、画像信号
Ｐ１に対して画像信号Ｐ２の位置が検出される。図４Ｅ
に示すように、位置検出の検出結果は、整数成分、小数
成分および画像変形係数からなり、上述したように整数
成分は出力画像メモリ２３へ供給され、小数成分は画素
ずらし補間回路２０へ供給され、画像変形係数は画像変
形回路２１へ供給される。The image signal P is stored in the input image memory 12.
2 is stored and when the image signal P1 is stored in the buffer memory 13, the position detection circuit 14 detects the position of the image signal P2 with respect to the image signal P1. FIG. 4E
As shown in the figure, the detection result of the position detection includes an integer component, a decimal component, and an image deformation coefficient. As described above, the integer component is supplied to the output image memory 23, and the decimal component is supplied to the pixel shift interpolation circuit 20. , And the image transformation coefficient are supplied to the image transformation circuit 21.
【００４１】図４Ｆに示すように、その検出結果に基づ
いて、画素ずらし補間回路２０および画像変形回路２１
において、画像信号に処理が施される。そして、図４Ｇ
に示すように、出力画像メモリ２３に、処理が施された
画像が記憶される。このとき、上述したように位置検出
の検出結果の整数成分に基づいて出力画像メモリ２３へ
の画像信号の書き込みを制御することによって、位置合
わせが行われ、複数の画像信号が合成される。As shown in FIG. 4F, based on the detection result, the pixel shift interpolation circuit 20 and the image transformation circuit 21
In, the image signal is processed. And FIG. 4G
As shown in (1), the processed image is stored in the output image memory 23. At this time, by controlling the writing of the image signal to the output image memory 23 based on the integer component of the detection result of the position detection as described above, the positioning is performed, and a plurality of image signals are synthesized.
【００４２】このように、予め指定した枚数、この一例
では、４枚の画像信号の合成が終了した後、図４Ｈに示
すように、合成画像信号が除算回路２４および高域強調
フィルタ２５へ供給され、処理が施される。As described above, after the synthesis of the predetermined number of images, in this example, four image signals, is completed, the synthesized image signal is supplied to the division circuit 24 and the high-frequency emphasis filter 25 as shown in FIG. 4H. And processing is performed.
【００４３】ここで、この発明が適用された第２の実施
形態の全体的構成を図５に示す。この第２の実施形態
は、画像処理をソフトウェアで行う一例である。上述し
た第１の実施形態と同様のブロックには、同じ参照符号
を付し、その説明を省略する。スイッチ回路３１では、
シスコン９に含まれる画像処理回路３４から出力される
合成画像信号と、ＣＣＤ撮像素子２からの画像信号とか
ら何れか１つが選択される。スイッチ回路３１で選択さ
れた合成画像信号または画像信号は、圧縮回路５および
スイッチ回路３２へ供給される。FIG. 5 shows the overall configuration of the second embodiment to which the present invention is applied. The second embodiment is an example in which image processing is performed by software. The same blocks as those in the first embodiment described above are denoted by the same reference numerals, and description thereof will be omitted. In the switch circuit 31,
Any one of the composite image signal output from the image processing circuit 34 included in the system controller 9 and the image signal from the CCD image sensor 2 is selected. The composite image signal or image signal selected by the switch circuit 31 is supplied to the compression circuit 5 and the switch circuit 32.
【００４４】スイッチ回路３２では、伸張回路７で再生
される合成画像信号または画像信号と、スイッチ回路３
１を介して供給される合成画像信号または画像信号とか
ら何れか１つが選択される。選択された合成画像信号ま
たは画像信号は、出力端子３３を介して外部のモニタに
出力されると共に、表示回路８に供給される。In the switch circuit 32, the composite image signal or image signal reproduced by the decompression circuit 7 and the switch circuit 3
1 is selected from the composite image signal or the image signal supplied via the control unit 1. The selected synthesized image signal or image signal is output to an external monitor via the output terminal 33 and is also supplied to the display circuit 8.
【００４５】また、伸張回路７から出力される複数の画
像信号は、画像処理部３４およびデータ変換回路３５へ
供給される。画像処理部３４では、上述した画像処理回
路３と同じような画像処理がソフトウェアにて施され
る。データ変換回路３５では、出力端子３６を介して外
部のパソコン（パーソナルコンピュータ）へ出力して、
パソコンで受け取れるように画像信号が変換される。A plurality of image signals output from the expansion circuit 7 are supplied to an image processing section 34 and a data conversion circuit 35. In the image processing unit 34, image processing similar to that of the image processing circuit 3 described above is performed by software. The data conversion circuit 35 outputs the data to an external personal computer (personal computer) via an output terminal 36,
The image signal is converted so that it can be received by a personal computer.
【００４６】このように、ｎ枚の画像信号が撮影と同時
に全て記録媒体６に記録される。シスコン９で画像処理
を行う場合、上述した図２の画像処理回路のブロック図
に示すハードウェアの場合と同様の処理を行い、処理が
終了した画像信号が再び記録媒体６の別の領域に記録さ
れる。外部のパソコンで画像処理を行う場合、全ての画
像信号をパソコンに転送し、ハードウェアの場合と同様
の処理を行い、その結果がパソコンのハードディスクな
どに記録される。As described above, all the n image signals are recorded on the recording medium 6 simultaneously with the photographing. When image processing is performed by the system controller 9, processing similar to that of the hardware shown in the block diagram of the image processing circuit in FIG. 2 described above is performed, and the processed image signal is recorded again in another area of the recording medium 6. Is done. When image processing is performed by an external personal computer, all image signals are transferred to the personal computer, and the same processing as in the case of hardware is performed, and the result is recorded on a hard disk of the personal computer.
【００４７】この実施形態では、画像信号を出力画像メ
モリ２３に書き込むときに、次のフレームの画像信号と
のずれを補正する位置合わせを行うようにしているが、
出力画像メモリ２３から画像信号を読み出すときに、次
のフレームの画像信号とのずれを補正する位置合わせを
行うようにしても良い。In this embodiment, when an image signal is written to the output image memory 23, a position adjustment for correcting a deviation from the image signal of the next frame is performed.
When the image signal is read from the output image memory 23, a position adjustment for correcting a deviation from the image signal of the next frame may be performed.
【００４８】[0048]
【発明の効果】この発明に依れば、ディジタルカメラを
手持ちで静止した暗い被写体に向けて０．５sec 〜５se
c 程度撮影するだけで手振れの影響の少ないシャープな
静止画を得ることができる。According to the present invention, the digital camera is aimed at a dark subject which is held still by hand for 0.5 sec to 5 sec.
You can obtain a sharp still image with little influence of camera shake by shooting only c degrees.
【図１】この発明が適用されるカメラ一体型ディジタル
ＶＴＲの第１の実施形態を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of a camera-integrated digital VTR to which the present invention is applied.
【図２】この発明が適用される画像処理回路の第１の例
のブロック図である。FIG. 2 is a block diagram of a first example of an image processing circuit to which the present invention is applied;
【図３】この発明が適用される画像処理回路の第２の例
のブロック図である。FIG. 3 is a block diagram of a second example of the image processing circuit to which the present invention is applied;
【図４】この発明を説明するためのタイミングチャート
である。FIG. 4 is a timing chart for explaining the present invention.
【図５】この発明が適用されるカメラ一体型ディジタル
ＶＴＲの第２の実施形態を示すブロック図である。FIG. 5 is a block diagram showing a second embodiment of a camera-integrated digital VTR to which the present invention is applied.
１・・・レンズ群、２・・・ＣＣＤ撮像素子、３・・・
画像処理回路、４・・・画像メモリ、５・・・圧縮回
路、６・・・記録媒体、７・・・伸張回路、８・・・表
示回路、９・・・シスコン、１０・・・枚数設定キーDESCRIPTION OF SYMBOLS 1 ... Lens group, 2 ... CCD image sensor, 3 ...
Image processing circuit, 4 image memory, 5 compression circuit, 6 recording medium, 7 expansion circuit, 8 display circuit, 9 system controller, 10 sheets Setting key
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１１年４月１日（１９９９．４．１）[Submission date] April 1, 1999 (1999.4.1)
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Correction target item name] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【特許請求の範囲】[Claims]
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０００６[Correction target item name] 0006
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０００６】[0006]
【課題を解決するための手段】請求項１に記載の発明
は、予め設定されたｎ枚の画像を手振れの影響を受けな
い程度の短い露光時間で順次撮像する撮像素子と、ｎ枚
の画像の明度補正と、ｎ枚の画像中、時間的に隣り合う
２枚の画像または１枚目に対するその他の画像の位置ず
れを１／ｍ画素の精度で検出する処理とを行う手段と、
検出した位置ずれを補正する手段と、位置ずれを補正し
たｎ枚の画像を加算し、平均化する手段とからなること
を特徴とする画像信号処理装置である。According to a first aspect of the present invention, there is provided an image pickup device for sequentially picking up a predetermined number of n images with a short exposure time which is not affected by camera shake, and an n number of images. Means for performing a brightness correction and a process of detecting a positional shift of two images temporally adjacent to each other or another image with respect to the first image among n images with an accuracy of 1 / m pixel,
An image signal processing apparatus comprising: means for correcting a detected positional shift; and means for adding and averaging n images for which the positional shift has been corrected.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０００７[Correction target item name] 0007
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０００７】請求項３に記載の発明は、予め設定された
ｎ枚の画像を手振れの影響を受けない程度の短い露光時
間で順次撮像する撮像素子と、ｎ枚の画像をそれぞれ記
録する記録媒体と、記録媒体から読み出したｎ枚の画像
の明度補正と、ｎ枚の画像中、時間的に隣り合う２枚の
画像または１枚目に対するその他の画像の位置ずれを１
／ｍ画素の精度で検出する処理とを行う手段と、検出し
た位置ずれを補正する手段と、位置ずれを補正したｎ枚
の画像を加算し、平均化する手段とからなることを特徴
とする画像信号処理装置である。According to a third aspect of the present invention, there is provided an image pickup device for sequentially picking up a predetermined number of n images with a short exposure time which is not affected by camera shake, and a recording medium for recording the respective n images. And the brightness correction of n images read from the recording medium, and the displacement of two temporally adjacent images or other images with respect to the first image among the n images by 1
/ M pixels, a unit for correcting the detected positional deviation, and a unit for adding and averaging the n images corrected for the positional deviation. An image signal processing device.
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１９[Correction target item name] 0019
【補正方法】削除[Correction method] Deleted
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｊ Ｎ Ｆターム(参考） 5C022 AA13 AB03 AB17 AB37 AB55 AC18 AC42 AC52 AC69 CA00 5C024 AA01 BA01 CA05 CA11 CA23 DA01 DA04 EA01 FA01 GA11 HA08 HA09 HA13 HA14 HA24 JA01 5C052 AA16 AB04 CC09 CC11 DD02 5C053 FA08 GA11 GA20 GB19 GB36 HA33 KA04 KA21 KA24 KA25 LA01 LA06 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/91 H04N 5/91 JNF term (Reference) 5C022 AA13 AB03 AB17 AB37 AB55 AC18 AC42 AC52 AC69 CA00 5C024 AA01 BA01 CA05 CA11 CA23 DA01 DA04 EA01 FA01 GA11 HA08 HA09 HA13 HA14 HA24 JA01 5C052 AA16 AB04 CC09 CC11 DD02 5C053 FA08 GA11 GA20 GB19 GB36 HA33 KA04 KA21 KA24 KA25 LA01 LA06
Claims (12)
響を受けない程度の短い露光時間で順次撮像する撮像素
子と、 上記ｎ枚の画像の明度補正と、上記ｎ枚の画像中、時間
的に隣り合う２枚の画像の位置ずれを１／ｍ画素の精度
で検出する処理とを行う手段と、 検出した上記位置ずれを補正する手段と、 上記位置ずれを補正したｎ枚の画像を加算し、平均化す
る手段とからなることを特徴とする画像信号処理装置。An imaging device for sequentially capturing n preset images with a short exposure time which is not affected by camera shake; a brightness correction of the n images; Means for performing a process of detecting the positional deviation between two images temporally adjacent to each other with an accuracy of 1 / m pixel; means for correcting the detected positional deviation; and n images for which the positional deviation has been corrected. And an averaging means.
段とを有することを特徴とする画像信号処理装置。2. The apparatus according to claim 1, further comprising: a compression unit for compressing the averaged image; a recording medium for recording the compressed image; and a decompression unit for expanding the image read from the recording medium. An image signal processing device comprising:
響を受けない程度の短い露光時間で順次撮像する撮像素
子と、 上記ｎ枚の画像をそれぞれ記録する記録媒体と、 上記記録媒体から読み出した上記ｎ枚の画像の明度補正
と、上記ｎ枚の画像中、時間的に隣り合う２枚の画像の
位置ずれを１／ｍ画素の精度で検出する処理とを行う手
段と、 検出した上記位置ずれを補正する手段と、 上記位置ずれを補正したｎ枚の画像を加算し、平均化す
る手段とからなることを特徴とする画像信号処理装置。3. An imaging device for sequentially capturing n preset images with a short exposure time that is not affected by camera shake, a recording medium for recording the n images, and Means for performing a brightness correction of the read n images and a process of detecting a positional shift between two temporally adjacent images in the n images with an accuracy of 1 / m pixel. An image signal processing apparatus, comprising: means for correcting the positional shift; and means for adding and averaging the n images corrected for the positional shift.
する圧縮手段と、 上記記録媒体から読み出した上記ｎ枚の画像をそれぞれ
伸張する伸張手段とを有することを特徴とする画像信号
処理装置。4. The apparatus according to claim 3, further comprising: compression means for compressing the n images sequentially captured, and expansion means for expanding the n images read from the recording medium. An image signal processing device characterized by the above-mentioned.
タンを押している間、画像を撮像し続けるようにしたこ
とを特徴とする画像信号処理装置。5. The image signal processing device according to claim 1, wherein an image is continuously captured while a shutter button is pressed, regardless of the preset n images.
ときに、自動的に撮影を終了するようにしたことを特徴
とする画像信号処理装置。6. The image signal processing apparatus according to claim 5, wherein when the S / N of the plurality of captured images reaches a predetermined value, the photographing is automatically terminated. .
出したときには、検出された上記極端な画像の変化の直
前までの画像を使用するようにし、撮影を終了するよう
にしたことを特徴とする画像信号処理装置。7. The method according to claim 5, wherein when an extreme image change is detected in the middle of the sequentially captured images, the image immediately before the detected extreme image change is used. And an image signal processing apparatus for terminating photographing.
し、Ｓ／Ｎが所定の値とならないときには、警告を出力
するようにしたことを特徴とする画像信号処理装置。8. The method according to claim 7, wherein an image immediately before the extreme image change is used, and a warning is output when the S / N does not reach a predetermined value. Image signal processing device.
に、上記画像の輝度レベルを使用するようにしたことを
特徴とする画像信号処理装置。9. The image signal processing apparatus according to claim 6, wherein the luminance level of the image is used to determine the number of sheets for the S / N to reach a predetermined value.
段を有することを特徴とする画像信号処理装置。10. The image signal processing apparatus according to claim 1, further comprising a transfer unit configured to transfer the n images to an external image processing apparatus.
体に記録するようにしたことを特徴とする画像信号処理
装置。11. The image signal processing device according to claim 2, wherein the n images and the added image are recorded on the recording medium.
た上記画像のみを上記記録媒体に記録するようにしたこ
とを特徴とする画像信号処理装置。12. The image signal processing device according to claim 2, wherein the image added in real time is generated, and only the generated image is recorded on the recording medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01965099A JP4164928B2 (en) | 1999-01-28 | 1999-01-28 | Image signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01965099A JP4164928B2 (en) | 1999-01-28 | 1999-01-28 | Image signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000224460A true JP2000224460A (en) | 2000-08-11 |
| JP4164928B2 JP4164928B2 (en) | 2008-10-15 |
Family
ID=12005130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01965099A Expired - Fee Related JP4164928B2 (en) | 1999-01-28 | 1999-01-28 | Image signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164928B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004112380A1 (en) * | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | Information generating apparatus, image pickup apparatus and image pickup method |
| US7486318B2 (en) | 2003-06-23 | 2009-02-03 | Sony Corporation | Method, apparatus, and program for processing an image |
| US7899273B2 (en) | 2006-07-21 | 2011-03-01 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
| US8169537B2 (en) | 2004-11-25 | 2012-05-01 | Sony Corporation | Control method, control apparatus and control program for photographing apparatus |
| US8340464B2 (en) | 2005-09-16 | 2012-12-25 | Fujitsu Limited | Image processing method and image processing device |
| JP2013179565A (en) * | 2012-02-01 | 2013-09-09 | Panasonic Corp | Image pickup device |
| JP2014143472A (en) * | 2013-01-22 | 2014-08-07 | Jeol Ltd | Imaging device |
-
1999
- 1999-01-28 JP JP01965099A patent/JP4164928B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004112380A1 (en) * | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | Information generating apparatus, image pickup apparatus and image pickup method |
| US7782362B2 (en) | 2003-06-17 | 2010-08-24 | Panasonic Corporation | Image pickup device for changing a resolution of frames and generating a static image based on information indicating the frames |
| US7486318B2 (en) | 2003-06-23 | 2009-02-03 | Sony Corporation | Method, apparatus, and program for processing an image |
| US8085313B2 (en) | 2003-06-23 | 2011-12-27 | Sony Corporation | Method, apparatus, and program for processing an image |
| US8692901B2 (en) | 2003-06-23 | 2014-04-08 | Sony Corporation | Method, apparatus, and program for processing an image |
| US8169537B2 (en) | 2004-11-25 | 2012-05-01 | Sony Corporation | Control method, control apparatus and control program for photographing apparatus |
| US8340464B2 (en) | 2005-09-16 | 2012-12-25 | Fujitsu Limited | Image processing method and image processing device |
| US7899273B2 (en) | 2006-07-21 | 2011-03-01 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
| US8170378B2 (en) | 2006-07-21 | 2012-05-01 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
| JP2013179565A (en) * | 2012-02-01 | 2013-09-09 | Panasonic Corp | Image pickup device |
| JP2014143472A (en) * | 2013-01-22 | 2014-08-07 | Jeol Ltd | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4164928B2 (en) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4872797B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP3745067B2 (en) | Imaging apparatus and control method thereof | |
| JP2006245726A (en) | Digital camera | |
| JP2009033450A (en) | Camera apparatus, object tracking zooming method and object tracking zooming program | |
| JP2000069352A (en) | Method and device for image input | |
| JP2007135135A (en) | Moving image imaging apparatus | |
| JPH1169293A (en) | Image processing system and camcorder | |
| US7260271B2 (en) | Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus | |
| JPH1188811A (en) | Camcorder and photographing method | |
| JP4164928B2 (en) | Image signal processing device | |
| JP3262775B2 (en) | Digital zoom-out processing device | |
| JP2000244797A (en) | Device and method for processing image signal | |
| JP3503655B2 (en) | Image synthesis device | |
| JP2005012423A (en) | Image pickup device, and signal processing apparatus | |
| JP2003348422A (en) | Imaging apparatus, imaging method, program and storage medium | |
| JP2004248171A (en) | Moving image recorder, moving image reproduction device, and moving image recording and reproducing device | |
| JP4123623B2 (en) | Image signal processing apparatus and method | |
| JP2006339728A (en) | Imaging apparatus and program thereof | |
| JP4256028B2 (en) | Compression encoding apparatus and method | |
| JP3667065B2 (en) | Imaging recording apparatus and control method thereof | |
| JP2000217032A (en) | Picture signal processor and its method | |
| JPH10174035A (en) | Image information processing unit | |
| JP2009111773A (en) | Image processing device and method therefor | |
| JPH1146317A (en) | Video camera | |
| JP2000188705A (en) | Electronic still camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080721 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |