JP2006033123A - Image pickup device - Google Patents
Image pickup device Download PDFInfo
- Publication number
- JP2006033123A JP2006033123A JP2004205582A JP2004205582A JP2006033123A JP 2006033123 A JP2006033123 A JP 2006033123A JP 2004205582 A JP2004205582 A JP 2004205582A JP 2004205582 A JP2004205582 A JP 2004205582A JP 2006033123 A JP2006033123 A JP 2006033123A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame rate
- shake
- amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルカメラ等の撮像装置に関する。 The present invention relates to an imaging apparatus such as a digital camera.
近年、デジタルカメラ等の撮像装置は、静止画だけでなく、動画像も記録できるようになっている。そして動画撮影時の手ぶれ対策として、手ぶれ補正機能を備えた撮像装置が多くなってきている。 In recent years, an imaging device such as a digital camera can record not only a still image but also a moving image. As a countermeasure against camera shake during moving image shooting, an increasing number of image pickup apparatuses have a camera shake correction function.
この種の撮像装置のひとつとして、例えば、動画像を構成する個々のフレーム画像を撮影する間に生じたぶれ量に基づいて、そのフレーム間の手ぶれを補正するものが知られている。 As one example of this type of imaging apparatus, for example, an apparatus that corrects camera shake between frames based on the amount of camera shake that occurs while capturing individual frame images constituting a moving image is known.
ところが、そのような手ぶれ補正を行うだけでは、フレーム間で発生する手ぶれは解消できても、フレーム内で発生する手ぶれを解消することはできず、その動画像には手ぶれによる暈けたフレーム画像が含まれることとなっていた。 However, even if camera shake that occurs between frames can be eliminated simply by performing such camera shake correction, it is not possible to eliminate camera shake that occurs within a frame. Was to be included.
また、上記とは異なる手ぶれ補正を行う撮像装置として、例えば、静止画として取り込まれた複数の画像の中からぶれの少ない画像を選択して記録することにより、ぶれの目立たない画像を記録できるようにした撮像装置が知られている(特許文献1)。 In addition, as an imaging device that performs camera shake correction different from the above, for example, by selecting and recording an image with less blur among a plurality of images captured as still images, it is possible to record an image with less noticeable blur. An imaging device is known (Patent Document 1).
しかしながら、複数の画像の中からぶれの少ない画像を選択して出力する場合、動画像を構成するフレーム間隔が一定間隔でなくなり、滑らかな画像の繋がりが実現できなくなるという問題が発生する。そのため、記録された動画像を再生すると、被写体の動きが滑らかでなく、違和感のある動画像となっている。 However, when selecting and outputting an image with less blur among a plurality of images, there is a problem that the frame interval constituting the moving image is not a constant interval and smooth connection of images cannot be realized. For this reason, when the recorded moving image is reproduced, the motion of the subject is not smooth, and the moving image is uncomfortable.
本発明は、上記課題を解決するためになされたものであり、手ぶれが生じた場合であっても、ぶれが少なく、かつ滑らかな動画像を取得することのできる撮像装置を提供することを目的とするものである。 The present invention has been made to solve the above-described problems, and an object thereof is to provide an imaging apparatus that can acquire a smooth moving image with little blur even when camera shake occurs. It is what.
本発明にかかる撮像装置は、画像取得時のフレームレートを変更可能な撮像手段と、物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、を備えて構成される。 An image pickup apparatus according to the present invention includes an image pickup unit capable of changing a frame rate at the time of image acquisition, a shake detection unit that detects a shake amount by detecting physical vibration, and a shake amount from the shake detection unit. Control means for setting the frame rate to a value higher than the normal frame rate when the value exceeds a predetermined value.
上記の撮像装置においては、前記通常フレームレートが、30fps以上の値であることが好ましい。 In the imaging apparatus, it is preferable that the normal frame rate is a value of 30 fps or more.
また、上記の撮像装置は、前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成する合成手段を、さらに備えて構成されることが好ましい。 In addition, the imaging apparatus generates an output image for one frame by synthesizing a plurality of continuous frame images acquired by the imaging unit based on a blur amount detected by the blur detection unit. It is preferable to further comprise a synthesizing means.
またその場合において、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に、前記合成手段が機能するように構成されることが好ましい。 In this case, it is preferable that the combining unit functions when the frame rate is set higher than the normal frame rate by the control unit.
さらにその場合においては、前記合成手段が、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力するように構成されることが好ましい。 Furthermore, in that case, it is preferable that the synthesizing unit is configured to output the output image as the image at the normal frame rate by performing the synthesis.
また、上記のような撮像装置においては、前記合成手段で生成される前記出力画像を記録する記録手段をさらに備えることが好ましい。また、前記合成手段で生成される前記出力画像を表示する表示手段をさらに備えることが好ましい。 The imaging apparatus as described above preferably further includes recording means for recording the output image generated by the synthesizing means. Moreover, it is preferable to further comprise display means for displaying the output image generated by the synthesizing means.
本発明によれば、ぶれ検出手段からのぶれ量が所定値を超えた場合に、画像取得時のフレームレートを通常フレームレートよりも高い値に設定するので、ぶれが生じた場合であっても、高いフレームレートで取得される個々の画像はぶれの少ないものとなり、ぶれの影響を抑制した高品質な画像が得られる。 According to the present invention, when the amount of shake from the shake detection means exceeds a predetermined value, the frame rate at the time of image acquisition is set to a value higher than the normal frame rate. Individual images acquired at a high frame rate have less blurring, and a high-quality image with suppressed blurring can be obtained.
またその場合、通常フレームレートを30fps以上の値とすることにより、視覚的に違和感のない動画像を得ることができる。 In that case, by setting the normal frame rate to a value of 30 fps or more, it is possible to obtain a moving image that is visually uncomfortable.
また、撮像手段で取得される連続的な複数フレームの画像を、ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成することにより、高品位な動画像が得られる。特に、動画を再生したとき、動画再生を一時停止したとき、動画をスロー再生したときのいずれにおいても高品位な画像が得られることになる。 In addition, a high-quality moving image is generated by generating an output image for one frame by synthesizing images of a plurality of continuous frames acquired by the imaging unit based on the amount of blur detected by the blur detection unit. An image is obtained. In particular, when a moving image is reproduced, when the moving image reproduction is paused, or when the moving image is reproduced slowly, a high-quality image can be obtained.
また、フレームレートが通常フレームレートよりも高い値に設定された場合に、合成処理が行われるように構成することにより、通常フレームレート設定時には消費電力を低減することができるとともに、高いフレームレートが設定された時でも通常フレームレート時と同程度に明るい画像を得ることができるようになる。 In addition, when the frame rate is set to a value higher than the normal frame rate, it is possible to reduce the power consumption when the normal frame rate is set by configuring the composition processing so that a high frame rate is achieved. Even when set, an image as bright as that at the normal frame rate can be obtained.
また、合成処理を行うことによって得られる出力画像を、通常フレームレートの画像として出力することにより、フレーム間隔がほぼ一定間隔となった動画像を得ることができ、画像の繋がりが滑らかになって動画像の品質が向上する。 In addition, by outputting the output image obtained by performing the synthesis process as an image at a normal frame rate, it is possible to obtain a moving image with a substantially constant frame interval, and the connection between the images becomes smooth. The quality of moving images is improved.
また、合成処理によって生成される出力画像を記録する記録手段をさらに備えることにより、高品質な動画像を記録できるようになる。 Further, by further providing a recording means for recording the output image generated by the synthesizing process, a high quality moving image can be recorded.
さらに、合成処理によって生成される出力画像を表示する表示手段をさらに備えることにより、高品質な動画像を視認できるようになる。 Furthermore, by further providing display means for displaying an output image generated by the synthesis process, a high-quality moving image can be visually recognized.
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本実施形態にかかる撮像装置1の内部構成を示すブロック図である。この撮像装置1は、例えば静止画および動画を撮影することの可能なデジタルカメラとして構成される。撮像装置1は、撮影レンズ10、撮像素子11、A/D変換器12、画像処理回路13、画像メモリ14、タイミングジェネレータ(TG)15、手ぶれセンサ16、メモリ(RAM)17、液晶ディスプレイ(LCD)18、電子ビューファインダ(EVF)19、操作部20及び演算処理ユニット(CPU)30を備えて構成される。
FIG. 1 is a block diagram showing an internal configuration of the
撮影レンズ10は、光軸Lに沿って入射する被写体からの光を撮像素子11の受光面に結像させる光学系であり、図示しない絞りやフォーカスレンズなどを含んで構成される。撮像素子11は、光軸Lに垂直な受光面に多くの画素が二次元配列された光電変換素子であり、例えば露光動作によって各画素に蓄積された電荷を、高速転送出力可能なCMOSセンサなどによって構成される。撮像素子11から出力される画像信号はA/D変換器12へと出力される。A/D変換器12は、画像信号を画素毎に例えば12ビットのデジタル信号に変換し画像処理回路13へと出力する。画像処理回路13は、画像信号に対し、黒レベル補正、ホワイトバランス調整、γ補正といった各種画像処理を施して画像メモリ14に出力するものである。画像メモリ14は、複数フレーム分の画像信号を格納することができるだけの記憶容量を有する記憶手段であり、例えばSDRAMなどによって構成される。特に本実施形態では少なくとも3フレーム分の画像信号を記憶する記憶容量を有している。
The
タイミングジェネレータ(TG)15は、撮像素子11に対してタイミング信号を送出することにより、露光の開始及び終了、ならびに電荷転送を指示する制御回路である。タイミングジェネレータ15は、演算処理ユニット30からの指令によってタイミング信号の送出周期を変化させるように構成されており、その周期を変動させることによって撮像素子11で取得される画像のフレームレートを変化させる。
The timing generator (TG) 15 is a control circuit that instructs the start and end of exposure and charge transfer by sending a timing signal to the
手ぶれセンサ16は、ジャイロセンサなどによって構成され、手ぶれ補正機能がオン設定されているときには、常に撮像装置1の物理的な振動を検知して、そのぶれ量を検出するように構成されている。ここで検出されたぶれ量は、メモリ(RAM)17に出力される。
The
メモリ(RAM)17は、半導体メモリなどによって構成される一時的な記憶手段であり、演算処理ユニット30が各種演算処理やデータ処理を行う際の一時的な作業メモリとして使用されるとともに、手ぶれセンサ16によって検出されるぶれ量を記憶する記憶領域17aを有している。
The memory (RAM) 17 is a temporary storage unit configured by a semiconductor memory or the like, and is used as a temporary working memory when the
操作部20は、ユーザが撮像装置1に対して各種設定や指示を与えるための操作入力手段であり、撮影指示を与えるためのシャッタボタン21や、手ぶれ補正機能をオンオフ切り替えするための手ぶれ補正オン・オフスイッチ22などを含むものである。操作部20に対するユーザの操作状態は、演算処理ユニット20に伝達されるようになっており、演算処理部20がユーザ操作に応答した処理を行うようになっている。
The
メモリカード9は、撮像装置1に着脱自在に設けられた記録媒体であり、撮影動作によって取得される静止画及び動画を記録するものである。
The
液晶ディスプレイ(LCD)18及び電子ビューファインダ(EVF)19は、ユーザに対して画像を表示するための表示手段であり、例えば撮像素子11によって取得される動画像をリアルタイムで表示したり、メモリカード9に記録された画像の再生表示を行うように構成される。
A liquid crystal display (LCD) 18 and an electronic viewfinder (EVF) 19 are display means for displaying an image to a user. For example, a moving image acquired by the
演算処理ユニット(CPU)30は、所定のプログラムを実行することによって撮像装置1の各部を統括的に制御するものである。例えば、撮像装置1において、動画像撮影を行う動作モードが設定され、さらに手ぶれ補正機能がオン設定された場合、演算処理ユニット20は、図1に示されるように、撮影制御部31、ぶれ判定部32、画像合成部33、画像表示部34及び画像記録部35として機能する。ただし、これらの各機能部は必ずしもソフトウェア的に実現されるものでなくてもよく、専用のハードウェアとして構成されるものであっても構わない。
The arithmetic processing unit (CPU) 30 performs overall control of each part of the
撮影制御部31は、シャッタボタン21の押下操作に応答して、タイミングジェネレータ15に対し、フレームレートを指定した撮影指示を与える。また撮影制御部31は、露出制御(AE)やホワイトバランス制御(WB)を行うとともに、画像処理回路13における処理内容を調整する。
In response to the pressing operation of the
ぶれ判定部32は、メモリ17における所定記憶領域17aに格納されるぶれ量を、所定のタイミングごとに繰り返し取得し、撮像装置1に手ぶれが発生したか否かを判定する。ぶれ判定部32には、メモリ17から取得するぶれ量と比較するための基準値が予め設定されており、ぶれ量がその基準値以上となった場合に、手ぶれが発生したものと認識する。そして手ぶれが発生したと認識した場合、ぶれ判定部32は、撮影制御部31及び画像合成部33に対してその旨を伝達する。
The
撮影制御部31は、手ぶれが発生していないときには、タイミングジェネレータ15に対して通常フレームレートで撮影動作を行うように指示を与えるのに対し、ぶれ判定部32によって手ぶれが発生したことが検知されたときには、通常フレームレートよりも高いフレームレートで撮影動作を行うように指示を与える。本実施形態においては、一例として、通常フレームレートが90fpsに設定され、手ぶれが発生した場合の高速フレームレートがその3倍の270fpsに設定される場合を説明する。
The shooting control unit 31 instructs the
既述のように、タイミングジェネレータ15は撮影制御部31からの指令に応じてタイミング信号の周期を変動させるので、撮像装置11は、手ぶれが発生していないときには、通常フレームレートの90fpsで撮影動作を行い、手ぶれが発生したときには、高速フレームレートの270fpsで撮影動作を行うようになる。
As described above, since the
画像合成部33は、メモリ17に格納されるぶれ量を取得し、そのぶれ量に基づいた合成処理を行うように構成される。そして画像処理部33は、撮像装置11が通常フレームレートで撮影動作を行っている場合と、高速フレームレートで撮影動作を行っている場合とで異なる合成処理を行うようになっている。
The
例えば、撮像装置11が通常フレームレートで撮影動作を行っている場合には、動画像を構成するフレーム画像間でのぶれを解消するために、画像合成部33は、前回の画像が取得された時点から今回の画像が取得された時点の間に生じたぶれ量に基づいて、前回の画像に対し、今回の画像を位置合わせする処理を行う。そしてぶれ量に基づいて位置調整された画像が出力されることになる。若しくは、特別な処理を行わずに出力するようにしてもよい。
For example, when the
一方、ぶれ判定部32が手ぶれの発生を検出し、撮像装置11が高速フレームレートで撮影動作を行う場合には、画像合成部33は、高速フレームレートで取得される、連続する複数フレームの画像を画像メモリ14から読み出し、それら複数の画像を合成することによって1フレーム分の画像を生成して出力するように構成される。そして複数の画像を1つに合成するときには、その1フレーム内でのぶれを解消するために、各画像の取得時点のぶれ量に基づいて、各画像を位置合わせするように構成される。
On the other hand, when the
本実施形態においては、手ぶれが発生したとき、画像合成部33は、画像メモリ14から高速フレームレートで取得された連続する3フレームの画像を取得して合成処理を行うように構成される。これによって、3フレームの画像から1フレームの画像が生成されることになり、画像合成部33から出力される画像は、手ぶれの発生の有無にかかわらず、常に通常フレームレート(90fps)の画像となる。
In the present embodiment, when camera shake occurs, the
また画像合成部33は、撮像装置11が高速フレームレートで撮影動作を行う場合にも、通常フレームレート時と同様に、動画像を構成するフレーム画像間でのぶれを解消するために、前回の出力画像が取得された時点から今回の出力画像が取得された時点の間に生じたぶれ量に基づいて、前回の出力画像に対し、今回の出力画像を位置合わせする処理を行うように構成される。
In addition, when the
そして画像合成部33から出力される画像は、画像表示部34又は画像記録部35に与えられる。画像をLCD18やEVF19に表示する際には、画像合成部33から通常フレームレートの画像が画像表示部34に与えられる。また、画像をメモリカード9に記録する際には、画像合成部33から通常フレームレートの画像が画像記録部35に与えられる。
Then, the image output from the
画像表示部34は、画像合成部33から入力する画像を、LCD18又はEVF19に適した画像サイズに変換し、90fpsで順次に更新される動画像として、LCD18又はEVF19に出力する。例えば、LCD18又はEVF19の表示用画素配列が横640×縦480である場合には、画像表示部34において640×480の画素数を有する画像が生成される。
The
画像記録部35は、画像合成部33から90fpsで順次に更新される画像を入力すると、必要な圧縮処理を行って例えばモーションJPEGなどの動画像ファイルを生成し、メモリカード9に記録保存する。
When an image that is sequentially updated at 90 fps is input from the
以上のように本実施形態の撮像装置1は、手ぶれセンサ16によって撮像装置1のぶれ量が検出され、そのぶれ量が大きいときには通常フレームレートよりも高速のフレームレートで被写体を撮影し、連続的に取得される複数フレームの画像を合成して1フレーム分の画像を出力するように構成されている。
As described above, in the
図2は、撮像装置1の概念的動作を示すタイミングチャートである。ぶれ判定部32が一定周期Tごとの時刻T1,T2,T3,T4,T5のタイミングでぶれ判定を行う場合、手ぶれセンサ16によって検出されるぶれ量100が、図2に示すように変化しているとすると、時刻T1及びT2においてぶれ量100が所定の基準値Vを超えた値を示しているので、ぶれ判定部32は時刻T1及びT2に手ぶれが発生したと判定する。
FIG. 2 is a timing chart showing a conceptual operation of the
したがって、撮像素子11に設定されるフレームレートは、時刻T1までは通常フレームレートの90fpsとなり、時刻T1〜T2と時刻T2〜T3との時間帯は高速フレームレートの270fpsとなる。そして時刻T3以後は、通常フレームレートの90fpsに戻っている。
Therefore, the frame rate set in the
この場合、撮像素子11による露光動作は、図2の斜線地で示された期間中に行われる。時刻T1までは一定周期Tの間に1フレーム分の露光が行われ、その露光期間はD1となっている。ところが、高速フレームレートに切り替えが行われた時刻T1〜T2では、一定周期Tの間に3フレーム分の露光が行われ、個々の露光期間はD2となっている。この露光期間D2は、通常フレームレートでの露光期間D1の3分の1程度になる。また時刻T2〜T3でも同様に、一定周期Tの間に3フレーム分の露光が行われ、個々の露光期間はD2となっている。そして時刻T3以後は、一定周期Tの間に1フレーム分の露光を行う通常状態に戻り、その露光期間はD1となる。
In this case, the exposure operation by the
一般に、ぶれが大きいときに、1フレームの画像を撮影するための露光期間を長く設定すると、ぶれによる被写体の移動が累積的に蓄積されることになり、露光によって得られる画像の画質が劣化する。 In general, if the exposure period for capturing an image of one frame is set long when the blur is large, the movement of the subject due to the blur is accumulated, and the image quality of the image obtained by the exposure deteriorates. .
これに対し、本実施形態では、ぶれが大きいときに、高速フレームレートを適用して個々の露光時間を短くするので、1フレームの画像に蓄積されるぶれ量が少なくなるように構成されている。 On the other hand, in the present embodiment, when the blurring is large, the individual exposure time is shortened by applying the high-speed frame rate, so that the blurring amount accumulated in one frame image is reduced. .
また、本実施形態では、高速フレームレートを適用して取得された3フレーム分の画像を合成して1フレーム分の画像とすることにより、全体的な露光時間をみれば通常フレームレートと同程度の露光時間となり、画像の明るさを通常フレームレートで取得した場合と同程度の明るさにすることができる。 Further, in the present embodiment, by synthesizing three frames of images acquired by applying a high-speed frame rate to form an image of one frame, the overall exposure time is almost the same as the normal frame rate. Exposure time, and the brightness of the image can be set to the same level as that obtained at the normal frame rate.
また、画像合成時には、3フレームの各画像を取得した時点でのぶれ量に基づいて、各画像の合成位置を調整して合成するように構成されるので、各画像の露光開始時点の間に生じたぶれを、位置合わせによって解消することができるようになっている。よって、その合成画像は、暈けた画像にはならず、そのフレーム内で発生した手ぶれの影響が良好に解消されることになる。 Further, at the time of image composition, since it is configured to adjust and synthesize the composition position of each image based on the blur amount at the time when each image of three frames is acquired, The generated blur can be eliminated by alignment. Therefore, the composite image does not become a blurred image, and the influence of camera shake occurring in the frame is favorably eliminated.
図3は、高速フレームレート時における合成処理の概念を示す図である。例えば、撮像素子11が高速フレームレートに切り替えられ、一定周期Tの間に、3フレームの画像G1,G2,G3が連続的に取得されるとする。この場合、画像合成部33は、画像G1が取得された時点から画像G2が取得された時点の間のぶれ量に基づいて、画像G2を画像G1に対して位置合わせするべく、画像G2をXY平面内でぶれ量に基づいて平行移動させる。そして画像G1に写っている被写体と画像G2に写っている被写体とが一致する状態で、画像G2の位置を決定する。さらに、画像合成部33は、画像G2(若しくは画像G1)が取得された時点から画像G3が取得された時点の間のぶれ量に基づいて、画像G3を画像G2(若しくは画像G1)に対して位置合わせするべく、画像G3をXY平面内でぶれ量に基づいて平行移動させる。そして画像G2(若しくは画像G1)に写っている被写体と画像G3に写っている被写体とが一致する状態で、画像G3の位置を決定する。
FIG. 3 is a diagram showing the concept of the synthesis process at the high frame rate. For example, it is assumed that the
そして各画像G1,G2,G3の合成位置を決定すると、画像合成部33は、各画像G1,G2,G3の対応する画素どうしで画素データの加算処理を行い、1フレーム分の画像を生成する。このような合成処理を行うことにより、3フレームの画像から1フレーム分の合成画像G4が生成される。
When the synthesis position of each image G1, G2, G3 is determined, the
図3に示される合成画像G4は、各画像G1,G2,G3をぶれ量に基づいて相対的に移動させることによって合成された画像であるので、画像の周縁部分R2では3フレーム分の全ての画像が重ならない部分が発生する。そのため本実施形態においては、画像合成部33が3フレームの画像G1,G2,G3の合成処理を行って出力画像を生成する際、画像の重ならない周縁部分R2(図3における画像G4の斜線領域)を削除して、表示又は記録のための出力画像の画角を小さくする処理を行う。これにより、撮影画像に比して画角の小さな出力画像G5が得られることになり、画像が重ならない部分の画質劣化が目立たないようになる。
Since the synthesized image G4 shown in FIG. 3 is an image synthesized by relatively moving the images G1, G2, and G3 based on the amount of blurring, all of the three frames in the peripheral portion R2 of the image are displayed. The part where the image does not overlap occurs. Therefore, in the present embodiment, when the
合成対象となる3フレームの画像G1,G2,G3のそれぞれが、例えば640×480の画素数で構成される場合、画像合成部33から出力される画像G5は、560×420程度の画素数からなる、画角の小さな画像として表示又は記録される。
When each of the three frames of images G1, G2, and G3 to be combined is configured with, for example, a number of pixels of 640 × 480, the image G5 output from the
そして、上記のようにして生成される画像G5が、表示又は記録すべき動画像を構成する1フレームの画像となる。 The image G5 generated as described above is one frame image constituting the moving image to be displayed or recorded.
次に、撮像装置1により、手ぶれ補正を行いつつ動画撮影を行う場合の動作について説明する。図4及び図5は、撮像装置1において手ぶれ補正機能がオン設定されている場合の動画撮影時の処理シーケンスを示すフローチャートであり、主に演算処理ユニット(CPU)20によって実行される処理シーケンスを示している。
Next, an operation in the case of performing moving image shooting while performing camera shake correction by the
例えば、撮像装置1が動画撮影モードにある場合、ユーザがシャッタボタン21を押下操作すると、動画撮影が開始される。動画撮影が開始すると、手ぶれセンサ16はぶれ量検知を開始する。また、動画撮影開始時には、撮像素子11のフレームレートが通常フレームレートにデフォルト設定される。
For example, when the
また、初期設定として、画像表示又は記録のための画像の画角が小さめに設定され、画像合成処理が行われるときには、それに伴って画角調整処理が行われるように設定する(ステップS09)。 In addition, as an initial setting, when the image angle for image display or recording is set to be small and image synthesis processing is performed, setting is performed so that the angle of view adjustment processing is performed accordingly (step S09).
そしてぶれ判定部32がメモリ17からぶれ量を読み出し(ステップS10)、読み出したぶれ量が所定値(基準値V)以上であるか否かを判断する(ステップS11)。ここで、ぶれ量が所定値以上である場合にはステップS12に進み、所定値未満である場合にはステップS14に進む。
Then, the
ステップS12に進むと、ぶれ判定部32は手ぶれが発生したと認識するので、撮像素子11のフレームレートとして高速フレームレート(270fps)が設定される。これにより、撮像素子11は高速フレームレートでの撮影処理(露光処理・画像信号出力処理)を開始し、画像メモリ14には高速フレームレートで取得される画像が順次蓄積されていく。そして画像合成部33は画像メモリ14から3フレーム分の連続的な画像を読み出して(ステップS13)、画像合成処理(ステップS16)に進むことになる。
In step S12, since the
一方、ステップS14に進むと、手ぶれは発生していないことになるので、撮像素子11のフレームレートとして通常フレームレート(90fps)が設定される。これにより、撮像素子11は通常フレームレートでの撮影処理(露光処理・画像信号出力処理)を開始し、画像メモリ14には通常フレームレートで取得される画像が順次格納されていく。そして画像合成部33は画像メモリ14から1フレーム分の画像を読み出して(ステップS15)、画像合成処理(ステップS16)に進むことになる。
On the other hand, when the process proceeds to step S14, camera shake does not occur, so the normal frame rate (90 fps) is set as the frame rate of the
ステップS16における画像合成処理の詳細を、図5のフローチャートに示す。画像合成処理(ステップS16)に進むと、画像合成部33は、撮像素子11の現在のフレームレート設定に適合させた処理を行う(ステップS20)。すなわち、撮像素子11が高速フレームレートで撮影動作を行っている場合にはステップS21に進み、通常フレームレートで撮影動作を行っている場合にはステップS23に進む。
Details of the image composition processing in step S16 are shown in the flowchart of FIG. When proceeding to the image composition process (step S16), the
高速フレームレートの場合、画像合成部33は、ステップS13において取得した3フレーム分の画像をぶれ量に基づいて位置合わせし、画素毎に加算処理を行って1フレーム分の合成画像(図3の画像G4)を生成する(ステップS21)。そしてステップS22に進み、合成処理によって生成された画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理を実行する。
In the case of the high-speed frame rate, the
つまり、ステップS21の合成処理では、3フレーム分の画像を取得する際に生じた手ぶれの影響を解消した画像であって、動画像を構成する1フレーム分の画像が生成される。これに対し、ステップS22の合成処理では、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせ処理が行われる。 That is, in the combining process in step S21, an image for one frame constituting a moving image is generated, which is an image that eliminates the influence of camera shake that occurs when images for three frames are acquired. On the other hand, in the synthesizing process in step S22, a positioning process is performed to eliminate the influence of blurring that occurs with the frame image before the moving image.
一方、通常フレームレートの場合には、ステップS15において取得された画像が、そのまま動画像を構成する1フレーム分の画像として利用される。そしてその画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理が行われる(ステップS23)。ステップS23の処理は、高速フレームレートの場合のステップS22の処理と同様であり、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせである。 On the other hand, in the case of the normal frame rate, the image acquired in step S15 is used as an image for one frame constituting the moving image as it is. And the process which aligns the image based on the amount of blurring with respect to the last image is performed (step S23). The process of step S23 is the same as the process of step S22 in the case of the high-speed frame rate, and is alignment for eliminating the influence of the blurring that has occurred with the previous frame image constituting the moving image.
そしてステップS24に進み、位置合わせによって画像が重ならない部分(図3の画像G4における斜線領域)が生ずることによる画質劣化を防止するために、画角調整処理が行われる。ここでは、ステップS09において予め設定された画角の画像を生成する処理が行われ、合成処理による合成画像G4(図3参照)の周縁部が削除され、画角が小さめの出力画像G5が生成される。 Then, the process proceeds to step S24, and an angle-of-view adjustment process is performed in order to prevent image quality deterioration due to occurrence of a portion where the images do not overlap (a hatched area in the image G4 in FIG. 3) due to the alignment. Here, a process for generating an image with a preset angle of view is performed in step S09, the peripheral portion of the synthesized image G4 (see FIG. 3) by the synthesis process is deleted, and an output image G5 with a smaller angle of view is generated. Is done.
次に図4のフローチャートに戻って、ステップS17に進む。そして画像合成部33から、動画像を構成する1フレーム分の画像が画像表示部34に与えられ、LCD18又はEVF19に表示される。また画像合成部33からの1フレーム分の画像は画像記録部35に与えられ、メモリカード9に記録される動画像ファイルの更新が行われる。
Next, returning to the flowchart of FIG. 4, the process proceeds to step S17. Then, an image for one frame constituting the moving image is given from the
そして撮影処理を終了させるか否かが判断され(ステップS18)、例えばシャッタボタン21の押下操作が再度なされたりせず、未だ終了しない場合にはステップS10以降の処理を繰り返す。逆に、シャッタボタン21の押下状態が解除されている場合には、撮影処理を終了させる。
Then, it is determined whether or not the photographing process is to be ended (step S18). For example, when the
以上のように、本実施形態の撮像装置1は、撮像素子11が画像取得時のフレームレートを変更可能なように構成されており、手ぶれセンサ16の検知するぶれ量が所定値を超えた場合に、撮像素子11のフレームレートを通常フレームレートよりも高いフレームレートに設定変更する。そのため、手ぶれが生じた場合であっても、高速フレームレートで取得される個々の画像はぶれの少ないものとなり、手ぶれの影響を抑制することができるようになっている。
As described above, the
また撮像装置1は、高速フレームレート設定時に、撮像素子11で取得される連続的な複数フレームの画像を、手ぶれセンサ16によって検出されるぶれ量に基づいて合成し、1フレーム分の出力画像を生成するように構成されている。これにより、ぶれの少ない複数の画像が、ぶれを目立たせないようにして互いに合成されることになるので、高品位な画像が得られることになる。そして、その合成画像を、動画像を構成する1つのフレーム画像とすることにより、ぶれの目立たない良好な動画像が得られることになる。また、該フレーム画像の明るさについても、他のフレーム画像と同程度に明るい画像となる。
In addition, the
そして、上記のような合成を行うことによって生成される画像を、通常フレームレートの画像として出力することにより、動画像を構成するフレーム間隔をほぼ一定の間隔とすることができるので、滑らかな動画像を生成することができるようになっている。 Then, by outputting the image generated by performing the above composition as an image at a normal frame rate, the frame interval constituting the moving image can be set to a substantially constant interval. An image can be generated.
したがって、本実施形態の撮像装置1によれば、動画像のフレーム間に発生する手ぶれだけでなく、フレーム内に発生する手ぶれを要因とする画質劣化を防ぐことができ、動画像を視認したときの画質が向上する。特に、動画像全体としての画質だけでなく、動画を一時停止させたときの静止画としての画質や、スロー再生時の画質なども向上することになる。
Therefore, according to the
また、本実施形態の撮像装置1によれば、常に高速フレームレートで動画撮影を行うわけではなく、手ぶれが発生していないときには通常フレームレートで撮影が行われるので、手ぶれの発生していないときには消費電力を低減するようになっている。それ故、本実施形態の撮像装置1は、動画像の画質を向上させるとともに、消費電力の増加を抑制する効果を発揮するのである。
Further, according to the
以上、本発明の実施の形態について説明したが、本発明は上述したものに限定されるものではなく、種々の変形例を適用し得るものである。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described one, and various modifications can be applied.
例えば、上述した撮像装置1では、通常フレームレートとして90fpsが設定され、高速フレームレートとして270fpsが設定される場合を例示した。しかしながら、一般的には、フレームレートが30fps以上であれば、動画像として視覚的に違和感のない画像が得られる。そのため、撮像素子11の通常フレームレートは30fps以上の任意の値を採用すればよい。また、高速フレームレートは、30fps以上の任意の値として設定される通常フレームレートよりも高い値であれば、どのような値であっても構わない。
For example, in the
特に、上記実施の形態では、高速フレームレートが通常フレームレートの3倍に設定される場合を例示したが、それに限定されるものではない。高速フレームレートが通常フレームレートの2倍に設定されてもよいし、4倍以上の値に設定されても構わない。 In particular, in the above embodiment, the case where the high-speed frame rate is set to three times the normal frame rate is illustrated, but the present invention is not limited to this. The high-speed frame rate may be set to twice the normal frame rate, or may be set to a value that is four times or more.
また、上記実施の形態では、撮像素子11、A/D変換器12及びタイミングジェネレータ15がそれぞれ別体として構成される場合を例示したが、撮像素子11をCMOSセンサとして形成する場合にはそれらを一体的に形成するようにしてもよい。
Further, in the above embodiment, the case where the
また、撮影レンズ10が焦点距離(撮影倍率)を変化させるズームレンズである場合には、撮影レンズ10の焦点距離(撮影倍率)に応じて、ぶれ判定を行う際の所定値(基準値V)を変更するように構成することが好ましい。そうすることにより、撮影条件に応じて常に適切なぶれ判定を行うことができるようになる。
Further, when the photographing
また、上記実施の形態では、合成画像の周縁部分R2を削除することにより、記録又は表示される画像の画角を小さめにする場合を例示したが、それに限定されるものではなく、例えば合成画像の周縁部分R2を黒く塗りつぶすような処理を行ってもよい。 In the above embodiment, the case where the angle of view of the image to be recorded or displayed is reduced by deleting the peripheral portion R2 of the composite image is not limited thereto. For example, the composite image is not limited thereto. The processing may be performed such that the peripheral portion R2 is painted black.
また、上記実施の形態では、画像メモリ14とメモリ17とが別の構成として形成される場合を例示したが、これに限定されるものではなく、これらを一つのメモリで構成してもよい。
In the above embodiment, the case where the
また、上記実施の形態では特に言及しなかったが、手ぶれセンサ16が検出するぶれ量の大きさに応じてフレームレートの増加率を変更するようにしてもよい。すなわち、ぶれ量が大きくなるに従って、撮像素子11のフレームレートがより高速な値に設定されることになる。この場合、図2に示される一定周期Tの間に取得されるフレーム数が増加することになるため、手ぶれが発生した場合の合成処理において合成対象となる画像も増加することになる。このような構成を採用した場合、どのような手ぶれが発生しても、常にそのような手ぶれが目立たない動画像を取得できるようになる。
Although not particularly mentioned in the above embodiment, the rate of increase of the frame rate may be changed according to the amount of blur detected by the
また、上記実施の形態では、動画撮影モードである場合に上述した動作が行われることを例示した。しかしながら、静止画撮影モードであっても、ユーザが撮影待機状態においてフレーミングを行ったり、シャッタチャンスを把握するために、LCD18又はEVF19に被写体のリアルタイムな画像(いわゆるライブビュー画像)を表示する必要がある。そのため、静止画撮影モードであっても、被写体のリアルタイム画像をLCD18又はEVF19に表示する際に、上述した動作を行うことにより、ぶれの少ない動画像表示を行うようにしてもよい。
Moreover, in the said embodiment, it illustrated that the operation | movement mentioned above was performed in video recording mode. However, even in the still image shooting mode, it is necessary for the user to display a real-time image of the subject (so-called live view image) on the
1 撮像装置
11 撮像素子(撮像手段)
16 手ぶれセンサ(ぶれ検出手段)
30 演算処理ユニット
31 撮影制御部(制御手段)
32 ぶれ判定部
33 画像合成部(合成手段)
34 画像表示部(表示手段)
35 画像記録部(記録手段)
DESCRIPTION OF
16 Camera shake sensor (camera shake detection means)
30 arithmetic processing unit 31 imaging control unit (control means)
32
34 Image display section (display means)
35 Image recording unit (recording means)
Claims (7)
物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、
前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、
を備える撮像装置。 Imaging means capable of changing the frame rate at the time of image acquisition;
A shake detection means for detecting the amount of shake by detecting physical vibration;
Control means for setting the frame rate to a value higher than the normal frame rate when the amount of shake from the shake detection means exceeds a predetermined value;
An imaging apparatus comprising:
前記通常フレームレートは、30fps以上の値であることを特徴とする撮像装置。 The imaging device according to claim 1,
The normal frame rate has a value of 30 fps or more.
前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、1フレーム分の出力画像を生成する合成手段を、さらに備えることを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
The image processing apparatus further includes combining means for generating an output image for one frame by combining the images of a plurality of continuous frames acquired by the imaging means based on the amount of shake detected by the shake detecting means. An imaging apparatus characterized by the above.
前記合成手段は、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に機能することを特徴とする撮像装置。 The imaging device according to claim 3.
The synthesizing unit functions when the control unit sets the frame rate to a value higher than the normal frame rate.
前記合成手段は、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力することを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The synthesizing unit outputs the output image as the image at the normal frame rate by performing the synthesis.
前記合成手段で生成される前記出力画像を記録する記録手段をさらに備える撮像装置。 The imaging device according to any one of claims 3 to 5,
An imaging apparatus further comprising recording means for recording the output image generated by the synthesizing means.
前記合成手段で生成される前記出力画像を表示する表示手段をさらに備える撮像装置。 The imaging device according to any one of claims 3 to 6,
An imaging apparatus further comprising display means for displaying the output image generated by the synthesizing means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004205582A JP2006033123A (en) | 2004-07-13 | 2004-07-13 | Image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004205582A JP2006033123A (en) | 2004-07-13 | 2004-07-13 | Image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006033123A true JP2006033123A (en) | 2006-02-02 |
Family
ID=35898985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004205582A Pending JP2006033123A (en) | 2004-07-13 | 2004-07-13 | Image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006033123A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281548A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and method |
JP2007306242A (en) * | 2006-05-10 | 2007-11-22 | Olympus Imaging Corp | Imaging apparatus |
JP2008022320A (en) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | Image shake correcting device and correcting method thereof |
JP2010171748A (en) * | 2009-01-23 | 2010-08-05 | Casio Computer Co Ltd | Imaging apparatus and imaging control program |
JP2010271550A (en) * | 2009-05-21 | 2010-12-02 | Olympus Corp | Microscope system |
US8284265B2 (en) | 2007-01-17 | 2012-10-09 | Samsung Electronics Co., Ltd. | Apparatus, method and medium preventing image degradation due to shaking of an image photographing device |
JP2013005136A (en) * | 2011-06-15 | 2013-01-07 | Olympus Imaging Corp | Imaging device |
JP2013012998A (en) * | 2011-06-30 | 2013-01-17 | Canon Inc | Image synthesizing apparatus, control method therefor, and control program |
JP2013258609A (en) * | 2012-06-13 | 2013-12-26 | Panasonic Corp | Image pick-up device |
JP2015041792A (en) * | 2013-08-20 | 2015-03-02 | 株式会社ニコン | Image processing apparatus and imaging apparatus |
JP2016021767A (en) * | 2015-09-03 | 2016-02-04 | オリンパス株式会社 | Imaging apparatus and imaging method |
US9357136B2 (en) | 2014-02-04 | 2016-05-31 | Nokia Technologies Oy | Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications |
WO2019203147A1 (en) * | 2018-04-17 | 2019-10-24 | 株式会社ニコン | Imaging device |
CN117664552A (en) * | 2024-01-30 | 2024-03-08 | 四川懋润电力科技有限公司 | Equipment running state monitoring method, device, system and control equipment |
US12075161B2 (en) | 2020-08-28 | 2024-08-27 | Fujifilm Corporation | Imaging apparatus, driving method, and imaging program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261526A (en) * | 1996-03-19 | 1997-10-03 | Olympus Optical Co Ltd | Image pickup device |
JPH10150597A (en) * | 1996-11-18 | 1998-06-02 | Sony Corp | Video camera |
JP2001298668A (en) * | 2000-04-12 | 2001-10-26 | Nikon Corp | Image pickup device |
JP2004180151A (en) * | 2002-11-28 | 2004-06-24 | Fuji Photo Film Co Ltd | Digital camera |
JP2005033785A (en) * | 2003-06-17 | 2005-02-03 | Matsushita Electric Ind Co Ltd | Information generator, camera and photographing method |
-
2004
- 2004-07-13 JP JP2004205582A patent/JP2006033123A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261526A (en) * | 1996-03-19 | 1997-10-03 | Olympus Optical Co Ltd | Image pickup device |
JPH10150597A (en) * | 1996-11-18 | 1998-06-02 | Sony Corp | Video camera |
JP2001298668A (en) * | 2000-04-12 | 2001-10-26 | Nikon Corp | Image pickup device |
JP2004180151A (en) * | 2002-11-28 | 2004-06-24 | Fuji Photo Film Co Ltd | Digital camera |
JP2005033785A (en) * | 2003-06-17 | 2005-02-03 | Matsushita Electric Ind Co Ltd | Information generator, camera and photographing method |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281548A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and method |
JP2007306242A (en) * | 2006-05-10 | 2007-11-22 | Olympus Imaging Corp | Imaging apparatus |
JP4700557B2 (en) * | 2006-05-10 | 2011-06-15 | オリンパスイメージング株式会社 | Imaging device |
JP2008022320A (en) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | Image shake correcting device and correcting method thereof |
JP4666264B2 (en) * | 2006-07-13 | 2011-04-06 | 富士フイルム株式会社 | Image blur correction apparatus and correction method thereof |
US8284265B2 (en) | 2007-01-17 | 2012-10-09 | Samsung Electronics Co., Ltd. | Apparatus, method and medium preventing image degradation due to shaking of an image photographing device |
JP2010171748A (en) * | 2009-01-23 | 2010-08-05 | Casio Computer Co Ltd | Imaging apparatus and imaging control program |
JP2010271550A (en) * | 2009-05-21 | 2010-12-02 | Olympus Corp | Microscope system |
JP2013005136A (en) * | 2011-06-15 | 2013-01-07 | Olympus Imaging Corp | Imaging device |
US8982242B2 (en) | 2011-06-15 | 2015-03-17 | Olympus Imaging Corp. | Imaging device and imaging method |
JP2013012998A (en) * | 2011-06-30 | 2013-01-17 | Canon Inc | Image synthesizing apparatus, control method therefor, and control program |
JP2013258609A (en) * | 2012-06-13 | 2013-12-26 | Panasonic Corp | Image pick-up device |
JP2015041792A (en) * | 2013-08-20 | 2015-03-02 | 株式会社ニコン | Image processing apparatus and imaging apparatus |
US9357136B2 (en) | 2014-02-04 | 2016-05-31 | Nokia Technologies Oy | Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications |
JP2016021767A (en) * | 2015-09-03 | 2016-02-04 | オリンパス株式会社 | Imaging apparatus and imaging method |
WO2019203147A1 (en) * | 2018-04-17 | 2019-10-24 | 株式会社ニコン | Imaging device |
US12075161B2 (en) | 2020-08-28 | 2024-08-27 | Fujifilm Corporation | Imaging apparatus, driving method, and imaging program |
CN117664552A (en) * | 2024-01-30 | 2024-03-08 | 四川懋润电力科技有限公司 | Equipment running state monitoring method, device, system and control equipment |
CN117664552B (en) * | 2024-01-30 | 2024-04-16 | 四川懋润电力科技有限公司 | Equipment running state monitoring method, device, system and control equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5036410B2 (en) | Imaging apparatus and control method thereof | |
JP5002931B2 (en) | Imaging apparatus and program thereof | |
JP2007318725A (en) | Camera, photographing control method of camera, program, and recording medium | |
JP5578442B2 (en) | Imaging apparatus, image composition method, and program | |
JP6304293B2 (en) | Image processing apparatus, image processing method, and program | |
JP2000341577A (en) | Device and method for correcting camera shake | |
JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
JP2006033123A (en) | Image pickup device | |
JP2010160311A (en) | Imaging apparatus | |
JP2010178164A (en) | Imaging apparatus | |
JP5909997B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2006345317A (en) | Image pickup device, control method thereof, program, and storage medium | |
JP4616429B2 (en) | Image processing device | |
JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
JP4033456B2 (en) | Digital camera | |
JP6118118B2 (en) | Imaging apparatus and control method thereof | |
JP4445662B2 (en) | Electronic camera | |
JP2006148550A (en) | Image processor and imaging device | |
JP6152009B2 (en) | Imaging apparatus, imaging method, program, and recording medium | |
JP2004128537A (en) | Method for reading signal of solid-state imaging unit | |
JP7319873B2 (en) | Imaging device and its control method | |
JP4757213B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2014049882A (en) | Imaging apparatus | |
JP2014007454A (en) | Image pickup device and image pickup method | |
JP2004186866A (en) | Image recording apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070705 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070724 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100323 |