JP2009069618A - Imaging apparatus, control program, and record medium - Google Patents
Imaging apparatus, control program, and record medium Download PDFInfo
- Publication number
- JP2009069618A JP2009069618A JP2007239449A JP2007239449A JP2009069618A JP 2009069618 A JP2009069618 A JP 2009069618A JP 2007239449 A JP2007239449 A JP 2007239449A JP 2007239449 A JP2007239449 A JP 2007239449A JP 2009069618 A JP2009069618 A JP 2009069618A
- Authority
- JP
- Japan
- Prior art keywords
- gain
- correction
- shake
- image
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、像振れ補正機能を有するデジタルカメラやビデオカメラ等の撮像装置、制御プログラムおよび記録媒体に関するものである。 The present invention relates to an imaging apparatus such as a digital camera or a video camera having an image blur correction function, a control program, and a recording medium.
デジタルカメラ、ビデオカメラ等の撮像装置では、手振れ等の撮像装置に加わる振れにより被写体像(画像)が振れてしまい、見づらい映像となってしまうことがよくある。最近では高倍率のレンズが採用されており、特にテレ(望遠)側の時は像振れが大きく目立つ。このような手振れ等による像振れ補正をするための機能を有する撮像装置が従来から数多く提案され、製品化されている。 In an imaging device such as a digital camera or a video camera, a subject image (image) is shaken by a shake applied to the imaging device such as a camera shake, and the image is often difficult to see. Recently, a high-magnification lens has been adopted, and image blur is particularly noticeable especially on the telephoto side. Many image pickup apparatuses having a function for correcting image blur due to such camera shake have been proposed and commercialized.
手振れ等による撮像装置全体の振れを検出するための方式には、センサによって振れを検出するセンサ方式と、撮影した直近の2つの画像信号の違いから動きベクトルを算出して振れを検出する方式がある。 As a method for detecting shake of the entire imaging apparatus due to camera shake or the like, there are a sensor method for detecting a shake by a sensor and a method for detecting a shake by calculating a motion vector from the difference between the last two image signals taken. is there.
センサ方式では、センサとして角速度センサがよく用いられる。角速度センサは圧電素子等の振動材を一定周波数で振動させ、回転運動成分により発生するコリオリ力による力を電圧に変換して角速度情報を得る。そして、得られた角速度情報に対して積分を行い、振れを算出し、像振れ補正のための補正位置制御信号として出力する。これにより、光学的に画角を移動可能な補正レンズが上記振れを抑制する方向に動かされ、像振れ補正が行われる。 In the sensor system, an angular velocity sensor is often used as a sensor. The angular velocity sensor vibrates a vibration material such as a piezoelectric element at a constant frequency, converts a force due to a Coriolis force generated by a rotational motion component into a voltage, and obtains angular velocity information. Then, the obtained angular velocity information is integrated, shake is calculated, and output as a corrected position control signal for image shake correction. As a result, the correction lens capable of optically moving the angle of view is moved in a direction to suppress the above-mentioned shake, and image shake correction is performed.
一方、動きベクトル方式は、撮像レンズを介して投影される被写体の画像を撮像素子で検出し、画像信号としてメモリに記憶しておき、次に検出する画像信号と比較して画像の振れを動きベクトル情報として算出する。そして、算出された動きベクトル情報から像振れ補正のための補正位置制御信号を出力する。これにより、光学的に画角を移動可能な補正レンズが上記振れを抑制する方向に動かされ、像振れ補正が行われる。 On the other hand, in the motion vector method, an image of a subject projected through an imaging lens is detected by an imaging device, stored in a memory as an image signal, and the shake of the image is compared with the next detected image signal. Calculate as vector information. Then, a corrected position control signal for image blur correction is output from the calculated motion vector information. As a result, the correction lens capable of optically moving the angle of view is moved in a direction to suppress the above-mentioned shake, and image shake correction is performed.
上記補正レンズの位置制御には、補正位置制御信号に補正レンズ位置信号をフィードバックさせるフィードバック制御が行われる。一般にフィードバック制御ではPID制御と呼ばれる制御方法が用いられている。D制御(微分制御)はP制御(比例制御)のゲイン余裕及び位相余裕の低下を改善し、フィードバック制御の安定性を向上させるために用いられる。I制御(積分制御)は、フィードバック制御のオフセット特性を改善するために用いられる。これらP制御、I制御及びD制御を、必要に応じて選択して組み合わせて用いたフィードバック制御をPID制御と呼ぶ。 In the position control of the correction lens, feedback control for feeding back the correction lens position signal to the correction position control signal is performed. In general, feedback control uses a control method called PID control. D control (differential control) is used to improve the gain margin and phase margin of P control (proportional control) and improve the stability of feedback control. I control (integral control) is used to improve the offset characteristics of feedback control. Feedback control in which these P control, I control, and D control are selected and combined as necessary is called PID control.
上記センサからの振れ情報と撮影した画像信号から算出される動きベクトル情報に基づき、像振れを補正する装置は数多く提案されている。例えば、角速度センサからの角速度データをもとに生成される振れ情報と動きベクトル算出部からの動きベクトル情報をもとに生成される振れ情報に基づいて、補正位置制御信号を調整するためのゲインを補正するゲイン補正係数を算出する。そして、このゲイン補正係数に基づいてゲインを生成して、最適な像振れ補正処理を可能にする撮像装置が提案されている(例えば、特許文献1)。なお、ゲインとは、上記のように補正位置制御信号を調整するための利得情報であり、撮像部の焦点距離に応じたゲイン、撮像部にコンバージョンレンズを装着したときの倍率ゲイン、振れセンサの感度に応じた感度ゲインなどである。
しかしながら、上記従来例では、以下のような問題を有していた。動く被写体を撮影する場合や画角を合わせる場合など、撮像装置が大きく振られるパンニング動作が行われたとする。この際にゲイン補正係数を算出しても、パンニング動作中およびパンニング動作終了直後においては該ゲイン補正係数が適切に設定されない。このため、パンニング動作中およびパンニング動作終了直後においてはゲインが適切に設定されず、撮影された画像において十分な像振れ補正効果を得られなかった。 However, the conventional example has the following problems. It is assumed that a panning operation in which the imaging apparatus is shaken greatly is performed, such as when shooting a moving subject or adjusting the angle of view. Even if the gain correction coefficient is calculated at this time, the gain correction coefficient is not appropriately set during the panning operation and immediately after the end of the panning operation. For this reason, the gain is not appropriately set during the panning operation and immediately after the end of the panning operation, and a sufficient image blur correction effect cannot be obtained in the captured image.
また、像振れ補正動作を停止している状態時にゲインを設定した場合も、像振れ補正動作の停止状態から駆動状態に遷移した直後の該ゲインは適切に設定されない。そのために、撮影された画像において十分な像振れ補正効果を得られなかった。 Even when the gain is set when the image blur correction operation is stopped, the gain immediately after the transition from the stop state of the image blur correction operation to the drive state is not set appropriately. Therefore, a sufficient image blur correction effect cannot be obtained in the photographed image.
(発明の目的)
本発明の目的は、撮像装置の使用状態によらず、常に最適な像振れ補正効果を与えることのできる撮像装置、制御プログラムおよび記録媒体を提供しようとするものである。
(Object of invention)
An object of the present invention is to provide an imaging apparatus, a control program, and a recording medium that can always provide an optimal image blur correction effect regardless of the use state of the imaging apparatus.
上記目的を達成するために、本発明は、撮像装置に加わる振れを振れ検出センサにより検出する第1振れ検出手段と、撮像手段からの画像信号により算出した動きベクトルから振れを検出する第2振れ検出手段と、前記第1振れ検出手段によって検出された振れ情報をもとに像振れ補正のための補正位置制御信号を算出する算出手段と、前記第1振れ検出手段と前記第2振れ検出手段によって検出されたそれぞれの振れ情報をもとに、前記補正位置制御信号を調整するためのゲインのゲイン補正係数を算出するゲイン補正係数算出手段と、前記ゲイン補正係数をもとに前記ゲインを変更するゲイン設定手段と、前記ゲインにより調整された前記補正位置制御信号により駆動されて像振れ補正を行う補正手段とを有する撮像装置であって、パンニング動作が行われているか否かを判定するパンニング動作判定手段と、前記パンニング動作の判定結果に応じて、前記ゲイン補正係数による前記ゲインの変更を行わせるか否かを切り換える切換手段とを有する撮像装置とするものである。 In order to achieve the above object, the present invention provides a first shake detection unit that detects a shake applied to an imaging device by a shake detection sensor, and a second shake that detects a shake from a motion vector calculated from an image signal from the imaging unit. Detection means; calculation means for calculating a correction position control signal for image shake correction based on shake information detected by the first shake detection means; the first shake detection means; and the second shake detection means. A gain correction coefficient calculating means for calculating a gain correction coefficient of a gain for adjusting the correction position control signal based on each shake information detected by the step, and changing the gain based on the gain correction coefficient. An image pickup apparatus comprising: gain setting means for performing image blur correction by being driven by the correction position control signal adjusted by the gain; Panning operation determining means for determining whether or not a panning operation is being performed, and switching means for switching whether or not to change the gain by the gain correction coefficient in accordance with the determination result of the panning operation. An imaging apparatus is provided.
同じく上記目的を達成するために、本発明は、第1振れ検出手段により撮像装置に加わる振れを振れ検出センサを用いて検出するステップと、第2振れ検出手段により撮像手段からの画像信号によって算出した動きベクトルから振れを検出するステップと、前記第1振れ検出手段によって検出された振れ情報をもとに像振れ補正のための補正位置制御信号を算出するステップと、前記第1振れ検出手段と前記第2振れ検出手段によって検出されたそれぞれの振れ情報をもとに、前記補正位置制御信号を調整するためのゲインのゲイン補正係数を算出するステップと、前記ゲイン補正係数をもとに前記ゲインを変更するステップと、パンニング動作が行われているか否かを判定するステップと、前記パンニング動作の判定結果に応じて、前記ゲイン補正係数による前記ゲインの変更を行わせるか否かを切り換えるステップと、前記ゲインにより調整された前記補正位置制御信号により補正手段を駆動して像振れ補正を行うステップとを有する制御プログラムとするものである。 Similarly, in order to achieve the above object, the present invention calculates a shake applied to the imaging apparatus by the first shake detection means using a shake detection sensor, and is calculated by an image signal from the imaging means by the second shake detection means. Detecting a shake from the obtained motion vector, calculating a correction position control signal for image shake correction based on shake information detected by the first shake detection means, and the first shake detection means; A step of calculating a gain correction coefficient of a gain for adjusting the correction position control signal based on each shake information detected by the second shake detection means; and the gain based on the gain correction coefficient. According to the determination result of the panning operation, the step of determining whether or not the panning operation is performed, A control program having a step of switching whether or not to change the gain by an image correction coefficient, and a step of driving a correction means by the correction position control signal adjusted by the gain to perform image blur correction Is.
同じく上記目的を達成するために、本発明は、本発明の上記制御プログラムを記録している記録媒体とするものである。 In order to achieve the above object, the present invention is a recording medium on which the control program of the present invention is recorded.
本発明によれば、撮像装置の使用状態によらず、常に最適な像振れ補正効果を与えることができる撮像装置、制御プログラムまたは記録媒体を提供できるものである。 According to the present invention, it is possible to provide an imaging apparatus, a control program, or a recording medium that can always provide an optimal image blur correction effect regardless of the usage state of the imaging apparatus.
本発明を実施するための最良の形態は、以下の実施例1及び2に示す通りである。 The best mode for carrying out the present invention is as shown in Examples 1 and 2 below.
図1は本発明の実施例1に係る像振れ補正機能を有する撮像装置の全体構成を示す図である。図1において、101は変倍を行うズームレンズをもつズームユニット、102はズームユニット101を駆動制御するズーム駆動制御部である。103は画角変更を可能とする補正レンズ(ユニット)、104は補正レンズ103を駆動制御する補正レンズ駆動制御部、105は絞り・シャッタユニットである。106は絞り・シャッタユニット105を駆動制御する絞り・シャッタ駆動制御部、107はピント調節を行うレンズを持つフォーカスユニット、108はフォーカスユニット107を駆動制御するフォーカス駆動制御部である。
FIG. 1 is a diagram illustrating an overall configuration of an image pickup apparatus having an image shake correction function according to Embodiment 1 of the present invention. In FIG. 1,
109は各レンズ群を通ってきた光像を電気信号に変換する撮像部、110は撮像部109からの電気信号を撮像信号に変換処理する撮像信号処理部、111は撮像信号処理部110からの撮像信号を用途に応じて加工する映像信号処理部である。112は映像信号処理部111からの映像信号を必要に応じて表示する表示部、113はシステム全体で使用する用途に応じた電源を供給する電源部である。114は外部との通信信号及び映像信号を入出力する外部入出力部、115はシステムを操作するための操作部である。116は映像情報など様々なデータを記憶する記憶部、117はシステム全体を制御する制御部である。
109 is an imaging unit that converts an optical image that has passed through each lens group into an electrical signal, 110 is an imaging signal processing unit that converts an electrical signal from the
次に、上記構成の撮像装置の概略動作を説明する。 Next, a schematic operation of the imaging apparatus having the above configuration will be described.
操作部115には、押し込み量に応じて第1スイッチおよび第2スイッチが順にオンするように構成されたシャッタレリーズボタンを含んでいる。このシャッタレリーズボタンが約半分押し込まれたときに第1スイッチがオンし、最後まで押し込まれたときに第2スイッチがオンする構造となっている。
The
上記第1スイッチがオンされると、制御部117は、撮像信号に基づいてフォーカス駆動制御部108を介してフォーカスユニット107を駆動してピント調節を行う。また同時に、絞り・シャッタ駆動制御部106を介して絞り・シャッタユニット105を駆動し、撮像部109にて適正な露光量が得られる状態に設定する。第2スイッチがオンされると、制御部117は、撮像部109にて撮像され、撮像信号処理部110、映像信号処理部11を介して得られた映像情報を記憶部116に記憶する。また、上記の撮像時において、操作部115により像振れ補正オンの指示がなされると、制御部117は、補正レンズ駆動制御部104に像振れ補正を指示し、像振れ補正オフの指示がなされるまで補正レンズ103を駆動、つまり像振れ補正を行わせる。また、操作部115にて静止画モードと動画モードを選択可能であり、それぞれのモードにおいて各アクチュエータの動作条件を変更可能である。
When the first switch is turned on, the
操作部115によりズーム変倍の指示があると、制御部117は、ズーム駆動制御部102を介して上記指示されたズーム位置までズームユニット101を移動させる。同時に、撮像部109、撮像信号処理部110および映像信号処理部111を介して得られた映像情報に基づいてフォーカス駆動制御部108を介してフォーカスユニット107を駆動してピント調節を行う。
When there is an instruction for zooming magnification by the
図2は、図1に示す補正レンズ駆動制御部104および制御部117の一部の構成を示すブロック図である。
FIG. 2 is a block diagram showing a partial configuration of the correction lens
図2において、201は撮像装置が正位置(横位置)において垂直方向(ピッチ方向)に加わる振れを検出するピッチ方向のセンサ部、202は撮像装置が正位置において水平方向(ヨー方向)に加わる振れを検出するヨー方向のセンサ部である。203,204は防振制御部であり、後述の動きベクトル算出部211により算出される動きベクトル情報とピッチ方向、ヨー方向それぞれのセンサ部201,202からの振れ情報をもとに像振れ補正のための補正位置制御信号を生成する。
In FIG. 2,
205,206はPID部であり、ピッチ方向、ヨー方向それぞれの補正位置制御信号と後述の補正レンズ位置信号から制御量を求める。207,208はドライブ部であり、PID部205,206からの信号をもとに補正レンズ103を駆動する。209は補正レンズ103のピッチ方向の位置を検知してピッチ方向の補正レンズ位置信号を出力するホール素子よりなる位置検出部である。210は補正レンズ103のヨー方向の位置を検知してヨー方向の補正レンズ位置信号を出力するホール素子よりなる位置検出部である。
図2の構成の補正レンズ駆動制御部104にて行われる像振れ補正動作について説明する。
An image blur correction operation performed by the correction lens
像振れ補正動作は、センサ部201,202からの振れ情報および動きベクトル算出部211からのピッチ方向、ヨー方向の動きベクトル情報を用いて行われる。詳しくは、これらの情報に基づいて画角(画像)が変化しないように振れ方向とは逆の方向に移動するよう、防振制御部203,204からの補正位置制御信号により補正レンズ103を移動させることで行われる。補正レンズ103の位置制御は、該補正レンズ103に具備された磁石を位置検出部209,210であるホール素子で検出する。そして、その補正レンズ位置信号を防振制御部203,204からの補正位置制御信号に合わせるようなフィードバック位置制御となっている。211は撮像部109からの前回と今回の撮像信号をもとに画像の振れである動きベクトル情報を算出する動きベクトル算出部である。
The image shake correction operation is performed using shake information from the
なお、位置検出部209,210であるホール素子出力には個体ばらつきがあるため、所定の補正位置制御信号に対して、所定の補正レンズ位置に移動するよう、該ホール素子出力の調整を行う必要がある。このとき、PID部205,206では比例制御と積分制御と微分制御を用いたPID制御を行う。
Since the Hall element outputs of the
図3は、図2に示す防振制御部203の詳細な構成を示すブロック図である。ここでは防振制御部203に振れ情報を出力するセンサ部201として、角速度センサを使用した例を示す。図2の防振制御部204も同様であるので、その詳細は省略する。
FIG. 3 is a block diagram showing a detailed configuration of the image
301はセンサ部201である角速度センサからの信号(角速度情報)をデジタル信号に変換するA/D変換器、302はDC成分をカットするカットオフ周波数変更可能なHPF(ハイパスフィルタ)である。303はゲイン補正係数算出部であり、振れ情報である角速度情報と動きベクトル算出部211からの動きベクトル情報をもとにゲイン補正係数を算出する。308はゲイン補正係数をもとに、適切な像振れ補正を行うための補正位置制御信号とするためのゲインを設定(変更)するゲイン設定部である。304は位相を変更可能なフェーズリードフィルタ(以下、PLF)、305はカットオフ周波数変更可能なHPFである。306は角速度情報を角度情報に変換するためのLPF(ローパスフィルタ)、307は補正位置制御信号(像振れ補正量)に応じてHPF305のカットオフ周波数を変更するカットオフ切換部である。
309は一定方向への規定振れ量以上の画角変更動作であるパンニング動作が行われたか否かを判定するパンニング判定部であり、角速度情報と補正位置制御信号であるLPF306の出力信号をもとにパンニング動作中であるか否かの判定を行う。撮像装置が規定振れ量よりも大きく振られた(画角変更動作された)パンニング動作中であることを判定すると、パンニング判定部309はスイッチ310をオフにする。これにより、後述するようにゲイン補正係数をもとにゲイン設定部308にて設定されていたゲインの変更が行われなくなる。これは、大きな振れに伴ってゲインを変更しつづけてしまうと、適切なゲインから大きく外れてしまうからである。なお、上記パンニング動作と判定されるまではスイッチ310はオンしており、その時の画角変更動作の大きさに対応するゲイン補正係数に応じたゲインが設定されることになる。詳しくは、一方向への画角変更動作時の振れ量が大きくなるにしたがってゲインが小さくなるように設定され、規定振れ量以上の画角変更動作であるパンニング動作が行われると、ゲインの変更を中止し、直前のゲインに固定されることになる。
防振制御部203に入力された振れ情報である角速度情報は、これら一連のフィルタ処理を施されることで、補正位置制御信号としてPID部205へ出力される。
Angular velocity information, which is shake information input to the image
図4は、図3のゲイン補正係数算出部303とゲイン設定部308にて行われるゲイン補正係数の算出およびゲインの設定に関する動作を示すフローチャートである。
FIG. 4 is a flowchart showing operations relating to gain correction coefficient calculation and gain setting performed by the gain correction
ステップS101では、センサ部201から角速度情報を取得すると共に動きベクトル算出部211から動きベクトル情報を取得する。そして、次のステップS102にて、ゲイン補正係数を
ゲイン補正係数=(動きベクトル情報)/(角速度情報)
なる式により算出する。続くステップS103では、ステップS102で算出したゲイン補正係数が規定値以上か否かを判定し、規定値以上であれば像振れ補正が十分に行われておらず、ゲインは適切でないと判定してステップS104へ進む。そして、ゲイン補正係数をもとにゲインの変更(設定)を行う。一方、ゲイン補正係数が規定値未満のときは、像振れ補正が十分に行われており、ゲインは適切であると判定して該ゲインの変更は行わない。
In step S <b> 101, angular velocity information is acquired from the
It is calculated by the following formula. In subsequent step S103, it is determined whether or not the gain correction coefficient calculated in step S102 is equal to or greater than a specified value. If the gain correction coefficient is equal to or greater than the specified value, it is determined that image blur correction is not sufficiently performed and the gain is not appropriate. Proceed to step S104. Then, the gain is changed (set) based on the gain correction coefficient. On the other hand, when the gain correction coefficient is less than the specified value, image blur correction is sufficiently performed, and it is determined that the gain is appropriate and the gain is not changed.
ここで、ゲイン補正係数について説明する。ゲイン補正係数は、ゲインを変更していき、その時のゲイン補正係数が所定値より小さくなるまで追い込む際の指標となる値である。ゲイン設定を増加させたとき、ゲイン補正係数が大きくなれば、ゲイン設定を減少させていく。また、ゲイン設定を減少させたときゲイン補正係数が大きくなれば、ゲイン設定を増加させていくことになる。 Here, the gain correction coefficient will be described. The gain correction coefficient is a value serving as an index when the gain is changed until the gain correction coefficient at that time becomes smaller than a predetermined value. When the gain setting is increased, if the gain correction coefficient increases, the gain setting is decreased. If the gain correction coefficient increases when the gain setting is decreased, the gain setting is increased.
次に、以上のように構成された撮像装置の像振れ補正動作を含む一連の動作の概略について、図5のフローチャートを用いて説明する。 Next, an outline of a series of operations including an image shake correction operation of the imaging apparatus configured as described above will be described with reference to a flowchart of FIG.
ステップS201で、カメラの電源がONを確認すると、ステップS202以降の像振れ補正動作を含む一連の動作を開始する。ここで、像振れ補正動作は、一定周期毎(例えば250μsec)に発生する割り込み処理によって行われる。そして、第1の方向、例えばピッチ方向(縦方向)と、第2の方向、例えばヨー方向(横方向)の制御が行われる。 When it is confirmed in step S201 that the camera is turned on, a series of operations including image blur correction operations in step S202 and subsequent steps are started. Here, the image blur correction operation is performed by an interrupt process that occurs at regular intervals (for example, 250 μsec). Then, control of the first direction, for example, the pitch direction (vertical direction) and the second direction, for example, the yaw direction (lateral direction) is performed.
ステップS202では、像振れ補正モードの状態を判定し、像振れ補正モードがONの時はステップS204へ進み、像振れ補正モードがOFFの場合はステップS203へ進む。 In step S202, the state of the image blur correction mode is determined. If the image blur correction mode is ON, the process proceeds to step S204. If the image blur correction mode is OFF, the process proceeds to step S203.
像振れ補正モードがONであるとしてステップS204へ進むと、パンニング判定部309によりパンニング動作中であるか否かの判定を行う。詳しくは、角速度情報が角速度判定用の所定値以下であるか否かの判定と補正位置が補正位置判定用の所定値以下であるか否かの判定を行う。この結果、角速度情報と補正位置がともに所定値以下の場合には、パンニング動作中ではないと判定する。詳しくは、補正位置はレンズ制御位置を表すものであるため、補正位置≦所定値のときには補正レンズの移動量は少なく、補正レンズが制御可能範囲の中心付近にあるといえる。そのため、パンニング動作されていないと判定する。その後はステップS205へ進み、図4のフローチャートで説明したように、角速度情報と動きベクトル情報をもとにゲイン補正係数を算出し、かつ該ゲイン補正係数をもとにゲインを設定する。そして、次のステップS206にて、上記ステップS205にて算出したゲインを用いて適切な像振れ補正のための補正位置制御信号を算出する。続くステップS207では、上記ステップS206にて算出された補正位置制御信号により補正レンズ103を駆動して、像振れ補正動作を行う。
When it is determined that the image blur correction mode is ON and the process proceeds to step S204, the panning
また、上記ステップS204にて角速度情報と補正位置の少なくとも一方が所定値より大きいと判定した場合は、パンニング動作中であると判定して、ゲインの変更は行わずに直ちにステップS206へ進む。したがって、この場合はステップS205で設定され、ゲイン設定部308に保存されている直前のゲインを用いて補正位置制御信号が算出される。そして、続くステップS207にて、上記ステップS206にて算出された補正位置制御信号により補正レンズ103を駆動して、像振れ補正動作を行う。
If it is determined in step S204 that at least one of the angular velocity information and the correction position is greater than a predetermined value, it is determined that the panning operation is being performed, and the process immediately proceeds to step S206 without changing the gain. Therefore, in this case, the corrected position control signal is calculated using the gain immediately before set in step S205 and stored in the
また、上記したように、ステップS202にて像振れ補正モードがOFFの時はステップS203へ進み、補正位置制御信号の設定は行わずに補正レンズ103を中央固定とする。つまり、像振れ補正動作は行わない。そして、ステップS208へ進む。
As described above, when the image blur correction mode is OFF in step S202, the process proceeds to step S203, and the
次のステップS208では、レリーズボタンの第2スイッチが押下されたかどうかの判定を行い、押下されていなければ直ちにステップS211へ進むが、押下されていればステップS209へ進み、露光を開始する。そして、次のステップS210にて、所定時間露光した後に該露光を終了する。そして、次のステップS211にて、電源がONかどうかを判定し、ONのままであればステップ202へ戻り、以下同様の動作を繰り返す。一方、電源がOFFされていれば一連の動作を終了する。 In the next step S208, it is determined whether or not the second switch of the release button has been pressed. If not, the process immediately proceeds to step S211. If it has been pressed, the process proceeds to step S209 to start exposure. In the next step S210, the exposure is terminated after exposure for a predetermined time. Then, in the next step S211, it is determined whether or not the power is ON. If it remains ON, the process returns to step 202, and thereafter the same operation is repeated. On the other hand, if the power is turned off, the series of operations is terminated.
上記実施例1によれば、像振れ補正モードの際に、パンニング動作中であるとの判定結果を得た場合には、ゲインの変更動作を停止するようにしている(ステップS204→S206)。よって、パンニング動作中およびパンニング動作終了直後においては適切なゲイン(直前のゲイン情報)をもとに補正位置制御信号が算出されるので、常に最適な像振れ補正動作を行うことが可能となる。 According to the first embodiment, when the determination result that the panning operation is being performed is obtained in the image blur correction mode, the gain changing operation is stopped (steps S204 → S206). Accordingly, during the panning operation and immediately after the end of the panning operation, the correction position control signal is calculated based on an appropriate gain (the previous gain information), so that it is possible to always perform an optimal image blur correction operation.
また、像振れ補正動作を停止している状態時、つまり像振れ補正モードがOFFの場合には、ゲインは変更されない(ステップS202→S203→S208)。よって、従来のように、像振れ補正動作の停止状態から駆動状態(像振れ補正モードがON)に遷移した直後のゲイン情報が適切に設定されずに十分な像振れ補正効果を得られない、といったことを防ぐことができる。 Further, when the image blur correction operation is stopped, that is, when the image blur correction mode is OFF, the gain is not changed (steps S202 → S203 → S208). Therefore, as in the prior art, the gain information immediately after the transition from the stop state of the image blur correction operation to the driving state (image blur correction mode is ON) is not appropriately set, and a sufficient image blur correction effect cannot be obtained. Can be prevented.
つまり、撮像装置の使用状態によらず、常に適切な像振れ補正効果を与えることができる撮像装置を提供可能となる。 That is, it is possible to provide an imaging apparatus that can always provide an appropriate image blur correction effect regardless of the use state of the imaging apparatus.
次に、本発明の実施例2に係る像振れ補正機能を有する撮像装置の、像振れ補正動作を含む一連の動作の概略について、図6のフローチャートを用いて説明する。その他の撮像装置の構成や動作は、図1ないし図4に示したものと同一であるとする。 Next, an outline of a series of operations including an image blur correction operation of the imaging apparatus having the image blur correction function according to the second embodiment of the present invention will be described with reference to a flowchart of FIG. The other configurations and operations of the imaging apparatus are the same as those shown in FIGS.
ステップS301で、カメラの電源がONを確認すると、ステップS302以降の像振れ補正動作を含む一連の動作を開始する。ここで、像振れ補正動作は、一定周期毎(例えば250μsec)に発生する割り込み処理によって行われる。そして、第1の方向、例えばピッチ方向(縦方向)と、第2の方向、例えばヨー方向(横方向)の制御が行われる。 When it is confirmed in step S301 that the camera is turned on, a series of operations including an image blur correction operation in step S302 and subsequent steps are started. Here, the image blur correction operation is performed by an interrupt process that occurs at regular intervals (for example, 250 μsec). Then, control of the first direction, for example, the pitch direction (vertical direction) and the second direction, for example, the yaw direction (lateral direction) is performed.
ステップS302では、像振れ補正モードの状態を判定し、像振れ補正モードがONの時はステップS304へ進み、像振れ補正モードがOFFの場合はステップS303へ進む。 In step S302, the state of the image blur correction mode is determined. If the image blur correction mode is ON, the process proceeds to step S304. If the image blur correction mode is OFF, the process proceeds to step S303.
像振れ補正モードがONであるとしてステップS304へ進むと、ここでは静止画モードか動画モードかの判定を行う。静止画モードであると判定した場合はステップS305へ進み、動画モードであると判定した場合はステップS308へ進む。 If the image blur correction mode is ON and the process proceeds to step S304, it is determined whether the still image mode or the moving image mode. If it is determined that the still image mode is selected, the process proceeds to step S305. If it is determined that the moving image mode is selected, the process proceeds to step S308.
静止画モードであるとしてステップS305へ進むと、パンニング動作中であるか否かの判定を行う。詳しくは、角速度情報が静止画角速度情報判定用の所定値以下であるか否かの判定と補正位置が静止画補正位置判定用の所定値以下であるか否かの判定を行う。この結果、角速度情報と補正位置がともに所定値以下の場合には、パンニング動作中ではないと判定してステップS306へ進む。そして、図4のフローチャートで説明したように、角速度情報と動きベクトル情報をもとにゲイン補正係数を算出し、かつ該ゲイン補正係数をもとにゲイン情報を設定する。そして、次のステップS307にて、上記ステップS306にて算出したゲイン情報を用いて適切な補正位置制御信号(像振れ補正量)を算出する。続くステップS309では、上記ステップS306にて算出された補正位置制御信号により補正レンズ103を駆動して、像振れ補正動作を行う。
When the process proceeds to step S305 assuming that the still image mode is set, it is determined whether or not the panning operation is being performed. Specifically, it is determined whether or not the angular velocity information is equal to or less than a predetermined value for determining the still image angular velocity information and whether or not the correction position is equal to or less than a predetermined value for determining the still image correction position. As a result, when both the angular velocity information and the correction position are equal to or less than the predetermined value, it is determined that the panning operation is not being performed, and the process proceeds to step S306. Then, as described in the flowchart of FIG. 4, the gain correction coefficient is calculated based on the angular velocity information and the motion vector information, and the gain information is set based on the gain correction coefficient. In the next step S307, an appropriate correction position control signal (image blur correction amount) is calculated using the gain information calculated in step S306. In subsequent step S309, the
上記ステップS305にて角速度情報と補正位置の少なくとも一方が所定値より大きいと判定した場合は、パンニング動作中であると判定して、ゲインの変更は行わずに直ちにステップS307へ進む。したがって、この場合は直前のゲインを用いて補正位置制御信号を算出し、続くステップS309にて、該補正位置制御信号により補正レンズ103を駆動して、像振れ補正動作を行う。
If it is determined in step S305 that at least one of the angular velocity information and the correction position is larger than the predetermined value, it is determined that the panning operation is being performed, and the process immediately proceeds to step S307 without changing the gain. Accordingly, in this case, the correction position control signal is calculated using the immediately preceding gain, and in subsequent step S309, the
また、上記ステップS304にて動画モードであると判定した場合はステップS308へ進み、角速度データが動画角速度情報判定用の所定値以下であるか否かの判定と補正位置が動画補正位置判定用の所定値以下であるか否かの判定を行う。角速度データと補正位置信号がともに所定値以下の場合にはパンニング動作中ではないと判定し、上記のステップS306,S307の処理を行い、ステップS309へ進む。また、角速度情報と補正位置の少なくとも一方が所定値より大きい場合にはパンニング動作中であると判定して、ゲインの変更は行わずに直ちにステップS307へ進む。したがって、この場合は静止画モード時と同様、直前のゲインを用いて補正位置制御信号を算出し、続くステップS309にて、該補正位置制御信号により補正レンズ103を駆動して、像振れ補正動作を行う。
If it is determined in step S304 that the moving image mode is selected, the process proceeds to step S308 to determine whether the angular velocity data is equal to or less than a predetermined value for determining the moving image angular velocity information and the correction position is for moving image correction position determination. It is determined whether or not the value is equal to or less than a predetermined value. If both the angular velocity data and the correction position signal are equal to or smaller than the predetermined value, it is determined that the panning operation is not being performed, the processes in steps S306 and S307 are performed, and the process proceeds to step S309. If at least one of the angular velocity information and the correction position is larger than the predetermined value, it is determined that the panning operation is being performed, and the process immediately proceeds to step S307 without changing the gain. Therefore, in this case, as in the still image mode, the correction position control signal is calculated using the immediately preceding gain, and in step S309, the
また、上記したように、ステップS302にて像振れ補正モードがOFFの時はステップS303へ進み、補正位置制御信号の設定は行わずに補正レンズ103を中央固定とする。つまり、像振れ補正動作は行わない。そして、ステップS310へ進む。
As described above, when the image blur correction mode is OFF in step S302, the process proceeds to step S303, and the
次のステップS310では、レリーズボタンの第2スイッチが押下されたかどうかの判定を行い、押下されていなければ直ちにステップS313へ進むが、押下されていればステップS311へ進み、露光を開始する。そして、次のステップS312にて、所定時間露光した後に該露光を終了する。そして、次のステップS313にて、電源がONかどうかを判定し、ONのままであればステップ302へ戻り、以下同様の動作を繰り返す。一方、電源がOFFされていれば一連の動作を終了する。 In the next step S310, it is determined whether or not the second switch of the release button has been pressed. If not, the process immediately proceeds to step S313, but if it has been pressed, the process proceeds to step S311 to start exposure. Then, in the next step S312, the exposure is terminated after exposure for a predetermined time. Then, in the next step S313, it is determined whether or not the power is ON. If the power remains ON, the process returns to step 302, and thereafter the same operation is repeated. On the other hand, if the power is turned off, the series of operations is terminated.
上記実施例2によれば、像振れ補正モードの際に、パンニング動作中であることを判定すると、ゲインの変更動作を停止するようにしている(ステップS305またはS308→S307)。よって、パンニング動作中およびパンニング動作終了直後において適切なゲイン(直前のゲイン情報)をもとに補正位置制御信号が算出されるので、常に最適な像振れ補正動作を行うことが可能となる。 According to the second embodiment, when it is determined that the panning operation is being performed in the image blur correction mode, the gain changing operation is stopped (step S305 or S308 → S307). Therefore, since the correction position control signal is calculated based on an appropriate gain (immediate gain information) during the panning operation and immediately after the end of the panning operation, it is possible to always perform an optimal image blur correction operation.
また、像振れ補正動作を停止している状態時、つまり像振れ補正モードがOFFの場合には、ゲイン情報の変更が行われることはない(ステップS302→S303→S310)。よって、従来のように、像振れ補正動作の停止状態から駆動状態(像振れ補正モードがON)に遷移した直後のゲインが適切に設定されずに十分な像振れ補正効果を得られない、といったことを防ぐことができる。 Further, when the image blur correction operation is stopped, that is, when the image blur correction mode is OFF, the gain information is not changed (steps S302 → S303 → S310). Therefore, unlike the prior art, the gain immediately after the transition from the stop state of the image blur correction operation to the driving state (image blur correction mode is ON) is not set appropriately, and a sufficient image blur correction effect cannot be obtained. Can be prevented.
つまり、撮像装置の使用状態によらず、常に適切な像振れ補正効果を与えることができる撮像装置を提供可能となる。 That is, it is possible to provide an imaging apparatus that can always provide an appropriate image blur correction effect regardless of the use state of the imaging apparatus.
(本発明と実施例の対応)
センサ部201,202が、本発明の、撮像装置に加わる振れを振れ検出センサにより検出する第1振れ検出手段に相当する。また、動きベクトル算出部211が、本発明の、撮像手段からの画像信号により算出した動きベクトルから振れを検出する第2振れ検出手段に相当する。また、スイッチ310が、本発明の、パンニング動作の判定結果に応じて、ゲイン補正係数によるゲインの変更を行わせるか否かを切り換える切換手段に相当する。また、該切換手段は、補正手段を動作させない動作モードが設定されている際には、ゲイン設定手段にてゲインの変更を行う状態に切り換わることが無いものである。
(Correspondence between the present invention and the embodiment)
The
また、撮像部109が撮像手段に、防振制御部203,204が算出手段に、それぞれ相当する。ゲイン補正係数算出部303が本発明のゲイン補正係数算出手段に、ゲイン設定部308がゲイン設定手段に、パンニング判定部309がパンニング動作判定手段に、それぞれ相当する。また、補正レンズ103が本発明の補正手段に相当する。
The
(変形例)
以上の説明では、補正手段として補正レンズ103を用いているが、本発明は可変頂角プリズムや光軸と垂直な平面上で移動することにより振れ補正する撮像部(撮像素子)109にも適用できる。例えば、光軸と垂直な平面上で移動することにより振れ補正する撮像部109の場合、図7に示すような構成にすることが可能である。
(Modification)
In the above description, the
ここで図7に示す、補正手段について説明する。109は撮像部であり、901,902は駆動コイル、903,904は可動部の位置検出を行うホール素子である。ここで可動部とは、撮像部109を含む部分である。905,906,907,908はマグネットである。また、909は第1の保持部、910は第1の保持部909上に設けられた第1の案内部、911は第2の保持部、912は第2の保持部911上に設けられた第2の案内部、913は筐体に固定される第3の保持部を示す。また、914は第1の保持部909と図示しない固定部との間に設けられた第1の弾性体であり、915は第2の保持部911と図示しない固定部との間に設けられた第2の弾性体を示す。第1の案内部910と第2の案内部912が案内する方向は互いに直交している。また、撮像部109を備えた第1の保持部909は第1の弾性体914及び第2の弾性体915によって弾性支持されている。
Here, the correction means shown in FIG. 7 will be described.
このように構成することにより、撮像部109を光軸に直交する平面で移動させることが可能となり、実質的に、撮像光学系に含まれる補正レンズ103を移動させる構成と等価となる。
With this configuration, the
103 補正レンズ
104 補正レンズ駆動制御部
109 撮像部
117 制御部
201,202 センサ部
203,204 防振制御部
205,206 PID部
207,208 ドライブ部
209,210 位置検出部
211 動きベクトル算出部
303 ゲイン補正係数算出部
308 ゲイン設定部
309 パンニング判定部
310 スイッチ
DESCRIPTION OF
Claims (6)
撮像手段からの画像信号により算出した動きベクトルから振れを検出する第2振れ検出手段と、
前記第1振れ検出手段によって検出された振れ情報をもとに像振れ補正のための補正位置制御信号を算出する算出手段と、
前記第1振れ検出手段と前記第2振れ検出手段によって検出されたそれぞれの振れ情報をもとに、前記補正位置制御信号を調整するためのゲインのゲイン補正係数を算出するゲイン補正係数算出手段と、
前記ゲイン補正係数をもとに前記ゲインを変更するゲイン設定手段と、
前記ゲインにより調整された前記補正位置制御信号により駆動されて像振れ補正を行う補正手段とを有する撮像装置であって、
パンニング動作が行われているか否かを判定するパンニング動作判定手段と、
前記パンニング動作の判定結果に応じて、前記ゲイン補正係数による前記ゲインの変更を行わせるか否かを切り換える切換手段とを有することを特徴とする撮像装置。 First shake detection means for detecting shake applied to the imaging device by a shake detection sensor;
Second shake detection means for detecting shake from a motion vector calculated from an image signal from the imaging means;
Calculating means for calculating a correction position control signal for image shake correction based on shake information detected by the first shake detection means;
Gain correction coefficient calculating means for calculating a gain correction coefficient of a gain for adjusting the correction position control signal based on the respective shake information detected by the first shake detecting means and the second shake detecting means; ,
Gain setting means for changing the gain based on the gain correction coefficient;
An image pickup apparatus having correction means that is driven by the correction position control signal adjusted by the gain and performs image blur correction,
Panning operation determination means for determining whether or not a panning operation is being performed;
An image pickup apparatus comprising: switching means for switching whether to change the gain by the gain correction coefficient according to a determination result of the panning operation.
第2振れ検出手段により撮像手段からの画像信号によって算出した動きベクトルから振れを検出するステップと、
前記第1振れ検出手段によって検出された振れ情報をもとに像振れ補正のための補正位置制御信号を算出するステップと、
前記第1振れ検出手段と前記第2振れ検出手段によって検出されたそれぞれの振れ情報をもとに、前記補正位置制御信号を調整するためのゲインのゲイン補正係数を算出するステップと、
前記ゲイン補正係数をもとに前記ゲインを変更するステップと、
パンニング動作が行われているか否かを判定するステップと、
前記パンニング動作の判定結果に応じて、前記ゲイン補正係数による前記ゲインの変更を行わせるか否かを切り換えるステップと、
前記ゲインにより調整された前記補正位置制御信号により補正手段を駆動して像振れ補正を行うステップとを有することを特徴とする制御プログラム。 Detecting a shake applied to the imaging apparatus by the first shake detection means using a shake detection sensor;
Detecting a shake from a motion vector calculated by an image signal from an imaging means by a second shake detection means;
Calculating a correction position control signal for image shake correction based on shake information detected by the first shake detection means;
Calculating a gain correction coefficient of a gain for adjusting the correction position control signal based on each shake information detected by the first shake detection means and the second shake detection means;
Changing the gain based on the gain correction coefficient;
Determining whether a panning operation is being performed;
Switching whether to change the gain by the gain correction coefficient according to the determination result of the panning operation;
And a step of driving a correction means by the correction position control signal adjusted by the gain to perform image blur correction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239449A JP2009069618A (en) | 2007-09-14 | 2007-09-14 | Imaging apparatus, control program, and record medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239449A JP2009069618A (en) | 2007-09-14 | 2007-09-14 | Imaging apparatus, control program, and record medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009069618A true JP2009069618A (en) | 2009-04-02 |
JP2009069618A5 JP2009069618A5 (en) | 2010-10-07 |
Family
ID=40605920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007239449A Pending JP2009069618A (en) | 2007-09-14 | 2007-09-14 | Imaging apparatus, control program, and record medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009069618A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012037778A (en) * | 2010-08-09 | 2012-02-23 | Canon Inc | Image pickup apparatus |
JP2013033160A (en) * | 2011-08-02 | 2013-02-14 | Canon Inc | Image blur correction device, its control method, and optical instrument or imaging apparatus |
JP2013061490A (en) * | 2011-09-13 | 2013-04-04 | Canon Inc | Image blur correction device, imaging apparatus with the same, and control method for image blur correction device |
JP2013160812A (en) * | 2012-02-01 | 2013-08-19 | Canon Inc | Image blur correction device, optical device including the same, imaging apparatus, and control method of image blur correction device |
CN113329170A (en) * | 2021-05-10 | 2021-08-31 | 浙江大华技术股份有限公司 | Image shake correction method, image shake correction apparatus, computer device, and readable storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151542A (en) * | 2003-10-21 | 2005-06-09 | Nikon Corp | Blur correcting device and camera system |
JP2006101485A (en) * | 2004-08-31 | 2006-04-13 | Sanyo Electric Co Ltd | Camera-shake correcting device, and imaging apparatus |
JP2007158853A (en) * | 2005-12-06 | 2007-06-21 | Konica Minolta Opto Inc | Shake correcting device |
-
2007
- 2007-09-14 JP JP2007239449A patent/JP2009069618A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151542A (en) * | 2003-10-21 | 2005-06-09 | Nikon Corp | Blur correcting device and camera system |
JP2006101485A (en) * | 2004-08-31 | 2006-04-13 | Sanyo Electric Co Ltd | Camera-shake correcting device, and imaging apparatus |
JP2007158853A (en) * | 2005-12-06 | 2007-06-21 | Konica Minolta Opto Inc | Shake correcting device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012037778A (en) * | 2010-08-09 | 2012-02-23 | Canon Inc | Image pickup apparatus |
JP2013033160A (en) * | 2011-08-02 | 2013-02-14 | Canon Inc | Image blur correction device, its control method, and optical instrument or imaging apparatus |
US9197817B2 (en) | 2011-08-02 | 2015-11-24 | Canon Kabushiki Kaisha | Image blurring correction apparatus, control method thereof, optical device and imaging apparatus |
US9762802B2 (en) | 2011-08-02 | 2017-09-12 | Canon Kabushiki Kaisha | Image blurring correction apparatus, control method thereof, optical device and imaging apparatus |
JP2013061490A (en) * | 2011-09-13 | 2013-04-04 | Canon Inc | Image blur correction device, imaging apparatus with the same, and control method for image blur correction device |
US9191575B2 (en) | 2011-09-13 | 2015-11-17 | Canon Kabushiki Kaisha | Image stabilization apparatus, image capture apparatus comprising the same, and controlling methods thereof |
JP2013160812A (en) * | 2012-02-01 | 2013-08-19 | Canon Inc | Image blur correction device, optical device including the same, imaging apparatus, and control method of image blur correction device |
CN113329170A (en) * | 2021-05-10 | 2021-08-31 | 浙江大华技术股份有限公司 | Image shake correction method, image shake correction apparatus, computer device, and readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8514290B2 (en) | Camera-shake correction apparatus and imaging apparatus including the same | |
JP5869812B2 (en) | Image blur correction apparatus, image pickup apparatus including the same, and method for controlling image blur correction apparatus | |
US8508600B2 (en) | Imaging apparatus for stabilizing an image | |
JP2013033160A (en) | Image blur correction device, its control method, and optical instrument or imaging apparatus | |
JP6395381B2 (en) | Imaging apparatus and control method thereof | |
JP5053819B2 (en) | Imaging apparatus and control method thereof | |
JP6642971B2 (en) | Image blur correction device, optical device, imaging device, and control method | |
JP2009069618A (en) | Imaging apparatus, control program, and record medium | |
JP5744426B2 (en) | Optical apparatus and control method thereof | |
JP5164410B2 (en) | Imaging device | |
JP5094359B2 (en) | Imaging device | |
US20140125826A1 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP4298723B2 (en) | Imaging apparatus, shake correction method, and program | |
JP6274558B2 (en) | Shake correction device, shake correction method and program, and imaging device | |
JP6611585B2 (en) | Zoom control device, zoom control method, and imaging device | |
JP2010278779A (en) | Imaging device and method for controlling imaging device | |
JP4909061B2 (en) | Imaging device | |
JP5121766B2 (en) | Image blur correction apparatus, optical apparatus, image pickup apparatus, image blur correction apparatus control method, and program | |
JP5744165B2 (en) | Imaging apparatus, blur correction apparatus, and control method thereof | |
JP5274202B2 (en) | Image shake correction apparatus, image pickup apparatus, and image shake correction apparatus control method | |
JP6178573B2 (en) | Image blur correction apparatus, control method therefor, program, and storage medium | |
JP6700931B2 (en) | Image processing device, imaging device, and control method | |
JP2011013333A (en) | Imaging apparatus | |
JP6587534B2 (en) | Angle of view control device, imaging device, and angle of view control program | |
JP2015166771A (en) | Imaging apparatus and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100520 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |