JP2020137011A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2020137011A
JP2020137011A JP2019030793A JP2019030793A JP2020137011A JP 2020137011 A JP2020137011 A JP 2020137011A JP 2019030793 A JP2019030793 A JP 2019030793A JP 2019030793 A JP2019030793 A JP 2019030793A JP 2020137011 A JP2020137011 A JP 2020137011A
Authority
JP
Japan
Prior art keywords
focus
component
optical axis
imaging device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019030793A
Other languages
English (en)
Other versions
JP7208822B2 (ja
Inventor
友美 上杉
Tomomi Uesugi
友美 上杉
晃一 鷲巣
Koichi Washisu
晃一 鷲巣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019030793A priority Critical patent/JP7208822B2/ja
Priority to US16/790,983 priority patent/US10992867B2/en
Publication of JP2020137011A publication Critical patent/JP2020137011A/ja
Application granted granted Critical
Publication of JP7208822B2 publication Critical patent/JP7208822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

【課題】撮像装置の光軸方向の振れによるピント変動を高精度に補正することができる撮像装置を提供する【解決手段】被写体像を撮像する撮像部と、レンズにより撮像部の撮像面に結像される被写体像のピント変動の周期を検出する周期検出部と、撮像装置の振れの光軸に沿う方向の成分である第1の並進成分を検出する第1の検出部と、撮像装置の振れの回転成分を検出する第2の検出部と、ピント変動の周期に基づいて、第1の並進成分から所定の周波数帯域の成分を抽出する第1の抽出部と、ピント変動の周期に基づいて、回転成分から所定の周波数帯域の成分を抽出する第2の抽出部と、第1の抽出部により抽出された信号と第2の抽出部により抽出された信号とを比較して、撮像装置の振れの回転半径を算出する算出部と、第2の検出部からの信号と回転半径とを用いて、撮像装置の振れの光軸に沿う方向の成分である第2の並進成分を算出する並進算出部と、を備える。【選択図】 図1

Description

本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置における光軸方向の振れを補正する技術に関するものである。
従来より、デジタルカメラやデジタルビデオカメラ等の撮像装置には、花や昆虫などを拡大撮影するために、マクロ撮影モードが搭載されているものがある。また、レンズ交換式のデジタルカメラにおいては、交換レンズをマクロレンズに交換することにより、マクロ撮影が可能となる。
このようなマクロ撮影が可能な撮像装置においては、撮影時に撮像装置から被写体までの距離が非常に短くなるため、被写界深度が極端に浅くなる。そのため、撮影者のわずかな体の動きや、手振れなどにより、撮像装置が被写体に近づいたり遠のいたりしてピントが不安定になり、撮影の瞬間に被写体に正確に焦点を合わせることが極めて困難となる。
このような問題を解決するために、例えば特許文献1には、撮像装置の光軸に沿う方向の動きを加速度計で検出し、その出力に基づいてフォーカスレンズを駆動し、高速に被写体に焦点を合わせることを可能とした撮像装置が開示されている。
特開2016−35556号公報
しかしながら、特許文献1に開示されている従来の技術では、加速度計を用いて光軸方向の振れを検出しているため、加速度計に重畳するノイズの影響で、光軸方向の振れを安定して検出することができないという問題がある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置の光軸方向の振れを高精度に補正することができる撮像装置を提供することである。
本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、レンズにより前記撮像手段の撮像面に結像される被写体像のピント変動の周期を検出する周期検出手段と、撮像装置の振れの光軸に沿う方向の成分である第1の並進成分を検出する第1の検出手段と、前記撮像装置の振れの回転成分を検出する第2の検出手段と、前記ピント変動の周期に基づいて、前記第1の並進成分から所定の周波数帯域の成分を抽出する第1の抽出手段と、前記ピント変動の周期に基づいて、前記回転成分から前記所定の周波数帯域の成分を抽出する第2の抽出手段と、前記第1の抽出手段により抽出された信号と前記第2の抽出手段により抽出された信号とを比較して、前記撮像装置の振れの回転半径を算出する算出手段と、前記第2の検出手段からの信号と前記回転半径とを用いて、前記撮像装置の振れの光軸に沿う方向の成分である第2の並進成分を算出する並進算出手段と、を備えることを特徴とする。
本発明によれば、撮像装置の光軸方向の振れを高精度に補正することが可能となる。
本発明の撮像装置の第1の実施形態であるレンズ交換式のデジタルカメラの構成を示す図。 第1の実施形態におけるピント変動を補正する動作を示すフローチャート。 第1の実施形態におけるピント変動の補正波形を示す図。 第1の実施形態の変形例のデジタルカメラのブロック図。 第1の実施形態の変形例におけるピント変動を補正する動作を示すフローチャート。 第1の実施形態の変形例におけるピント変動の補正波形を示す図。 本発明の第2の実施形態のデジタルカメラの構成を示す図。 第2の実施形態におけるピント変動の補正波形を示す図。 本発明の第3の実施形態のデジタルカメラの構成を示す図。 像倍率変化を説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の撮像装置の第1の実施形態であるレンズ交換式のデジタルカメラの構成を示す図である。図1において、デジタルカメラ100は、カメラボディ(撮像装置の本体)11aと、カメラボディ11aに着脱可能な交換レンズ11bとを備えて構成される。交換レンズ11bは、被写体像を後述する撮像素子14の撮像面上に結像させる。
カメラボディ11aに設けられたカメラCPU12aは、撮影者からの撮影指示操作などに応答してカメラボディ11a内の各機能部分を全体的に制御する。また、カメラCPU12aは、本実施形態における特徴的な動作である、デジタルカメラ100の光軸方向の振れに起因するピント変動を補正する動作の制御も行う。
なお、後述する積分部、バンドパスフィルタ、比較部、回転半径算出部、乗算部、敏感度調整部、周期出力部は、カメラボディ11aに内蔵される回路、あるいはカメラCPU12aの演算動作により実現される機能であるが、図1においては、図を分かりやすくするために、カメラボディ11a外に記載している。
交換レンズ11bに設けられたレンズCPU12bは、カメラボディ11aからの撮影指示などに応答して交換レンズ11bの焦点調節動作、ズーム動作などの全体的な動作を制御する。また、レンズCPU12bは、本実施形態における特徴的な動作である、デジタルカメラ100の光軸方向の振れに起因するピント変動を補正する動作の制御も行う。
交換レンズ11b内の一部のレンズは、撮影光軸10と直交する方向に移動して撮影者の手振れなどに起因する像ブレを補正する振れ補正レンズ13aを構成している。この振れ補正レンズ13aは、角速度計15bの信号に基づいて駆動され、光軸に垂直な方向の像ブレを補正する。
図1において、撮影光軸10に沿った被写体光束が撮影光学系を通して撮像素子14に入射する。撮像素子14は入射した被写体光束に応答した信号を出力する。一般的に、撮像素子14から出力されたアナログの画像信号はデジタル信号に変換され、画像処理が施され、処理された画像データが記録媒体などに記録される。
撮像素子14は、画素が配置された撮像面を撮影光軸10に沿う方向である矢印14bで示す方向に駆動し、焦点調節を行う焦点調節機構14aを備えている。焦点調節機構14aには、例えば圧電素子などのアクチュエータが使用される。そして、焦点調節機構14aの駆動により、カメラボディ11aの光軸方向の振れに起因するピント変動の補正も行う。
カメラボディ11aには、角速度計15aが設けられており、角速度計15aの信号は積分部18aで一階積分されて角度信号(回転成分、回転角度)に変換される。また、交換レンズ11bには、加速度計16が設けられており、加速度計16の信号は積分部18b(並進算出部)で二階積分されて変位信号(並進成分、並進方向の移動量)に変換される。加速度計16は紙面奥行方向に配置され、撮影光軸10に沿う方向の加速度を検出する。
積分部18bが出力する撮影光軸方向の変位量を示す変位信号Zは、バンドパスフィルタ19bに入力され、所定周波数成分のみが抽出される。詳細は後述するが、ここでバンドパスフィルタ19bにより抽出する周波数は、焦点状態検出部115(焦点検出部)が検出する光軸方向のカメラの振れ(以下、光軸方向振れ)に起因するピント変動の周波数に一致するように設定される。これにより、光軸方向の変位信号Zのうち、ピント変動の周波数に一致する成分(周波数帯域)が抽出される。ピント変動の周波数に一致する成分を抽出することにより、光軸方向の変位の中で一番支配的な周波数帯域の成分を抽出することができる。バンドパスフィルタ19aは、積分部18aから出力される角度信号θの中で、バンドパスフィルタ19bと同じ周波数成分の信号を抽出する。比較部110はバンドパスフィルタ19aの角度信号θと、バンドパスフィルタ19bの光軸方向の変位信号Zとから、それらの比率を求める。バンドパスフィルタ19bは、上記のように、ピント変動の周波数に一致する成分を抽出する目的に加え、加速度計16の出力に重畳する低周波の重力成分とドリフト成分(いわゆるノイズ)を除去する目的で設けられている。バンドパスフィルタ19aは角速度計15aの信号の周波数特性を、バンドパスフィルタ19bで特性変更された加速度計16の周波数特性と揃えるために設けられている。
比較部110で求められる第1の比率は、デジタルカメラ100の振れの回転中心111から加速度計16までの距離L0に相当する。これは距離L0と角度信号θの積が光軸方向の変位信号Zとなる関係に基づく。
乗算部112は積分部18aからの振れの角度信号θに、比較部110から得られる回転半径L0を乗じることにより光軸に沿う方向の振れを求める。
ここで、デジタルカメラ100の光軸方向の振れを精度を気にせずにただ求めるだけであれば、背景技術の欄でも説明したように、加速度計16の出力信号を単純に二階積分すればよい。しかし、実際には、その方法をとると加速度計16のノイズにより正確な光軸方向の変位を求めることができない。そこで、本実施形態では、加速度計16の信号の積分信号にバンドパスフィルタ19bをかけて、ノイズを低減させる。バンドパスフィルタをかけると、加速度計16の積分信号に位相進みや位相遅れが生じるため、この信号をそのままデジタルカメラ100の変位信号として用いることができない。そのため、本実施形態では、角速度計15aの積分信号にも同じ特性のバンドパスフィルタ19aをかけ、加速度計16の積分信号との比をとって、回転半径L0を求める。バンドパスフィルタをかけた信号同士の比から回転半径L0を求めると、ノイズの影響を受けない正確な回転半径L0を求めることができる。そして、この回転半径L0に、バンドパスフィルタ19aをかけていない角速度計15aの積分信号、すなわち位相進みや位相遅れが生じていない角度信号θを乗じることにより、デジタルカメラ100の振れによる変位量を求める。このような方法により、精度の高い光軸に沿う方向の振れを求めることができる。
敏感度調整部113は、光軸方向の振れに対して撮影光学系の敏感度係数を乗ずることにより、デジタルカメラ100の光軸方向の振れを、撮像素子14の撮像面におけるピントずれ量に換算する。そして、算出されたピントずれ量に基づいて、撮像素子14の撮像面を焦点調節機構14aで光軸方向に移動させるための補正量を算出する。具体的には、乗算部112が求めるデジタルカメラ100の光軸方向の変位量に対して、撮像素子14の撮像面におけるピントずれ量は、撮影光学系の焦点距離や被写体までの距離、撮影光学系の光学敏感度により変化する。そして、一般的には、被写体距離が近いほど撮像素子14の撮像面におけるピントずれ量は大きくなる。そこで敏感度調整部113は、現在の撮影条件における光学系の焦点距離、被写体までの距離、撮影光学系の光学敏感度に応じて、デジタルカメラ100の変位量に対する撮像素子14の撮像面における光軸方向のピント補正量を求める。
なお、実際に撮像素子14の撮像面を変位させる駆動を行う駆動部114には、敏感度調整部113からのピント補正量だけでなく、焦点状態検出部115の信号も入力されている。本実施形態では、撮影者の撮影指示動作に合わせて、まずは、焦点状態検出部115の信号を用いて焦点調節機構14aを駆動し、ピント調節を行う。その後に発生するカメラの光軸方向の振れに起因するピント変動は、敏感度調整部113からのピント補正量に基づいて補正する。
そのため、レリーズボタン17の半押し(スイッチSW1のON)に応答して、駆動部114は、焦点状態検出部115の信号に基づき、撮像面を矢印14bに沿う方向に動かして、焦点調節を行う。そして、焦点調節終了後に、入力される敏感度調節部113の信号に基づき、撮像面を矢印14bに沿う方向に駆動する。これにより、デジタルカメラ100の光軸方向の振れに起因するピント変動を抑制する。
次に、バンドパスフィルタ19a,19bの抽出周波数について説明する。
焦点状態検出部115は、撮像素子14から得られる画像信号から焦点状態の変化を求めている。画像信号から焦点状態の変化を求める手法は同一被写体の信号の位相差を検出する手法(位相差検出方式)や画像のコントラスト変化を検出する手法(コントラスト検出方式)が一般的である。しかしながらこれらの手法においては、焦点状態の変化周期は正確に検出できるが、変化量の検出精度が低いという問題がある。
その反対に、加速度計による光軸方向の振れの検出信号は、ノイズの影響が除去できれば安定して振れ量を求めることができる。そこで、本実施形態では、焦点状態検出部115による焦点状態の変化周期を利用して加速度計16の積分信号を抽出することにより、加速度計16に重畳するノイズの影響を軽減している。
図1において、周期出力部116は焦点状態検出部115の出力信号の変化周期を求め(周期検出)、その周期をバンドパスフィルタ19a,19bの抽出周波数に設定する。ここで、図1には、波形117,118,119の三つのグラフが併記されている。波形117は、積分部18bから出力される加速度計16の二階積分値を示す。波形118は、周期出力部116から出力される焦点状態の変化周期(ピント変動の周期)を示す。波形119はバンドパスフィルタ19bで波形整形された加速度計16の二階積分値を示す。
波形117には光軸方向の変位に低周波ノイズが重畳しているが、ここから、波形118の焦点状態の変化周期の周波数範囲を抽出すると、波形119に示す様に安定した光軸方向の変位が得られる。バンドパスフィルタ19aも同じ周波数範囲で角速度計15aの積分結果を波形整形する。その結果と波形119を比較部110で比較することにより正確な回転半径L0を求めることが出来る。
回転半径L0は頻繁に変化する値では無いため、一旦求めると、それ以降は積分部18aの出力である角速度計15aの積分信号に、固定した回転半径L0を乗算することにより光軸方向の振れ量を求めることが出来る。乗算される角速度計15aの積分信号は、バンドパスフィルタ19aで帯域制限されておらず、また、角速度計15aはノイズの影響を受けていないため、安定してデジタルカメラ100の光軸方向の振れ量を求めることが出来る。
図2は、本実施形態における光軸方向のピント変動を補正する動作を示すフローチャートである。このフローチャートは、レリーズボタン17の半押し(スイッチSW1のON)でスタートする。
ステップS201では、焦点調節機構14aにより撮像素子14の撮像面を光軸に沿って動かすことで、主被写体に対して焦点調節を行う。この時点では光軸方向の振れに起因するピント変動を補正する動作は行わない。
ステップS202では、前述した回転半径L0を算出する。
ステップS203では、レリーズボタン17が全押しされる(スイッチSW2のON)まで、ステップS202で回転半径L0を更新しながら待機する。レリーズボタン17が全押しされると、すなわち露光開始の指示が行われると、ステップS204に進む。
ステップS204では、ステップS202で求められた回転半径L0と角速度計15aの出力信号とを用いて光軸方向のピント変動を補正するためのピント補正量を算出する。そして、焦点調節機構14aにより光軸方向のピント変動の補正を開始する。
ステップS205では、現在撮影中か否かを判定し、撮影中の場合はこのステップを循環して待機し、撮影が終了された場合にステップS206に進む。
ステップS206では、光軸方向のピント変動の補正を終了し、ステップS202に戻る。
なお、このフローチャートでは省略されているが、フローの途中でレリーズボタン17の半押しが解除された場合は、このフローを抜ける。
図3は、焦点調節機構14aによる撮像面の動きを示す図である。図3において、横軸は時間を示し、縦軸は撮像素子14の撮像面の矢印14b方向の動き量を示している。波形31は、焦点調節機構14aの動き(撮像面の動き)を示す。焦点調節機構14aは、レリーズボタン17の半押し(スイッチSW1のON)で主被写体に対して焦点調節を行い(範囲32)、レリーズボタン17の全押し(スイッチSW2のON)からの露光期間(範囲33)では、光軸方向のピント変動の補正を行う。
なお、本実施形態では、焦点調節機構14aにより主被写体の焦点調節と光軸方向の振れに起因するピント変動の補正とを行っていたが、交換レンズ11bに設けられた焦点調節レンズを用いて主被写体の焦点調節と光軸方向の振れに起因するピント変動の補正とを行ってもよい。また、主被写体の焦点調節は交換レンズ11b側、光軸方向の振れに起因するピント変動の補正はカメラボディ11a側に分担させてもよい。あるいは、主被写体の焦点調節はカメラボディ11a側、光軸方向の振れに起因するピント変動の補正は交換レンズ11b側に分担させてもよい。
図4は、交換レンズ11b側で主被写体の焦点調節を行ない、カメラボディ11a側で光軸方向のピント変動の補正を行う構成のデジタルカメラ400を示す図である。図4において、焦点状態検出部115の信号は交換レンズ11bに設けられたレンズCPU12bに入力される。なお、実際には焦点状態検出部115の信号はカメラCPU12aを介してレンズCPU12bに入力されるが、図を分かりやすくするために、レンズCPU12bに直接入力されているように示している。
レリーズボタン17が半押し(スイッチSW1のON)されると、交換レンズ11bに設けられた駆動部41は、レンズCPU12bの信号を受けて、焦点調節レンズ13aを矢印13bで示す光軸方向に駆動し、主被写体に対して焦点を合わせる。
図5は、図4に対応する光軸方向のピント変動を補正する動作のフローチャートである。このフローチャートは、レリーズボタン17の半押し(スイッチSW1のON)でスタートする。なお、図2のフローチャートと同じ動作のステップには同じステップ番号を付している。
ステップS501では、焦点調節レンズ13aを光軸に沿って動かすことにより、主被写体に対して焦点調節を行う。この時点では焦点調節機構14aによる光軸方向のピント変動の補正は行わない。
ステップS502では、焦点調節レンズ13aによる焦点調節が完了するまでステップS501、S502を循環して待機する。
ステップS503では、回転半径L0を算出するとともに、その算出結果と角速度計15aの信号とに基づいて、焦点調節機構14aは光軸方向のピント変動の補正を開始する。
ステップS203では、レリーズボタン17が全押しされる(スイッチSW2のON)まで、ステップS202で回転半径L0を更新し、光軸方向のピント変動の補正を行いながら待機する。レリーズボタン17が全押しされると、すなわち露光開始の指示が行われると、ステップS504に進む。
ステップS504では、ステップS502で求められた回転半径L0の更新をやめ、固定された回転半径L0と角速度計15aの信号とを用いて、焦点調節機構14aが光軸方向のピント変動の補正を開始する。
ここで、回転半径L0の更新をやめた理由は、露光開始に伴うシャッタ駆動の振動により加速度計16がエラー信号を出力し、誤った回転半径による光軸方向のピント変動の補正が行われることを防ぐためである。
ステップS205では、現在撮影中か否かを判定し、撮影中の場合はこのステップを循環して待機し、撮影が終了された場合にステップS206に進む。
ステップS206では、光軸方向のピント変動の補正を終了し、ステップS501に戻る。
図6は、焦点調節レンズ13aの動き、および焦点調節機構14aによる撮像面の動きを示す図である。図6において、横軸は時間を示し、縦軸は焦点調節レンズ13aの矢印13b方向の動き量、および焦点調節機構14aの矢印14b方向の動き量を示している。波形61は、焦点調節レンズ13aの動きを示し、レリーズボタン17の半押し(スイッチSW1のON)で主被写体に対して焦点調節を行う(範囲32)。波形31は、焦点調節機構14aの動き(撮像面の動き)を示し、焦点調節レンズ13aによる焦点調節完了からの露光期間(範囲62)では、光軸方向のピント変動の補正を行う。
図3、図6から分かる様に、焦点調節と光軸方向のピント変動の補正を焦点調節レンズ13aと焦点調節機構14aで分担することにより、焦点調節機構14aの駆動ストロークを少なくすることが出来る。
なお、図1及び図4において、デジタルカメラ100の光軸方向の振れを検出するために交換レンズ11b側の加速度計16を用いた理由は、光軸方向のピント変動の補正のための焦点調節機構14aの駆動振動から加速度計16を離すためである。しかし、焦点調節機構14aの駆動振動が少ない場合は、カメラボディ11a側に加速度計を設け、回転半径検出に用いてもよい。
また、回転半径の検出のためにカメラボディ11a側の角速度計15aを用いた理由は、装着される交換レンズ11bに設けられた様々な種類の角速度計よりも特性がわかっているために信号処理が安定するからである。しかし、交換レンズ11b側に設けられた角速度計の特性がわかるならば、交換レンズ11b側の角速度計を用いて回転半径の検出及び光軸方向の振れの検出を行ってもよい。
このように、焦点状態検出部115からの焦点状態の変化周期に基づいて加速度計16の信号を抽出することにより、安定した光軸方向の振れの検出を行うことができる。
(第2の実施形態)
第1の実施形態においては、焦点調節はワンショットAFであった。すなわち、一旦被写体に対して焦点調節が終了すると、その後は焦点調節を行わず、焦点状態検出部115の信号は光軸方向のピント変動の補正にのみ用いた。
第2の実施形態においては、レリーズボタン17の半押し(スイッチSW1のON)以降、あるいはレリーズボタン17の半押し以前から、常に焦点調節を継続するサーボAFの場合における光軸方向のピント変動の補正について説明する。
サーボAFの場合は、焦点調節レンズ13aが常に駆動されているため、焦点状態検出部115からは焦点調節残りが出力されることになる。また、焦点調節レンズ13aにより、ある程度の光軸方向のピント変動の補正も行われる。
このようなサーボAFの特性から、第2の実施形態においては、以下のような処理を行う。
(1)バンドパスフィルタの抽出周波数は、焦点調節レンズ13aの駆動位置に基づいて設定する。
(2)光軸方向のピント変動の補正は、焦点調節レンズ13aの駆動量と関連付けて設定する。
図7は、本発明の撮像装置の第2の実施形態であるデジタルカメラ700の構成を示す図である。図4と異なるのは加算部71と、差動部72が設けられている点である。
加算部71は、焦点状態検出部115から出力される焦点調節残りの信号と焦点調節レンズ13aの駆動位置信号との加算信号を出力する。前述したようにサーボAFでは、焦点状態検出部115の信号に基づいて焦点調節レンズ13aが常に焦点調節を行っている。そのため、焦点状態検出部115からは焦点調節残りの信号が出力される。そこで焦点調節残りの信号と焦点調節レンズ13aの位置信号を加算することにより、正確な焦点状態検出を行う。この加算信号における焦点状態の変化周期を周期出力部116で特定してバンドパスフィルタ19a,19bの抽出周波数とする。
差動部72は、焦点調節レンズ13aの焦点調節駆動量と敏感度調整部113からの光軸方向のピント変動の補正量の差を求める。
図8は、焦点調節レンズ13aの動き、および焦点調節機構14aによる撮像面の動きを示す図である。図8において、横軸は時間を示し、縦軸は焦点調節レンズ13aの矢印13b方向の動き量、および焦点調節機構14aの矢印14b方向の動き量を示している。
波形81は、焦点調節レンズ13aの焦点調節駆動量を示しており、被写体に対する焦点調節後は前述した様に撮影開始(スイッチSW2のON)の前までは、ある程度の光軸方向のピント変動の補正も行っている。そのため、光軸方向のピント変動の補正量の波形82をそのまま光軸方向のピント変動の補正に用いると、過剰補正することになる。そこで差動部72は、波形83で示される、波形81と82の差を求め、その信号を用いて、焦点調節レンズ13aの光軸方向のピント変動の補正を補完する様に焦点調節機構14aを駆動する。
これにより、撮影開始前の被写体を狙っている状態においても、正確な光軸方向のピント変動の補正を行うことができる。この様に、サーボAFを行う場合においても、焦点調節レンズと協調することにより、精度の高い光軸方向のピント変動の補正を行うことができる。
(第3の実施形態)
図9は、本発明の撮像装置の第3の実施形態であるデジタルカメラ900の構成を示す図である。第2の実施形態では、ピント変動を検出する手段として焦点状態検出部115を用いたが、第3の実施形態においては、被写体認識部91を用いる点が異なる。被写体認識部91は、撮像素子14の撮像信号を利用し、被写体の輪郭を捉える。
図10は被写体の輪郭1001を捉えた撮像信号を示す図であり、輪郭1001は、光軸方向のデジタルカメラ900の振れにより像倍率が変化することで、破線1002の様に変化する。周波数発生部116は、被写体認識部91からの像倍率変化の周期を検出し、その周期をバンドパスフィルタ19a,19bに設定する。
積分部18bによる加速度計16の積分信号から、バンドパスフィルタ19bにより、像倍率の変化の周波数の範囲が抽出されることにより、図1の波形119と同様に安定した光軸方向の変位信号を得ることができる。また、バンドパスフィルタ19aも同じ周期で角速度計15aの積分結果を波形整形し、その結果と波形119を比較部110で比較することにより、正確な回転半径L0を求めることが出来る。
回転半径L0は頻繁に変化する値では無いため、一旦求めると、それ以降は積分部18aの出力である角速度計15aの積分信号に、固定した回転半径L0を乗算することにより光軸方向の振れ量を求めることが出来る。乗算される角速度計15aの積分信号は、バンドパスフィルタ19aで帯域制限されておらず、また、角速度計15aはノイズの影響を受けていないため、安定してデジタルカメラ100の光軸方向の振れ量を求めることが出来る。
このように被写体認識部91からの像倍率変化周期に基づいて加速度計16の信号を抽出することにより、安定した光軸方向のデジタルカメラの振れ検出を行うことができる。 なお、第1〜第3の実施形態では、検出した光軸方向振れに基づいて光軸方向振れに起因するピント変動の補正を行う例について説明したが、光軸方向振れは、像倍率変動の要因にもなり得る。よって、検出した光軸方向振れに基づいて、光軸方向振れに起因するピント変動の補正を行う代わりに、光軸方向振れに起因する像倍率変動を補正してもよい。その場合、光軸方向振れ補正には、撮像装置が備える撮影光学系または撮像装置に装着された交換レンズ11bに設けられたズーム調節レンズを用いることができる。上述の実施形態(例えばステップS202)で求められた回転半径L0と角速度計15aの出力信号とを用いて、像倍率が変動しないようにズーム調節レンズ位置の補正値を取得し、像倍率調節手段が取得した補正値に基づいてズーム調節レンズを駆動させることで光軸方向振れを補正することが可能である。この場合、焦点調節機構14aや焦点調節レンズは、主被写体にピントを合わせるための焦点調節を行い、光軸方向振れはズーム調節レンズ側に分担させる。
また、光軸方向振れに起因するピント変動を焦点調節レンズ位置の制御で、光軸方向振れに起因する像倍率変動をズーム調節レンズ位置の制御で、補正することにより、光軸方向振れに起因するピント変動と像倍率変動との両方を補正してもよい。また、撮影光学系の構成によっては、焦点調節レンズ位置を動かして光軸方向振れに起因するピント変動を補正すると同時に、像倍率変動も補正することができたり、ズーム調節レンズ位置を動かして光軸方向振れに起因する像倍率変動を補正すると同時に、ピント変動を補正することができたりする。このような撮影光学系を備える撮像装置、あるいは、このような撮影光学系を備えるレンズ装置が装着された撮像装置は、求められた回転半径L0と角速度計15aの出力信号を用いていずれか一方の位置を調整することで、ピント変動と像倍率変動とを補正することができる。
また、光軸方向振れ補正には画像合成を用いる方法もある。一般的に画像合成による手ブレ補正では、ブレが少なくなるような短い露光時間の画像を複数枚撮影し、画像間のブレがなくなるように画像間の位置を合わせて合成するという手法が知られている。光軸方向ブレ補正でも画像を複数枚撮影し合成を行うが、合成の際には画像の拡縮を行うことにより画像間で発生する光軸方向ブレを補正する。画像合成は、先ほどまでに挙げた交換レンズ11b側のズーム調節レンズや焦点調節レンズ、カメラボディ11a側の焦点調節による補正と組み合わせて使用してもよい。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
11a:カメラボディ、11b:交換レンズ、15a:角速度検出部、16:加速度検出部、19a,19b:バンドパスフィルタ、91:被写体認識部、100:デジタルカメラ、110:比較部、115:焦点状態検出部

Claims (19)

  1. 被写体像を撮像する撮像手段と、
    レンズにより前記撮像手段の撮像面に結像される被写体像のピント変動の周期を検出する周期検出手段と、
    撮像装置の振れの光軸に沿う方向の成分である第1の並進成分を検出する第1の検出手段と、
    前記撮像装置の振れの回転成分を検出する第2の検出手段と、
    前記ピント変動の周期に基づいて、前記第1の並進成分から所定の周波数帯域の成分を抽出する第1の抽出手段と、
    前記ピント変動の周期に基づいて、前記回転成分から前記所定の周波数帯域の成分を抽出する第2の抽出手段と、
    前記第1の抽出手段により抽出された信号と前記第2の抽出手段により抽出された信号とを比較して、前記撮像装置の振れの回転半径を算出する算出手段と、
    前記第2の検出手段からの信号と前記回転半径とを用いて、前記撮像装置の振れの光軸に沿う方向の成分である第2の並進成分を算出する並進算出手段と、
    を備えることを特徴とする撮像装置。
  2. 前記第1の検出手段は、前記光軸に沿う方向の加速度を検出する加速度計と、該加速度計の出力信号を積分する第1の積分手段とを有することを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の積分手段は、前記加速度計の出力信号を二階積分することにより、前記第1の並進成分としての、前記撮像装置の光軸に沿う方向の移動量を算出することを特徴とする請求項2に記載の撮像装置。
  4. 前記加速度計は、前記撮像装置の本体に着脱可能な前記レンズに配置されていることを特徴とする請求項2または3に記載の撮像装置。
  5. 前記第2の検出手段は、前記撮像装置の回転の角速度を検出する角速度計と、該角速度計の出力信号を積分する第2の積分手段とを有することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記第2の積分手段は、前記角速度計の出力を一階積分することにより、前記回転成分としての、前記撮像装置の回転角度を算出することを特徴とする請求項5に記載の撮像装置。
  7. 前記角速度計は、前記撮像装置の本体に配置されていることを特徴とする請求項5または6に記載の撮像装置。
  8. 前記周期検出手段は、被写体像の焦点状態を検出する焦点検出手段の信号に基づいて、前記ピント変動の周期を検出することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記周期検出手段は、前記焦点検出手段から出力される焦点調節残りの信号と焦点調節レンズの駆動位置信号との加算信号を出力することを特徴とする請求項8に記載の撮像装置。
  10. 前記焦点検出手段は、位相差検出方式により、前記被写体像の焦点状態を検出することを特徴とする請求項8または9に記載の撮像装置。
  11. 前記焦点検出手段は、コントラスト検出方式により、前記被写体像の焦点状態を検出することを特徴とする請求項8または9に記載の撮像装置。
  12. 前記周期検出手段は、前記撮像手段で得られる被写体像の像倍率の変化の周期を検出することにより、前記ピント変動の周期を検出することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  13. 前記第2の並進成分に基づいて焦点を調節する焦点調節手段を備えることを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
  14. 前記第2の並進成分に基づくピント変動の補正量から焦点調節レンズの駆動位置を差し引いた信号に基づいて焦点を調節する焦点調節手段をさらに備えることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  15. 前記第2の並進成分に基づいて像倍率を調節する像倍率調節手段をさらに備えることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
  16. 前記第2の並進成分に基づいて画像処理を行う画像処理手段をさらに備えることを特徴とする請求項1乃至15のいずれか1項に記載の撮像装置。
  17. 被写体像を撮像する撮像手段を備える撮像装置の制御方法であって、
    レンズにより前記撮像手段の撮像面に結像される被写体像のピント変動の周期を検出する周期検出工程と、
    前記撮像装置の振れの光軸に沿う方向の成分である第1の並進成分を検出する第1の検出工程と、
    前記撮像装置の振れの回転成分を検出する第2の検出工程と、
    前記ピント変動の周期に基づいて、前記第1の並進成分から所定の周波数帯域の成分を抽出する第1の抽出工程と、
    前記ピント変動の周期に基づいて、前記回転成分から前記所定の周波数帯域の成分を抽出する第2の抽出工程と、
    前記第1の抽出工程において抽出された信号と前記第2の抽出工程において抽出された信号とを比較して、前記撮像装置の振れの回転半径を算出する算出工程と、
    前記第2の検出工程からの信号と前記回転半径とを用いて、前記撮像装置の振れの光軸に沿う方向の成分である第2の並進成分を算出する並進算出工程と、
    を有することを特徴とする撮像装置の制御方法。
  18. 請求項17に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
  19. 請求項17に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2019030793A 2019-02-22 2019-02-22 撮像装置及びその制御方法、プログラム、記憶媒体 Active JP7208822B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019030793A JP7208822B2 (ja) 2019-02-22 2019-02-22 撮像装置及びその制御方法、プログラム、記憶媒体
US16/790,983 US10992867B2 (en) 2019-02-22 2020-02-14 Image capturing apparatus and control method thereof and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019030793A JP7208822B2 (ja) 2019-02-22 2019-02-22 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2020137011A true JP2020137011A (ja) 2020-08-31
JP7208822B2 JP7208822B2 (ja) 2023-01-19

Family

ID=72141955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030793A Active JP7208822B2 (ja) 2019-02-22 2019-02-22 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US10992867B2 (ja)
JP (1) JP7208822B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7233260B2 (ja) 2019-03-13 2023-03-06 キヤノン株式会社 像ブレ補正制御装置及びその制御方法、プログラム、記憶媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107619A (ja) * 1991-06-26 1993-04-30 Minolta Camera Co Ltd ブレ検出及び補正が可能なカメラ
JPH07225405A (ja) * 1993-12-14 1995-08-22 Nikon Corp 像振れ補正カメラ
JPH0980523A (ja) * 1995-09-11 1997-03-28 Nikon Corp 像ブレ補正カメラ
JP2007147803A (ja) * 2005-11-25 2007-06-14 Seiko Epson Corp 撮像装置、制御方法および制御プログラム
JP2008160208A (ja) * 2006-12-20 2008-07-10 Canon Inc 光学機器
JP2010025962A (ja) * 2008-07-15 2010-02-04 Canon Inc 防振制御装置及び撮像装置
JP2010145501A (ja) * 2008-12-16 2010-07-01 Canon Inc カメラシステム
JP2013003168A (ja) * 2011-06-10 2013-01-07 Canon Inc 防振制御装置、防振制御方法、並びに撮像装置およびその制御方法
JP2015034879A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3192462B2 (ja) 1992-01-31 2001-07-30 キヤノン株式会社 防振機能付カメラ
US6091448A (en) 1993-12-27 2000-07-18 Canon Kabushiki Kaisha Apparatus for preventing an image blur prevention device from changing states during an image recording operation
JP3559586B2 (ja) 1994-04-28 2004-09-02 キヤノン株式会社 光学装置
US6154611A (en) 1998-05-18 2000-11-28 Canon Kabushiki Kaisha Image-shake compensation apparatus
JP2005077886A (ja) 2003-09-02 2005-03-24 Canon Inc 撮影装置
JP4789789B2 (ja) * 2006-12-12 2011-10-12 キヤノン株式会社 撮像装置
JP5031690B2 (ja) * 2008-07-15 2012-09-19 キヤノン株式会社 防振制御装置及び撮像装置並びに防振制御装置の制御方法
JP5274130B2 (ja) * 2008-07-15 2013-08-28 キヤノン株式会社 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法
JP5269034B2 (ja) * 2010-10-19 2013-08-21 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
EP2533518B1 (en) * 2011-06-10 2014-09-10 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
JP5911220B2 (ja) * 2011-07-01 2016-04-27 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5913960B2 (ja) * 2011-12-21 2016-05-11 キヤノン株式会社 防振制御装置及びその制御方法、及び撮像装置
JP5917133B2 (ja) * 2011-12-22 2016-05-11 キヤノン株式会社 防振制御装置、防振制御方法、光学機器、撮像装置
JP6554658B2 (ja) 2014-08-04 2019-08-07 パナソニックIpマネジメント株式会社 撮像装置及びカメラボディ
JP6614810B2 (ja) * 2015-05-29 2019-12-04 キヤノン株式会社 ブレ補正装置、撮像装置、ブレ補正方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107619A (ja) * 1991-06-26 1993-04-30 Minolta Camera Co Ltd ブレ検出及び補正が可能なカメラ
JPH07225405A (ja) * 1993-12-14 1995-08-22 Nikon Corp 像振れ補正カメラ
JPH0980523A (ja) * 1995-09-11 1997-03-28 Nikon Corp 像ブレ補正カメラ
JP2007147803A (ja) * 2005-11-25 2007-06-14 Seiko Epson Corp 撮像装置、制御方法および制御プログラム
JP2008160208A (ja) * 2006-12-20 2008-07-10 Canon Inc 光学機器
JP2010025962A (ja) * 2008-07-15 2010-02-04 Canon Inc 防振制御装置及び撮像装置
JP2010145501A (ja) * 2008-12-16 2010-07-01 Canon Inc カメラシステム
JP2013003168A (ja) * 2011-06-10 2013-01-07 Canon Inc 防振制御装置、防振制御方法、並びに撮像装置およびその制御方法
JP2015034879A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置

Also Published As

Publication number Publication date
US10992867B2 (en) 2021-04-27
US20200275028A1 (en) 2020-08-27
JP7208822B2 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
JP4757185B2 (ja) 光学機器
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
JP2015233248A (ja) 撮像装置及び撮像方法
US11570361B2 (en) Lens unit, imaging device, control methods thereof, and storage medium
JP6171575B2 (ja) ブレ補正装置及び光学機器
JP7208822B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6168827B2 (ja) 像振れ補正装置および光学機器
JP6268981B2 (ja) ブレ補正装置、交換レンズ及びカメラ
JP6171576B2 (ja) ブレ補正装置及び光学機器
JP2019091063A (ja) ブレ補正装置、電子機器及びカメラ
JP2016080892A (ja) 像ぶれ補正装置、焦点調節装置、制御ユニットおよび光学機器
JP6485499B2 (ja) ブレ補正装置及び光学機器
WO2020012960A1 (ja) 撮像装置
JP6717396B2 (ja) ブレ補正装置及び撮像装置
JP6468343B2 (ja) 交換レンズ及び光学機器
JP6590018B2 (ja) ブレ補正装置及びカメラ
WO2019203147A1 (ja) 撮像装置
WO2020012961A1 (ja) 撮像装置
JP6610722B2 (ja) ブレ補正装置及び光学機器
JP6414285B2 (ja) ブレ補正装置及び光学機器
JP6590013B2 (ja) 交換レンズおよび撮像装置
JP6318502B2 (ja) ブレ補正装置及び光学機器
JP6299188B2 (ja) ブレ補正装置、レンズ鏡筒及びカメラ
JP2013162185A (ja) 光学機器および撮像装置
JP2015106086A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R151 Written notification of patent or utility model registration

Ref document number: 7208822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151