JP2023011279A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2023011279A
JP2023011279A JP2021115043A JP2021115043A JP2023011279A JP 2023011279 A JP2023011279 A JP 2023011279A JP 2021115043 A JP2021115043 A JP 2021115043A JP 2021115043 A JP2021115043 A JP 2021115043A JP 2023011279 A JP2023011279 A JP 2023011279A
Authority
JP
Japan
Prior art keywords
distance
image
subject
distance map
dfd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021115043A
Other languages
English (en)
Other versions
JP7113327B1 (ja
Inventor
匡利 中村
Masatoshi Nakamura
基範 小倉
Motonori Ogura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2021115043A priority Critical patent/JP7113327B1/ja
Priority to JP2022029824A priority patent/JP7170216B1/ja
Priority to US17/859,225 priority patent/US11880991B2/en
Priority to US17/859,238 priority patent/US20230017607A1/en
Application granted granted Critical
Publication of JP7113327B1 publication Critical patent/JP7113327B1/ja
Priority to JP2022151005A priority patent/JP7369941B2/ja
Publication of JP2023011279A publication Critical patent/JP2023011279A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被写体までの距離を精度良く得ることができる撮像装置を提供する。【解決手段】撮像装置(100)は、被写体像を撮像して画像データを生成する撮像部(115)と、画像データが示す画像における被写体と自装置との間の距離を、第1の空間解像度において示す第1の距離情報(M1)を取得する第1の測距部(121)と、第1の空間解像度とは異なる第2の空間解像度において、画像における距離を示す第2の距離情報(M2)を取得する第2の測距部(122)と、第1の距離情報及び第2の距離情報に基づいて、画像における領域別に第1又は第2の空間解像度において距離を示す第3の距離情報(M3)を取得する制御部(135)とを備える。【選択図】図3

Description

本開示は、被写体までの距離を測定する測距機能を有する撮像装置に関する。
特許文献1は、デジタルカメラなどの撮像装置等に用いられる距離検出装置を開示する。この距離検出装置は、撮像手段により生成された、結像光学系の第1の瞳領域を通過した光束による第1の信号(A像信号)と、結像光学系の第1の瞳領域とは異なる第2の瞳領域を通過した光束による第2の信号(B像信号)とに基づき、被写体までの被写体距離を検出する演算手段を備える。演算手段は、位相差方式により第1の信号と第2の信号とに基づき被写体距離等を算出する第1の処理と、DFD方式により、上記位相差方式と同じ第1の信号と第2の信号とに基づき、被写体距離等を算出する第2の処理とを行っている。特許文献1の撮像手段では、各画素内において、A画素としての光電変換部と、B画素としての光電変換部とを配置している。
特開2014-063142号公報
本開示は、被写体までの距離を精度良く得ることができる撮像装置を提供する。
本開示における撮像装置は、被写体像を撮像して画像データを生成する撮像部と、画像データが示す画像における被写体と自装置との間の距離を、第1の空間解像度において示す第1の距離情報を取得する第1の測距部と、第1の空間解像度とは異なる第2の空間解像度において、画像における距離を示す第2の距離情報を取得する第2の測距部と、第1の距離情報及び第2の距離情報に基づいて、画像における領域別に第1又は第2の空間解像度において距離を示す第3の距離情報を取得する制御部とを備える。
本開示における撮像装置によると、被写体までの距離を精度良く得ることができる。
本開示の実施形態1に係るデジタルカメラの構成を示す図 デジタルカメラのイメージセンサにおけるセンサ画素を説明するための図 デジタルカメラの測距機能の動作の概要を説明するための図 デジタルカメラの動作を説明するためのフローチャート デジタルカメラにおける距離マップ合成処理を例示するフローチャート デジタルカメラにおける距離マップ合成処理を説明するための図 デジタルカメラにおけるAF枠の表示処理を例示するフローチャート デジタルカメラにおけるAF枠の表示例を示す図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
実施形態1では、本開示に係る撮像装置の一例として、2種類の測距法による測距機能を有するデジタルカメラについて説明する。
1.構成
実施形態1に係るデジタルカメラの構成について、図1,2を用いて説明する。
図1は、本実施形態に係るデジタルカメラ100の構成を示す図である。本実施形態のデジタルカメラ100は、イメージセンサ115と、画像処理エンジン120と、表示モニタ130と、制御部135とを備える。さらに、デジタルカメラ100は、バッファメモリ125と、カードスロット140と、フラッシュメモリ145と、操作部150と、通信モジュール155とを備える。また、デジタルカメラ100は、例えば光学系110及びレンズ駆動部112を備える。
光学系110は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ(OIS)、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ115上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ1枚又は複数枚のレンズで構成される。
レンズ駆動部112は、光学系110におけるフォーカスレンズ等を駆動する。レンズ駆動部112はモータを含み、制御部135の制御に基づいてフォーカスレンズを光学系110の光軸に沿って移動させる。レンズ駆動部112においてフォーカスレンズを駆動する構成は、DCモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
イメージセンサ115は、光学系110を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ115による撮像画像を示す画像データを構成する。イメージセンサ115は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。イメージセンサ115における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部135によって制御される。イメージセンサ115は、CMOSイメージセンサ、CCDイメージセンサ、またはNMOSイメージセンサなど、種々のイメージセンサを用いることができる。
イメージセンサ115は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ130に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ115は、本実施形態における撮像部の一例である。
本実施形態のイメージセンサ115は、像面位相差方式のセンサ画素116を備える。図2は、イメージセンサ115におけるセンサ画素116を説明するための図である。
像面位相差方式のセンサ画素116は、例えば、図2に示すようにイメージセンサ115の像面上で、画像撮影用の画素の代わりに配置される。換言すると、イメージセンサ115は、センサ画素116の個数分だけ、画像撮影において遮光された画素を有することとなる。複数のセンサ画素116は、イメージセンサ115の像面上で、それぞれ像面位相差方式の測距機能において距離の測定対象とする位置に配置され、像面位相差方式の測距点を構成する。例えば、センサ画素116は、光学系110において瞳分割した2種の光学像を結像するように区分された光電変換部などを備える。
図1に戻り、画像処理エンジン120は、イメージセンサ115から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ130に表示するための画像を生成したりする。各種処理としては、センサ画素116の分の遮光画素の補間処理、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン120は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
本実施形態において、画像処理エンジン120は、DFD(Depth from defocus)方式の測距機能を実現するDFD演算部121と、像面位相差方式の測距機能を実現する位相差演算部122とを含む。本実施形態において、DFD演算部121は第1の測距部の一例であり、位相差演算部122は第2の測距部の一例である。各演算部121,122は、例えば各々の測距機能用の演算回路で構成される。各演算部121,122については後述する。
表示モニタ130は、種々の情報を表示する表示部の一例である。例えば、表示モニタ130は、イメージセンサ115で撮像され、画像処理エンジン120で画像処理された画像データが示す画像(スルー画像)を表示する。また、表示モニタ130は、ユーザがデジタルカメラ100に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ130は、例えば、液晶ディスプレイデバイスまたは有機ELデバイスで構成できる。
操作部150は、デジタルカメラ100の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部150は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部150はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号を制御部135に送信する。
制御部135は、デジタルカメラ100全体の動作を統括制御する。制御部135はCPU等を含み、CPUがプログラム(ソフトウェア)を実行することで所定の機能を実現する。制御部135は、CPUに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部135は、CPU、MPU、GPU、DSU、FPGA、ASIC等の種々のプロセッサで実現できる。制御部135は1つまたは複数のプロセッサで構成してもよい。また、制御部135は、画像処理エンジン120などと共に1つの半導体チップで構成してもよい。
バッファメモリ125は、画像処理エンジン120や制御部135のワークメモリとして機能する記録媒体である。バッファメモリ125は、DRAM(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ145は不揮発性の記録媒体である。また、図示していないが、制御部135は各種の内部メモリを有してもよく、例えばROMを内蔵してもよい。ROMには、制御部135が実行する様々なプログラムが記憶されている。また、制御部135は、CPUの作業領域として機能するRAMを内蔵してもよい。
カードスロット140は、着脱可能なメモリカード142が挿入される手段である。カードスロット140は、メモリカード142を電気的及び機械的に接続可能である。メモリカード142は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード142は、画像処理エンジン120で生成される画像データなどのデータを格納できる。
通信モジュール155は、通信規格IEEE802.11またはWi-Fi規格等に準拠した通信を行う通信モジュール(回路)である。デジタルカメラ100は、通信モジュール155を介して、他の機器と通信することができる。デジタルカメラ100は、通信モジュール155を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール155は、インターネット等の通信ネットワークに接続可能であってもよい。
2.動作
以上のように構成されるデジタルカメラ100の動作について、以下説明する。
本実施形態のデジタルカメラ100は、性能が異なる2つの測距技術を組み合わせることで、より高精度に被写体までの距離を示す距離情報を生成する。こうしたデジタルカメラ100の測距機能の動作の概要を、図3を用いて説明する。
図3(A)は、本実施形態のデジタルカメラ100における撮像画像Imを例示する。撮像画像Imは、例えばスルー画像などを含む各種動画像の1フレームを構成する。以下、撮像画像Imにおける水平方向をX方向とし、垂直方向をY方向とする。又、デジタルカメラ100から被写体までの距離方向をZ方向という場合がある。
図3(B)~(D)は、それぞれ図3(A)の撮像画像Imに対応する各種の距離マップM1~M3を例示する。距離マップM1~M3は、例えば撮像画像Imと同様の二次元座標系(X,Y)において測距点毎の測距結果を示す距離情報の一例である。図3(B)~(D)に例示する距離マップM1~M3では、測距結果の距離値を灰色の濃淡で示しており、灰色が淡いほど近い距離を示し、灰色が濃いほど遠い距離を示す。
本実施形態のデジタルカメラ100は、DFD方式による測距を行って、例えば図3(B)に示すように、DFD距離マップM1を生成する。DFD距離マップM1は、DFD方式の測距結果を示す距離マップである。また、本実施形態のデジタルカメラ100は、さらに像面位相差方式による測距を行って、この測距結果を示す位相差距離マップM2(図3(C))を生成する。
DFD距離マップM1は、例えば図3(B)に示すように、比較的高い空間解像度を有する。空間解像度は、例えば3次元空間における少なくとも何れかの方向において被写体の空間位置を検知する各種の解像度である。例えば、空間解像度は、X,Y方向の二次元の解像度(即ち測距点の個数)、及びZ方向の解像度(即ち測距精度)を含む。
図3(A)~(D)では、撮像画像Imにおける被写体に二人の人物50,51が含まれ、一方の人物50にピントが合った例を示している。又、本例では、他方の人物51がピントから外れている。
本例のDFD距離マップM1においては、図3(B)に示すように、ピントが合った人物50の外形が現れており、人物50のような被写体を高精度に検知できる。一方で、ピントが外れた人物51は検知できていない。このように、DFD距離マップM1の測距精度は、デジタルカメラ100の合焦位置に近い距離範囲に限って高精度に得られる場合が考えられる。即ち、合焦位置から遠くなると、ボケ量が過多である大ボケによって、測距精度の低下が生じる場合が考えられる。
又、位相差距離マップM2では、例えば図3(C)に示すように、空間解像度がDFD距離マップM1(図3(C))よりも低いことが想定される。例えば、位相差距離マップM2における二次元の解像度は、イメージセンサ115に設けたセンサ画素116の個数に対応することから制限される。また、位相差距離マップM2の測距精度は、合焦位置に近い距離範囲においては、DFD距離マップM1の測距精度を下回ると考えられる。
一方、位相差距離マップM2の測距精度は、上記の距離範囲外では、DFD距離マップM1の測距精度を上回ることが考えられる。例えば、図3(A)の撮像画像Imにおいてピントが外れた人物51は、図3(C)に示すように、位相差距離マップM2においては検知できている。このように、位相差距離マップM2では、特定の距離範囲に限らずに測距精度を安定的に得られる分解能の利点が考えられる。
そこで、本実施形態のデジタルカメラ100は、以上のように異なる性能の2つの距離マップM1,M2を合成して、DFD距離マップM1の利点と位相差距離マップM2の利点とを持たせた合成距離マップM3を生成する(図3(D))。
図3(D)は、図3(B)のDFD距離マップM1と図3(C)の位相差距離マップM2とから得られる合成距離マップM3を例示する。本実施形態の合成距離マップM3によると、例えば図3(D)に示すように、ピントが合った人物50の外形を得られると共に、ピントが合っていない人物51も検知できている。
このように、本実施形態のデジタルカメラ100は、DFD距離マップM1による高い空間解像度と、位相差距離マップM2による安定した測距の分解能とを持たせた合成距離マップM3を得られる。以下、本実施形態におけるデジタルカメラ100の動作の詳細を説明する。
2-1.全体動作
本実施形態のデジタルカメラ100における全体的な動作について、図4を用いて説明する。図4は、デジタルカメラ100の動作を説明するためのフローチャートである。
図4のフローチャートに示す処理は、例えばイメージセンサ115がスルー画像等の各種動画像の撮像動作を実行中に、フレーム周期などの所定周期毎に行われる。本フローの処理は、例えばデジタルカメラ100の制御部135によって実行される。
まず、デジタルカメラ100の制御部135は、DFD演算部121から、DFD距離マップM1を取得する(S1)。DFD距離マップM1は、第1の空間解像度を有する第1の距離情報の一例である。
ステップS1において、DFD演算部121は、例えば2フレームの撮像画像等の画像データに基づいて、予め設定された測距点毎にDFD演算を行うことによりDFD方式の測距を行って、DFD距離マップM1を生成する。DFD演算は、フレーム間のボケ量の差異に基づいてデフォーカス量(或いは被写体距離)を算出する演算であり、例えば点拡がり関数または光伝達関数などを演算する。DFD方式の測距には適宜、公知技術を適用可能である(例えば、特許文献1)。
また、制御部135は、位相差演算部122から、位相差距離マップM2を取得する(S2)。位相差距離マップM2は、第2の空間解像度を有する第2の距離情報の一例である。なお、ステップS1,S2の処理順は、特に限定されない。
ステップS2において、位相差演算部122は、イメージセンサ115におけるセンサ画素116から入力されるセンサ信号に基づき、像面位相差方式の測距を行って、位相差距離マップM2を生成する。像面位相差方式の測距は、例えば、センサ画素116による測距点毎に、センサ信号から瞳分割による2種の光学像の差異に応じたデフォーカス量等を算出することにより行える。像面位相差方式の測距には適宜、公知技術を適用可能である(例えば、特許文献1)。
次に、本実施形態の制御部135は、取得した各距離マップM1,M2に基づいて、DFD距離マップM1と位相差距離マップM2とを合成する(S3)。こうした距離マップ合成処理(S3)で生成される合成距離マップM3は、本実施形態における第3の距離情報の一例である。
本実施形態の距離マップ合成処理(S3)では、撮像画像Imにおける個々の領域別に、各距離マップM1,M2のデータを互いに比較して、より高精度の距離データを採用することによって合成距離マップM3を生成する。ステップS3の処理の詳細は、後述する。
次に、制御部135は、生成された合成距離マップM3を用いて、デジタルカメラ100における各種の制御を行う(S4)。例えば、制御部135は、合成距離マップM3に基づき、AF(オートフォーカス)動作を制御したり、AF動作の対象とする被写体の検知結果を示すAF枠などの情報を表示させたりする。
制御部135は、合成距離マップM3を用いた各種制御を行う(S4)と、本フローチャートに示す処理を終了する。
以上のデジタルカメラ100の動作によると、DFD距離マップM1と位相差距離マップM2とから(S1,S2)、空間解像度および測距分解能を向上させた合成距離マップM3を取得できる(S3)。こうした高精度の合成距離マップM3は、デジタルカメラ100における様々な制御等に活用できる(S4)。
例えば、合成距離マップM3における高い空間解像度によると、図3(A)~(D)の例において、デジタルカメラ100は、人物50の形状に沿った領域を抽出できる。このように抽出された領域は、例えばコントラストAF方式などのAF評価値の算出に用いることで、背景抜け等を抑制した高精度のAF制御を実現できる。また、抽出された人物50の形状を表示モニタ130等に表示することで、デジタルカメラ100の検知精度の高さをユーザに可視化することもできる。こうした可視化の処理例については後述する。
又、デジタルカメラ100は、合成距離マップM3をAF制御に用いることで、DFD距離マップM1による高い空間解像度の距離データに基づき、撮像画像Im上に小さく映った被写体でも精度良くピントを合わせられる。また、図3(A)の人物51などの合焦位置から離れた被写体にピントを合わせ直す場合も、合成距離マップM3において、位相差距離マップM2による広範囲の測距分解能により、AF制御を高速に動作させることができる。
2-2.距離マップ合成処理
図4のステップS3における距離マップ合成処理について、図5~6を用いて説明する。
図5は、デジタルカメラ100における距離マップ合成処理を例示するフローチャートである。本フローに示す処理は、例えば制御部135が画像処理エンジン120を制御することにより実行される。
図6(A),(B)は、それぞれ合成前のDFD距離マップM1及び位相差距離マップM2を例示する。図5に例示する処理は、例えば図6(A),(B)に示すように各距離マップM1,M2が図4のステップS1,S2で取得された状態で開始される。
まず、制御部135は、例えば高解像度のDFD距離マップM1に合わせるように、低解像度の位相差距離マップM2における領域を正規化する処理を行う(S11)。ステップS11の処理について、図6(A)~(C)を用いて説明する。
図6(A),(B)では、各距離マップM1,M2の解像度に対応したデータ点P1,P2をそれぞれ例示している。各データ点P1,P2は、それぞれ撮像画像Imにおいて対応する位置の測距点毎に測距された結果の距離値を有する。
図6(A)に示すように、DFD距離マップM1は、高解像度が実現される多数のデータ点P1を含んだサイズのデータ領域で構成される。一方、図6(B)に示すように、位相差距離マップM2は、DFD距離マップM1のデータ点P1の個数よりも少ないN個のデータ点P2によるデータ領域で構成される。そこで、ステップS11では、位相差距離マップM2のデータ領域が、DFD距離マップM1に合わせて正規化される。
図6(C)は、正規化された位相差距離マップM2’を例示する。正規化された位相差距離マップM2’は、DFD距離マップM1と同じサイズのデータ領域をN個の分割領域R2-1~R2-Nに分割して構成される。例えば、ステップS11において、制御部135は、ステップS2で取得された位相差距離マップM2における各データ点P2の距離値を、各々の分割領域R2-1~R2-Nの距離データとして割り当てて、正規化された位相差距離マップM2’を管理する。
次に、制御部135は、正規化された位相差距離マップM2’における1~N番目の分割領域R2-1~R2-Nから順番に、1つの分割領域R2を選択する(S12)。ステップS12~S18では、選択された分割領域R2毎に、DFD距離マップM1と位相差距離マップM2’を比較する処理が順次、行われる。
制御部135は、DFD距離マップM1から、選択中の分割領域R2に対応する領域R1とその距離データを抽出する(S13)。図6(D)は、図6(A)のDFD距離マップM1において、図6(C)の1~N番目の分割領域R2-1~R2-Nの対応領域R1-1~R1-Nを例示する。DFD距離マップM1の各対応領域R1は、撮像画像Im上で、対応する位相差距離マップM2’の分割領域R2と同じ領域の測距結果として複数のデータ点P1を含む。
制御部135は、例えばDFD距離マップM1から抽出した対応領域R1における距離データに基づいて、選択中の分割領域R2に対するDFD測距の評価値を算出する(S14)。DFD測距の評価値は、例えばDFD距離マップM1の対応領域R1における各データ点P1の距離値にわたる平均値であり、例えば相加平均、相乗平均あるいは各種の加重平均で演算される。
次に、制御部135は、選択中の分割領域R2における2つの距離マップM1,M2’間の比較として、算出したDFD測距の評価値が、例えば位相差距離マップM2’の距離データに応じた所定の許容範囲内にあるか否かを判断する(S15)。当該許容範囲は、例えば位相差距離マップM2’において選択中の分割領域R2に割り当てられた距離値と、DFD測距の評価値とが、合致していると想定される許容誤差の距離範囲に設定される。
制御部135は、選択中の分割領域R2に対するDFD測距の評価値が、上記の許容範囲内にあると判断した場合(S15でYES)、DFD測距マップM1の対応領域R1の距離データを、合成距離マップM3に採用することを決定する(S16)。この場合、DFD距離マップM1は、位相差距離マップM2’と比較して特にずれておらず、対応領域R1の測距結果は高精度と考えられる。
一方、制御部135は、選択中の分割領域R2に対するDFD測距の評価値が許容範囲内にないと判断した場合(S15でNO)、合成距離マップM3に位相差測距マップM2’の距離データを採用することを決定する(S17)。この場合、DFD距離マップM1が、位相差距離マップM2’から比較的ずれていることから、対応領域R2において大ボケ等による測距精度の低下を生じたことを検知できる。
制御部135は、全ての分割領域R2-1~R2-Nにおいて、採用する距離データが決定されていないとき(S18でNO)、新たな分割領域R2を選択して、ステップS12以降の処理を行う。これにより、2つの距離マップM1,M2’間の比較(S12~S18)が分割領域R2毎に繰り返される。
全ての分割領域R2-1~R2-Nにおいて、採用する距離データが決定されると(S18でYES)、制御部135は、2つの距離マップM1,M2の合成結果として合成距離マップM3を生成する(S19)。図6(E)に、ステップS19における合成距離マップM3を例示する。
図6(E)は、図6(C),(D)の各距離マップM1,M2’から生成される合成距離マップM3を例示する。合成距離マップM3は、DFD距離マップM1の距離データを有する領域であるDFD領域R31と、位相差距離マップM2’の距離データを有する領域である位相差領域R32とを含む。合成距離マップM3は、例えば、DFD距離マップM1と同じデータ領域を、各対応領域R1-1~R1-Nと同様にN個の分割領域に分割して構成される。
例えばステップS19において、制御部135は、ステップS16で決定した対応領域R1の距離データを、合成距離データM3におけるDFD領域R31中の分割領域に割り当てる。又、制御部135は、ステップS17で決定した分割領域R2の距離データを、合成距離データM3における位相差領域R32中の分割領域に割り当てる。このようにDFD距離マップM1と位相差距離マップM2’とを組み合わせて、合成距離マップM3を生成できる(S19)。
制御部135は、以上のように合成距離マップM3を生成する(S19)と、距離マップ合成処理(図4のS3)を終了して、例えばステップS4の処理に進む。
以上の距離マップ合成処理(S3)によると、DFD方式により高い空間解像度を有するDFD領域R31と、像面位相差方式により広い距離範囲で測距精度が安定した位相差領域R32とを有する合成距離マップM3を得ることができる(S19)。
また、正規化した位相差距離マップM2’の分割領域R2毎に、各距離マップM1,M2を比較して一方の距離データを採用する処理により、合成距離マップM3の生成を行い易くすることができる(S11~S19)。例えば、分割領域R2毎に、DFD測距の評価値と、位相差距離マップM2’の距離値とを比較することにより(S15)、DFD距離マップM1の対応領域R1において測距精度の低下が生じていないかを容易に判定できる。
ステップS14,15におけるDFD測距の評価値は、特に対応領域R1における距離値の平均値に限らず、例えば最頻値、分散度、或いは最大値と最小値間の差分などであってもよい。又、DFD測距の評価値の比較対象は、位相差距離マップM2’の距離値でなくてもよい。例えば、評価値の種類に応じて測距精度の低下を判定するための基準値が予め設定されてもよい。又、デジタルカメラ100は、合焦位置付近の前後においてDFD方式の測距精度が高く得られると想定される距離範囲を求めて、DFD距離マップM1の距離データが、求めた距離範囲内であるか否かの判定をステップS15等で行ってもよい。
また、上記の説明では、分割領域R2毎に、2つの距離マップM1,M2の何れかの距離データが合成距離マップM3に採用された(S16,S17)。本実施形態のデジタルカメラ100はこれに限らず、例えば分割領域R2の内部において、DFD距離マップM1の距離データを採用する部分と、位相差距離マップM2’の距離データを採用する部分とを設けてもよい。
例えば、制御部135は、DFD距離マップM1の対応領域R1内で、データ点P1毎に測距精度の低下の有無を判定して、測距精度の低下が有ると判定されたデータ点P1の距離データを選択的に位相差距離マップM2’の距離データに置換してもよい。或いは、デジタルカメラ100は、位相差距離マップM2のデータ点P2の距離データを、DFD距離マップM1のデータ点P1の距離データで補間するように、2つの距離マップM1,M2を組み合わせる合成によって、合成距離マップM3を生成してもよい。
2-3.AF枠の表示処理
以上のような合成距離マップM3を用いてデジタルカメラ100が被写体の形状を認識していることをユーザに可視化する処理の一例を、図7~8を用いて説明する。以下では、AF枠の表示に合成距離マップM3を用いる処理例を説明する。
図7は、デジタルカメラ100におけるAF枠の表示処理を例示するフローチャートである。図8は、デジタルカメラ100におけるAF枠の表示例を示す図である。図7のフローチャートに示す処理は、例えばデジタルカメラ100において生成された合成距離マップM3がバッファメモリ125等に格納された状態で、所定のユーザ操作の入力に応じて開始される。
まず、制御部135は、デジタルカメラ100の操作部150を介して、ユーザ操作により指定された位置情報を取得する(S31)。当該ユーザ操作は、ライブビュー等の撮像画像Im上でユーザ所望の被写体の位置を指定する各種の操作であり、例えば、タッチパネルにおけるタッチ操作等である。
次に、制御部135は、現在の撮像画像Imに応じた合成距離マップM3を参照して(S32)、例えば取得した位置情報が示す指定位置が、合成距離マップM3においてDFD領域R31(図6(E))内であるか否かを判断する(S33)。
ユーザ操作の指定位置が、合成距離マップM3のDFD領域R31内である場合(S33でYES)、制御部135は、合成距離マップM3における距離データに基づいて、指定位置を含む被写体の領域とその形状を抽出する(S34)。例えば、制御部135は、合成距離マップM3の距離データにエッジ解析等を行って、指定位置を含む被写体の輪郭形状に沿った領域を抽出する。合成距離マップM3のDFD領域R31によると、高解像度の距離データから、指定された被写体の形状が精度良く抽出できる。
次に、制御部135は、合成距離マップM3のDFD領域R1から抽出した情報に基づいて、例えば抽出した被写体領域の形状を有するAF枠F1を表示するように、表示モニタ130を制御する(S35)。ステップS35におけるAF枠F1の表示例を、図8(A)に示す。AF枠F1は、第1の検出情報の一例である。
図8(A)の例では、デジタルカメラ100の被写体として、合焦位置に近い人物50と遠い人物51とがいる際に、前者の人物50の位置を指定するユーザ操作が入力された場合の表示例を示す。本例において、デジタルカメラ100の制御部135は、このユーザ操作に応じて(S31)、合成距離マップM3から人物50の形状を抽出する(S34)。これにより、表示モニタ130に、人物50の形状に沿ったAF枠F1が表示される(S35)。
図7に戻り、ユーザ操作の指定位置が、合成距離マップM3のDFD領域R31内ではない場合(S33でNO)、当該指定位置は位相差領域R32にあることとなる。この場合、制御部135は、例えば、撮像画像Imに対して別途、行われる画像認識の結果を参照して(S36)、指定位置を含む矩形領域等を取得する。ステップS36の画像認識は、例えば人物の一部又は全体、或いは動物などの各種の被写体の位置を認識する種々の処理であってもよい。
次に、制御部135は、取得した画像認識結果の矩形領域等に基づき、例えば矩形のAF枠F2を表示するように、表示モニタ130を制御する(S37)。ステップS37におけるAF枠F2の表示例を、図8(B)に示す。AF枠F2は、第2の検出情報の一例である。
図8(B)では、図8(A)と同様の被写体の人物50,51において、合焦位置から遠い人物51の位置がユーザ操作により指定された場合を例示する。この際、AF枠F2の線種などの表示態様は、被写体の形状に沿ったAF枠F1と異ならせてもよい。又、ステップS36,S37において、制御部135は、合成距離マップM3の距離データに基づいて、被写体の位置及び大きさ等を認識することにより、矩形のAF枠F2を配置してもよい。
制御部135は、AF枠F1,F2を表示させる(S35,S37)と、本フローチャートに示す処理を終了する。この際、AF枠F1,F2の表示は随時、更新されてもよい。例えば、制御部135は、所定の周期で本フローに示す処理を繰り返してもよい。この場合、ユーザ操作の指定位置(S31)は、最初の処理実行時に入力された位置を使い回してもよいし、最初の位置から被写体を追尾した結果の位置に更新されてもよい。こうした被写体の追尾は、逐次得られる合成距離マップM3を用いて行われてもよいし、適宜、画像認識で行われてもよい。
以上のAF枠の表示処理によると、デジタルカメラ100において、合成距離マップM3のDFD領域R31により高精度に測距できている被写体に対しては、被写体の形状に沿ったAF枠F1が表示されきる(図8(A)参照)。これにより、ユーザに対して、デジタルカメラ100が高精度に被写体の形状を認識していることを可視化することができる。
また、ユーザ操作により指定された被写体が、DFD領域R31外の場合であっても(図8(B)参照)、デジタルカメラ100は、合成距離マップM3を用いて、こうした被写体へのピント合わせを高速に行える。すると、その後に得られるDFD距離マップM3では、指定された被写体が、DFD領域R1内になると考えられる。これにより、デジタルカメラ100は、ユーザ操作を入力した当初は図8(B)に示すように指定された人物51に矩形のAF枠F2を表示してから、新たな合成距離マップM3により人物51の形状を抽出でき次第、AF枠F2として表示する形状を更新してもよい。
以上のステップS33~S35では、指定位置が合成距離マップM3においてDFD領域R31内である場合(S33でYES)、被写体の形状に沿ったAF枠F1が表示される例を説明した。制御部135は、合成距離マップM3から被写体の形状を抽出する(S34)際に、その輪郭形状がDFD領域R31に収まるか否かを判定してもよい。
上記のように抽出された被写体の形状が、DFD領域R31に収まらなかった場合、一部に位相差領域R32の解像度を含み、形状の認識精度が低減し得る。こうした場合、制御部135は、抽出した形状に沿ったAF枠F1の代わりに、矩形のAF枠F2を表示させてもよい。
或いは、制御部135は、上記のように位相差領域R32を含みながら抽出された形状に沿ったAF枠F1を、そうでない場合とは線種等を変更した上で表示させてもよい。このように、デジタルカメラ100による形状の認識精度の程度がユーザに可視化されてもよい。又、AF枠F1の形状は、合成距離マップM3から抽出した形状と完全に一致しなくてもよく、適宜補間または平滑化等が行われてもよい。
3.まとめ
以上のように、本実施形態における撮像装置の一例のデジタルカメラ100は、撮像部の一例のイメージセンサ115と、第1の測距部の一例のDFD演算部121と、第2の測距部の一例の位相差演算部122と、制御部135とを備える。イメージセンサ115は、被写体像を撮像して画像データを生成する。DFD演算部121は、画像データが示す画像における被写体と自装置との間の距離を、第1の空間解像度において示す第1の距離情報の一例であるDFD距離マップM1を取得する(S1)。位相差演算部122は、第1の空間解像度とは異なる第2の空間解像度において、画像における距離を示す第2の距離情報の一例である位相差距離マップM2を取得する(S2)。制御部135は、DFD距離マップM1及び位相差距離マップM2に基づいて、画像における領域別に第1又は第2の空間解像度において距離を示す第3の距離情報の一例である合成距離マップM3を取得する(S3)。
以上のデジタルカメラ100によると、空間解像度が異なるDFD距離マップM1と位相差距離マップM2とに基づいた合成距離マップM3により、被写体までの距離を精度良く得ることができる。合成距離マップM3によると、DFD距離マップM1の空間解像度と、位相差距離マップM2の空間解像度とを画像上の領域別に含み、精度良い測距結果を得ることが可能である。
本実施形態において、合成距離マップM3は、画像における領域毎に、DFD距離マップM1及び位相差距離マップM2のうちのより高い測距精度の距離情報を含む。これにより、合成距離マップM3において高精度の測距精度が得られる。
本実施形態において、DFD距離マップM1の測距精度は、特定の距離範囲内において位相差距離マップM2よりも高い。位相差距離マップM2の測距精度は、当該距離範囲外においてDFD距離マップM1よりも高い。合成距離マップM3は、当該距離範囲内におけるDFD距離マップM1の距離データと、当該距離範囲外における位相差距離マップM2の距離データとを含む。これにより、上記の距離範囲の内外でDFD距離マップM1と位相差距離マップM2とがそれぞれより高い測距精度を有する距離データを合成距離マップM3に含めて、合成距離マップM3の測距精度を向上できる。
本実施形態において、上記特定の距離範囲は、イメージセンサ115において合焦した合焦位置を含む範囲である。DFD演算部121は、イメージセンサ115によって生成された画像データに基づいて、DFD距離マップM1を生成する。デジタルカメラ100における合焦位置の近辺の距離範囲ではDFD距離マップM1の距離データを用いて、合成距離マップM3の測距精度を向上できる。
本実施形態において、DFD距離マップM1の空間解像度(第1の空間解像度)は、画像に対応する2次元方向(X,Y)において、位相差距離マップM2の空間解像度(第2の空間解像度)よりも高解像度である。これにより、DFD距離マップM1の距離データを用いた領域では、合成距離マップM3において高い解像度が得られる。一方、位相差距離マップM2の空間解像度は、距離のZ方向において、DFD距離マップM1よりも安定した測距の分解能を含んでもよい。
本実施形態において、DFD演算部121は、DFD(Depth from defocus)方式による測距を行って、DFD距離マップM1を生成する。位相差演算部122は、像面位相差方式による測距を行って、位相差距離マップM2を生成する。こうした異なる測距法に基づく距離マップM1,M2を合成して、精度良い合成距離マップM3を得ることができる。
本実施形態において、制御部135は、合成距離マップM3に基づいて、被写体に合焦する合焦動作を制御する(S4)。合成距離マップM3によると、高精度の測距結果により、合焦動作の制御を行い易くできる。
本実施形態において、デジタルカメラ100は、画像データが示す画像を表示する表示部の一例である表示モニタ130をさらに備える。制御部135は、合成距離マップM3に基づいて、画像において被写体に沿った形状を有する第1の検出情報の一例であるAF枠F1を表示モニタ130に表示させる(S35)。合成距離マップM3による高精度の測距結果を、被写体に沿ったAF枠F1等により、ユーザに可視化して、デジタルカメラ100を利用し易くすることができる。
本実施形態において、制御部135は、合成距離マップM3において被写体が第1の空間解像度の領域の一例のDFD領域R1に位置する場合に(S33でYES)、第1の検出情報のAF枠F1を表示させる(S35)。制御部135は、合成距離マップM3において被写体がDFD領域R1に位置しない場合に(S33でNO)、第1の検出情報とは異なる形状を有する第2の検出情報の一例のAF枠F2を表示させる(S37)。これにより、デジタルカメラ100が被写体の形状を精度良く認識できる場合に選択的に第1の検出情報を可視化でき、ユーザにとってデジタルカメラ100を利用し易くできる。
本実施形態において、デジタルカメラ100は、被写体像を撮像して画像データを生成するイメージセンサ115と、画像データが示す画像を表示する表示モニタ130と、画像データが示す画像における被写体と自装置との間の距離を示す距離情報に基づいて、表示モニタ130を制御する制御部135とを備える。制御部135は、被写体が、特定の距離範囲内に位置する場合に(S33でYES)、画像において被写体に沿った形状を有する第1の検出情報を表示モニタ130に表示させてもよい(S35)。これにより、デジタルカメラ100において、被写体までの距離を精度良く得ることで被写体の形状が認識できた際に、こうした認識結果をユーザに可視化して、デジタルカメラ100を利用し易くすることができる。
本実施形態において、制御部135は、被写体が、距離範囲内に位置しない場合に(S33でNO)、第1の検出情報とは異なる形状を有する第2の検出情報を表示モニタ130に表示させてもよい(S37)。これにより、デジタルカメラ100において、被写体までの距離を精度良く得られない、或いは被写体の形状が認識できなかった際にも、表示モニタ130の表示により、ユーザにとってデジタルカメラ100を利用し易くできる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
上記の実施形態1では、第1及び第2の測距部の一例として、DFD演算部121及び位相差演算部122を例示した。本実施形態において、第1及び第2の測距部は、これに限定されず、種々の測距法を用いる各種の構成を適用可能である。例えば、各測距部には、TOF(Time of flight)法、レンジファインダ、2眼ステレオ測距法、色別測距法、或いは機械学習等の人工知能による距離推定などが適用されてもよい。
上記の各実施形態において、合成距離マップM3をデジタルカメラ100の制御に用いる例を説明した。合成距離マップM3の用途はこれに限らず、例えば合成距離マップM3の生成時に撮影された各種の撮影画像の画像処理に利用されてもよい。この際、合成距離マップM3は撮影画像の画像データと共にデジタルカメラ100から外部に出力されてもよく、例えば動画を含む画像データの編集等の後処理に用いられてもよい。また、合成距離マップM3は、シーン認識あるいは各種の判別処理に用いられてもよい。
また、上記の各実施形態では、第1~第3の距離情報の一例として各種距離マップM1~M3を例示した。本実施形態において、第1~第3の距離情報は距離マップに限らず、例えば3次元点群又は距離画像など、被写体までの距離の測定結果を示す各種の情報であってもよい。また、各種距離情報は、被写体までの距離に対応する各種の量で表されてもよく、例えばデフォーカス量で表されてもよい。
また、上記の各実施形態では、2つの距離マップM1,M2を合成した合成距離マップM3を用いて被写体の形状を示すAF枠F1を第1の検出情報として例示した。本実施形態において、デジタルカメラ100は、必ずしも合成距離マップM3に限らず、被写体の形状を抽出可能な程度に精度良い測距結果を示す各種の距離情報に基づいて、第1の検出情報を生成して、表示部に表示させてもよい。
また、上記の各実施形態では、AF枠の表示処理(図7)において、ユーザ操作による指定位置の入力に応じてAF枠が表示される例を説明した。本実施形態において、デジタルカメラ100は、ユーザ操作の入力に限らずAF枠を表示してもよく、この場合にも上記と同様に合成距離マップM3を参照してAF枠の形状を設定できる。また、デジタルカメラ100は、AF対象の被写体に対するAF枠に限らず、AF対象の候補枠などの、複数の被写体に対する表示枠を表示する際にも、上記と同様に合成距離マップM3を利用してもよい。例えば、デジタルカメラ100は、撮像画像Imの画像認識によって被写体が検知された位置が、DFD領域R31か否かを判断して、表示枠の形状を設定してもよい。こうした表示枠も、その形状に応じて第1又は第2の検出情報の一例である。
また、上記の各実施形態では、光学系110及びレンズ駆動部112を備えるデジタルカメラ100を例示した。本実施形態の撮像装置は、光学系110及びレンズ駆動部112を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器(例えば、ビデオカメラ、スマートフォン、タブレット端末等)であればよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、測距機能を有する各種の撮像装置に適用可能である。
100 デジタルカメラ
115 イメージセンサ
121 DFD演算部
122 位相差演算部
130 表示モニタ
135 制御部
150 操作部

Claims (10)

  1. 被写体像を撮像して画像データを生成する撮像部と、
    前記画像データが示す画像における被写体と自装置との間の距離を、第1の空間解像度において示す第1の距離情報を取得する第1の測距部と、
    前記第1の空間解像度とは異なる第2の空間解像度において、前記画像における前記距離を示す第2の距離情報を取得する第2の測距部と、
    前記第1の距離情報及び前記第2の距離情報に基づいて、前記画像における領域別に前記第1又は第2の空間解像度において前記距離を示す第3の距離情報を取得する制御部と
    を備える撮像装置。
  2. 前記第3の距離情報は、前記画像における領域毎に、前記第1及び第2の距離情報のうちのより高い測距精度の距離情報を含む
    請求項1に記載の撮像装置。
  3. 前記第1の距離情報の測距精度は、特定の距離範囲内において前記第2の距離情報よりも高く、
    前記第2の距離情報の測距精度は、前記距離範囲外において前記第1の距離情報よりも高く、
    前記第3の距離情報は、前記距離範囲内における前記第1の距離情報と、前記距離範囲外における前記第2の距離情報とを含む
    請求項1に記載の撮像装置。
  4. 前記特定の距離範囲は、前記撮像部において合焦した合焦位置を含む範囲である
    請求項3に記載の撮像装置。
  5. 前記第1の空間解像度は、前記画像に対応する2次元方向において、前記第2の空間解像度よりも高解像度である
    請求項1に記載の撮像装置。
  6. 前記制御部は、前記第3の距離情報に基づいて、前記被写体に合焦する合焦動作を制御する
    請求項1に記載の撮像装置。
  7. 前記画像データが示す画像を表示する表示部をさらに備え、
    前記制御部は、前記第3の距離情報に基づいて、前記画像において前記被写体に沿った形状を有する第1の検出情報を前記表示部に表示させる
    請求項1に記載の撮像装置。
  8. 前記制御部は、
    前記第3の距離情報において前記被写体が前記第1の空間解像度の領域に位置する場合に、前記第1の検出情報を表示させ、
    前記第3の距離情報において前記被写体が前記第1の空間解像度の領域に位置しない場合に、前記第1の検出情報とは異なる形状を有する第2の検出情報を表示させる
    請求項7に記載の撮像装置。
  9. 被写体像を撮像して画像データを生成する撮像部と、
    前記画像データが示す画像を表示する表示部と、
    前記画像データが示す画像における被写体と自装置との間の距離を示す距離情報に基づいて、前記表示部を制御する制御部とを備え、
    前記制御部は、前記被写体が、特定の距離範囲内に位置する場合に、前記画像において前記被写体に沿った形状を有する第1の検出情報を前記表示部に表示させる
    撮像装置。
  10. 前記制御部は、前記被写体が、前記距離範囲内に位置しない場合に、前記第1の検出情報とは異なる形状を有する第2の検出情報を前記表示部に表示させる
    請求項9に記載の撮像装置。
JP2021115043A 2021-07-12 2021-07-12 撮像装置 Active JP7113327B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021115043A JP7113327B1 (ja) 2021-07-12 2021-07-12 撮像装置
JP2022029824A JP7170216B1 (ja) 2021-07-12 2022-02-28 撮像装置
US17/859,225 US11880991B2 (en) 2021-07-12 2022-07-07 Imaging apparatus including depth information at first or second spatial resolution at different regions in the image
US17/859,238 US20230017607A1 (en) 2021-07-12 2022-07-07 Imaging apparatus
JP2022151005A JP7369941B2 (ja) 2021-07-12 2022-09-22 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021115043A JP7113327B1 (ja) 2021-07-12 2021-07-12 撮像装置

Publications (2)

Publication Number Publication Date
JP7113327B1 JP7113327B1 (ja) 2022-08-05
JP2023011279A true JP2023011279A (ja) 2023-01-24

Family

ID=82740475

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021115043A Active JP7113327B1 (ja) 2021-07-12 2021-07-12 撮像装置
JP2022029824A Active JP7170216B1 (ja) 2021-07-12 2022-02-28 撮像装置
JP2022151005A Active JP7369941B2 (ja) 2021-07-12 2022-09-22 撮像装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022029824A Active JP7170216B1 (ja) 2021-07-12 2022-02-28 撮像装置
JP2022151005A Active JP7369941B2 (ja) 2021-07-12 2022-09-22 撮像装置

Country Status (2)

Country Link
US (2) US11880991B2 (ja)
JP (3) JP7113327B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063142A (ja) * 2012-08-31 2014-04-10 Canon Inc 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP2017138199A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5766620B2 (ja) 2012-01-10 2015-08-19 日本電信電話株式会社 物体領域検出装置、方法、及びプログラム
JP6137316B2 (ja) 2014-02-26 2017-05-31 パナソニックIpマネジメント株式会社 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP6604760B2 (ja) 2015-07-10 2019-11-13 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US20170054897A1 (en) 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
JP6462183B2 (ja) 2016-03-30 2019-01-30 富士フイルム株式会社 撮像装置及びフォーカス制御方法
JP6800628B2 (ja) 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
JP6679430B2 (ja) 2016-06-27 2020-04-15 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP2018007082A (ja) 2016-07-04 2018-01-11 キヤノン株式会社 画像再生装置およびその制御方法およびプログラム
JP2019198008A (ja) 2018-05-10 2019-11-14 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
WO2020183710A1 (ja) * 2019-03-14 2020-09-17 オムロン株式会社 画像処理装置及び3次元計測システム
WO2020235067A1 (ja) * 2019-05-22 2020-11-26 オムロン株式会社 3次元計測システム及び3次元計測方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063142A (ja) * 2012-08-31 2014-04-10 Canon Inc 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP2017138199A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法

Also Published As

Publication number Publication date
JP7170216B1 (ja) 2022-11-14
JP2023011552A (ja) 2023-01-24
US20230012208A1 (en) 2023-01-12
JP7369941B2 (ja) 2023-10-27
US20230017607A1 (en) 2023-01-19
JP2023011489A (ja) 2023-01-24
US11880991B2 (en) 2024-01-23
JP7113327B1 (ja) 2022-08-05

Similar Documents

Publication Publication Date Title
JP6245885B2 (ja) 撮像装置およびその制御方法
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP4894939B2 (ja) 撮像装置、表示方法、および、プログラム
KR20070118036A (ko) 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US9383626B2 (en) Imaging apparatus, focus control method, and program
JP2017138199A (ja) 画像処理装置、撮像装置、および画像処理方法
JP7113327B1 (ja) 撮像装置
CN110995982A (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP6005246B2 (ja) 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム
JP6641485B2 (ja) 位置指定装置および位置指定方法
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
JP7200002B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP2020067534A (ja) 撮像装置
JP6827778B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023106118A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2016024490A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017175400A (ja) 画像処理装置、撮像装置、制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220524

R151 Written notification of patent or utility model registration

Ref document number: 7113327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151