JP2022129737A - 距離画像センサデバイス及び距離画像処理システム並びに距離データの伝送方法 - Google Patents

Abstract

【課題】 距離画像の品質とデータの伝送効率との両立を図る。【解決手段】 本発明は、所定の測距範囲に適合された動作条件を設定するための動作条件設定部と、対象エリアに対して、前記動作条件が示す周波数でパルス光を出射する発光部と、前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、前記距離データに対して、前記動作条件が示す前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、前記ガンマ補正された距離データをホストデバイスに送信する通信インターフェース部とを備える距離画像センサデバイスである。【選択図】 図１

Description

本発明は、距離画像センサデバイス及び距離画像処理システム並びに距離画像処理システムにおける距離画像センサデバイスとホストデバイスとの間の距離データの伝送方法に関する。

対象物（物体や被写体）までの距離をＴｏＦ（Time of Flight）に基づいて計測する距離画像センサデバイス（測距センサと称されることもある。）が知られている。ＴｏＦには、一般に、直接ＴｏＦと間接ＴｏＦとがある。直接ＴｏＦは、発光素子からパルス光を発射し、パルス光が照射された対象物からの反射光をアレイ状に配置されたＳＰＡＤ（Single Photon Avalanche Diode）と呼ばれる受光素子で受けてフォトンを検出し、これにより発生したキャリアを、アバランシェ増倍を用いて電気信号に変換し、これをＴＤＣ（Time to Digital Converter）に入力することで反射光の到来時刻を計測し、対象物までの距離を算出する技術である。一方、間接ＴｏＦは、発光素子からパルス光を発射し、パルス光が照射された対象物からの反射光を受光素子で受光することにより発生した電荷を検出し、その電荷の蓄積量が光の到来タイミングに依存して変化する半導体素子構造を利用して、光の飛行時間を計測し、対象物までの距離を算出する。

距離画像センサデバイスが算出した受光素子ごとの距離に係るデータは、所定のデータフォーマットに従って所定の通信線を介して外部のホストデバイスに伝送され、ホストデバイスは、受信した該距離データに基づいて２次元距離画像フレームを生成する。距離画像センサデバイスとホストデバイスとの通信に際して、データフォーマットにおけるペイロードのビット長を増やすことにより、高い測距精度及び／又は広いダイナミックレンジによる高品質の距離画像を担保することができるが、必要なデータ伝送帯域量が増加するため、ハードウェアコストが上昇することになる。

このような画像品質とデータ伝送効率との両立を図るためには、伝送データを効率的に圧縮ないしは量子化することが有効である。例えば下記特許文献１は、シーン参照画像データを出力デバイス用の画像データに変換する場合に、演算負荷が少なく、かつ、出力デバイスの色再現能力を活かしたダイナミックレンジ圧縮を実現する技術を開示している。具体的には、下記特許文献１は、ｓｃＲＧＢ画像データの色分布を解析して、トーンマッピング処理のためのレンジ圧縮条件を設定し、該レンジ圧縮条件を基づいてダイナミックレンジを圧縮し、ｓｃＲＧＢ画像データを拡張ＲＧＢ色空間で表現可能なレンジ範囲内へ変換し、拡張ＲＧＢのダイナミックレンジへ圧縮された色信号を、プリンタ出力信号であるＣＭＹＫ信号へ変換する技術を開示している。

特開2008-72551号公報

上述した特許文献１に開示された技術は、いわゆるＶｉｅｗｉｎｇ系のＲＧＢカラー画像データにおけるトーンマッピング処理によるダイナミックレンジの圧縮に関するものであり、画像全体にわたる視覚的な効果（見た目）を追求する画像処理においては機能するものと考えられる。

一方、距離画像センサデバイスによる撮像（測距）においては、対象物までの距離と距離画像全体の領域に対する該対象物が占める領域とは関連性が低いケースが多い。例えば、屋外の風景を背景にした人物の撮像では、撮像フレームの構図上、画像全体の多くを占める風景も人物とともに重視されるＶｉｅｗｉｎｇ系とは異なり、測距対象である人物のみが重視されるケースが多い。したがって、特許文献１に開示された技術を距離画像センサデバイスにそのまま適用しても画像品質とデータ伝送効率との両立を図ることはできなかった。更に、半導体製造技術の微細化により、距離画像センサデバイスから得られる距離データの量も増大しており、データ伝送帯域量の制約がシステム処理性能のボトルネックとなってしまう。

そこで、本開示は、距離画像処理システムにおいて、距離画像の品質とデータの伝送効率との両立を図ることができる技術を提供することを目的としている。

より具体的には、本開示は、距離画像センサデバイスとホストデバイスとの間のデータ伝送帯域量の制約の下、距離画像の品質が損なわれないように、距離画像センサデバイスからホストデバイスへ距離データを効率的に伝送することができる距離画像処理システムを提供することを目的としている。

上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。

ある観点に従う本技術は、所定の測距範囲に適合された動作条件に従って動作する距離画像センサデバイスである。前記距離画像センサデバイスは、所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、前記ガンマ補正された前記距離データをホストデバイスに送信する通信インターフェース部とを備える。

また、別のある観点に従う本技術は、距離画像デバイスと、前記距離画像デバイスに通信線を介して接続されたホストデバイスとを備える距離画像処理システムである。前記距離画像デバイスは、所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、
前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、前記ガンマ補正された前記距離データを、前記通信線を介して、ホストデバイスに送信する通信インターフェース部とを備える。また、前記ホストデバイスは、前記通信線を介して受信した前記距離データに対して、前記動作条件における前記ガンマ曲線プロファイルに対応する逆ガンマ曲線プロファイルを適用して、逆ガンマ補正を行うガンマ補正部を備える。

更に、別の観点に従う本技術は、距離画像処理システムにおける距離画像デバイスとホストデバイスとの間の距離データの伝送方法である。前記伝送方法は、前記距離画像デバイスが、所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定することと、対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射することと、前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号を複数の受光画素のそれぞれから出力することと、前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力することと、出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うことと、前記ガンマ補正された前記距離データを、通信線を介して、前記ホストデバイスに送信することと、を実行することを含む。

なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されても良い。また、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことをいい、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本技術の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。本開示に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があっても良い。

図１は、本技術の第１の実施形態に係る距離画像処理システムの概略的構成の一例を示すブロックダイアグラムである。 図２は、本技術の一実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図３は、本技術の一実施形態に係る距離画像処理システムにおけるガンマ曲線プロファイルの一例を示す図である。 図４は、本発明の一実施形態に係る距離画像処理システムにおける動作を説明するフローチャートである。 図５は、本技術の第２の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図６は、本技術の第３の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図７は、本技術の第４の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図８は、本技術の第５の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図９は、本技術の一の実施形態に係る距離画像処理システムにおけるヒストグラムの一例を説明するための図である。 図１０は、本技術の一の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。 図１１は、本技術の一の実施形態に係る距離画像処理システムにおける距離分類マップの一例を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

［第１の実施形態］
本実施形態は、距離画像センサデバイスとホストデバイスとを備える距離画像処理システムにおいて、該距離画像センサデバイスが生成した距離データに対して所定の測距範囲に適合されたガンマ曲線を用いてガンマ補正し、該補正された距離データをホストデバイスに送信することを特徴とする。また、ホストデバイスは、該補正された距離データに対して逆ガンマ曲線を用いて逆ガンマ補正を行う。

図１は、本技術の第１の一実施形態に係る距離画像処理システムの概略的構成の一例を示すブロックダイアグラムである。同図に示すように、本技術に係る距離画像処理システム１は、距離画像センサデバイス１０と、ホストデバイス２０とを含み構成される。距離画像センサデバイス１０とホストデバイス２０とは、通信線３０介して、例えばＭＩＰＩ（Mobile Industry Processor Interface）規格に従って通信可能に接続される。

距離画像センサデバイス１０は、ホストデバイス２０の制御の下、対象物ＯＢＪまでの距離を測定するためのアクティブ型の測距センサである。すなわち、距離画像センサデバイス１０は、光源から、所定の測距範囲に適合されたパルス光を出射し、該パルス光が照射された対象物ＯＢＪからの反射光をアレイ状に配置された受光画素（受光素子）で受光することにより生成される電気信号に基づいて、対象物ＯＢＪまでの距離を算出する。したがって、アレイ状に配置された受光画素の全体についての距離が算出されることにより、２次元距離画像フレームが得られることになる。本開示では、距離画像センサデバイス１０は、いわゆる間接ＴＯＦ型測距センサであるものとするが、これに限られず、直接ＴＯＦ型測距センサであっても良い。距離画像センサデバイス１０は、受光画素ごとに算出された距離に基づくデータ（以下「距離データ」という。）を、通信線３０を介して、ホストデバイス２０に送信する。ここで、距離データは、入力としてのパルス光の到達距離に対する出力としての算出される距離において線形性を有するＲＡＷデータである。

ホストデバイス２０は、距離画像センサデバイス１０の上位デバイスに位置付けられ、距離画像センサデバイス１０の動作を制御し、距離画像センサデバイス１０から送信される距離データに基づいて画像処理を行うコンピューティングデバイスである。ホストデバイス２０は、例えば撮像カメラ本体又はそこに内蔵された制御回路であり得るが、これに限られない。他の例として、ホストデバイス２０は、スマートフォンのようなコンピューティングデバイス上でアプリケーションプログラムの実行によって所望の機能が実現されるいわゆる「アプリケーション」であり得る。この場合、距離画像センサデバイス１０は、内蔵型の測距カメラとしてスマートフォンに組み込まれ得る。

本例において、ホストデバイス２０は、距離画像センサデバイス１０に対して所定の動作条件を設定し、これにより、距離画像センサデバイス１０は、設定された動作条件に従って動作する。動作条件は、例えば、パルス光の周波数を含む。パルス光の周波数は、距離画像センサデバイス１０の測距範囲（すなわち、光源から対象物までの有効測定距離）を規定する。一般的に、例えば周波数が１００ＭＨｚのパルス光が用いられる場合、測距範囲は約１．５ｍとなり、また、２０ＭＨｚのパルス光が用いられる場合、測距範囲は約７．５ｍとなる。距離データのビット長が同じである場合、測距範囲が近ければ、画像深度（画質）は精細になり、遠ければ粗くなる。例えば、ホストデバイス２０は、所望の測距範囲に応じて、パルス光の周波数を選択し得る。また、本開示では、動作条件は、所定の測距範囲に適合された所定のガンマ曲線を示すプロファイル（以下「ガンマ曲線プロファイル」という。）を含む。ガンマ曲線プロファイルは、ルックアップテーブル形式のデータ構造を有する。或いは、ガンマ曲線プロファイルは、近似曲線関数によって定義される。例えば、ホストデバイス２０は、予め定義された数種類のガンマ曲線プロファイルの中から、選択した周波数（測距範囲）に適合したガンマ曲線プロファイルを選択する。具体例として、顔認証を行うアプリケーションとしてのホストデバイス２０は、近距離用の周波数（すなわち、高い周波数）とこれに対応したガンマ曲線プロファイルを選択する。或いは、広い対象エリアを撮像するアプリケーションとしてのホストデバイス２０は、遠距離用の周波数（すなわち、低い周波数）とこれに対応したガンマ曲線プロファイルを選択する。

以下で明らかにされるように、距離画像処理システム１において、距離画像センサデバイス１０は、線形性を有する距離データに対して、ガンマ補正部１５２により、所定の測距範囲に適合されたガンマ曲線を用いてガンマ補正を行い、該ガンマ補正された距離データを、通信線３０を介して、ホストデバイス２０に送信する。ホストデバイス２０は、受信した該ガンマ補正された距離データに対して、逆ガンマ補正部２４０により、逆ガンマ曲線を用いて逆ガンマ補正を行うことにより、元の距離データの線形性を復元し、所望の画像処理を行う。このように、通信線３０上を伝送される距離データはガンマ曲線の適用により効率的に量子化され、これにより、画像品質を著しく損なうことなく、データ伝送効率を向上させることができる。

図２は、本技術の一実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。すなわち、同図は、図１に示した距離画像センサデバイス１０及びホストデバイス２０の機能的構成の一例を示している。

同図に示すように、距離画像センサデバイス１０は、概略的には、例えば、制御部１１０と、発光部１２０と、受光部１３０と、記憶部１４０と、信号処理部１５０と、通信インターフェース部１６０といったコンポーネントを含み構成される。これらのコンポーネントは、例えば、ＣＭＯＳ ＬＳＩのようなシステム・オン・チップ（ＳｏＣ）として一体的に構成され得るが、これに限られず、例えば、発光部１２０や受光部１３０といったいくつかのコンポーネントは別体のＬＳＩとして構成されても良い。

制御部１１０は、距離画像センサデバイス１０の動作を統括的に制御する。本例では、制御部１１０は、動作条件設定部１１１と、レジスタ部１１２と、制御信号生成部１１３と、ドライバ部１１４とを含み構成されている。

動作条件設定部１１１は、通信線３０を介してホストデバイス２０から与えられる動作条件をレジスタ部１１２に格納する。これにより、距離画像センサデバイス１０は、レジスタ部１１２に格納された動作条件に従って動作可能になる。上述したように、動作条件は、パルス光の周波数とガンマ曲線プロファイルとを含む。なお、測距範囲とパルス光の周波数とは一意に対応付けられるから、動作条件は、測距範囲とガンマ曲線プロファイルとの組み合わせであっても良い。レジスタ部１１２に格納されたパルス光の周波数は、制御信号生成部１１３により参照され、また、ガンマ曲線プロファイルは、ガンマ補正部１５２により参照される。

レジスタ部１１２は、各種の動作条件を格納可能な少なくとも１つのレジスタを含み構成される。他の実施形態で説明されるように、レジスタ部１１２は、異なる動作条件をそれぞれ格納する複数のレジスタを含み構成されても良い。或いは、レジスタ部１１２は、ホストデバイス２０から与えられる動作条件を格納するのではなく、動作条件を予め格納していても良いし、距離画像センサデバイス１０において生成された動作条件を格納しても良い。また、レジスタ部１１２は、制御信号生成部１１３及び／又はガンマ補正部１５２の一部として構成されても良い。

制御信号生成部１１３は、レジスタ部１１２に格納された動作条件に従って、各種の制御信号を生成する。例えば、制御信号生成部１１３は、動作条件が示す所定の周波数のパルス光を発光部１２０が所定の発光タイミングで出射し走査するための発光制御信号を生成し、これをドライバ部１１４に出力するとともに、該発光タイミングに対応した読出しタイミングで受光部１３０の特定の受光画素群から電気信号を読み出すための受光制御信号を生成し、これを受光部１３０に出力する。

ドライバ部１１４は、制御信号生成部１１３か出力される発光制御信号に基づいて、所定の周波数でパルス光が出射されるように発光部１２０を駆動するとともに、出射したパルス光を所定の方向に走査するために発光光学系（図示せず）を駆動する。例えば、ドライバ部１１４は、発光制御信号に従い、多相（例えば４相）のパルス光を複数回（例えば数千回）繰り返し出射するように発光部１２０を駆動する。

発光部１２０は、対象エリアに対して、ＴＯＦ測距のための所定の周波数のパルス光を出射しながら走査する発光素子である。発光部１２０は、例えば、光源と照射光学系とを含み構成され得る（図示せず）。光源は、例えば、垂直共振器面発光レーザ（ＶＣＳＥＬレーザ）であり得る。発光部１２０は、例えば１０～２００ＭＨｚの周波数で高速駆動される。また、パルス光は例えば数～数十ｎｓのパルス幅を有し得る。発光光学系は、例えば、ＭＥＭＳ走査ミラー及びシリンドリカルレンズ等を含み構成される。発光部１２０は、例えば、ドライバ部１１４の制御の下、光源から出射される一の方向（例えば水平方向）に沿ったライン状の光を、走査ミラー等を用いて、該一の方向に直交する他の方向（例えば垂直方向）に段階的に走査することにより、対象エリアに対してパルス光を空間的に出射する。本例では、ライン状の光を出射する光源が用いられるが、これに限られず、点光源を用いても良く、この場合は、２次元走査により面発光が実現される。このようなパルス光の出射及び走査は、測距誤差のばらつきを抑えるため、１回の測距（１つの距離画像フレームの取得）に複数回行われる。

受光部１３０は、対象エリアから入射する光（観測光）に反応して、制御部１１０の制御の下、電荷を蓄積し、これに応じた電気信号を出力する光センサである。図示されていないが、典型的には、受光部１３０の受光面の前方には、光を効率よく受光することができるように、集光レンズ等の受光光学系が設けられる。受光部１３０は、典型的には、２次元アレイ状に配置された複数の受光画素を含み構成されたＣＭＯＳイメージセンサであるが、これに限られず、ＣＣＤイメージセンサであっても良い。受光部１３０の各ゾーンにおける受光画素群は、制御部１１０の制御の下、例えば所定の発光タイミングに同期した所定の受光タイミングで動作し、入射した観測光に応じた電荷を蓄積する。より具体的には、各受光画素は、一対のゲートを有し、該一対のゲートのそれぞれに交互にパルス状のゲート信号が与えられることによって交互にゲートを開き、発生した第１の電荷及び第２の電荷のそれぞれを電荷蓄積部に転送する。各受光画素の電荷蓄積部に蓄積された第１の電荷及び第２の電荷は、電圧の変化量に変換され、電気信号として外部に読み出される。受光部１３０は、各ゾーンについて、例えば４相のパルス光の出射にそれぞれ対応して４回の電荷蓄積及び出力（読出し）を行う。

記憶部１４０は、受光部１３０から読み出された電気信号を一時的に保持するバッファメモリである。記憶部１４０は、揮発性メモリであっても良いし、不揮発性メモリであっても良い。本例では、記憶部１４０は、受光部１３０から読み出される１フレーム分の電気信号を保持するように構成されるが、これに限られない。他の例として、記憶部１４０は、発光部１２０による数ライン分のパルス光の出射に対応する観測光に基づく電気信号を保持し得る。

信号処理部１５０は、記憶部１４０に保持された電気信号を処理して、対象物ＯＢＪまでの距離を算出する。信号処理部１５０は、典型的には、信号処理プロセッサからなる。同図では、信号処理部１５０は、測距処理部１５１とガンマ補正部１５２とを含み構成される例が示されている。

測距処理部１５１は、記憶部１４０から順次に読み出される電気信号に基づいて、対象物ＯＢＪまでの距離を算出する。具体的には、測距処理部１５１は、発光部１２０による発光パルスの出射ごとに、記憶部１４０から読み出される電気信号から受光画素ごとの距離を算出し、これをサンプリング距離（ビン）ごとに累積したヒストグラムを作成する（図９参照）。ヒストグラムは、受光画素の数に対応する数だけ作成される。続いて、測距処理部１５１は、作成された各ヒストグラムにおいて、そのピーク値を検出し、検出されたピーク値に基づいて、距離データを生成する。距離データは、例えば２５６ビットの距離（深度）情報を有し、入力としてのパルス光の到達距離に対する出力としての算出される距離において線形性を有するＲＡＷデータである。そして、測距処理部１５１は、受光画素ごとに算出された一連の距離データをガンマ補正部１５２に出力する。

ガンマ補正部１５２は、測距処理部１５１から出力される距離データに対して、レジスタ部１１２に格納されたガンマ曲線プロファイルを適用することにより、ガンマ補正を行う。すなわち、測距処理部１５１により得られた線形性を有する距離データは、ガンマ補正により、ガンマ曲線プロファイルに沿って量子化されたデータ（ガンマ補正された距離データ）に変換される。ガンマ補正部１５２は、ガンマ補正された距離データを、通信インターフェース部１６０を介して、ホストデバイス２０に出力する。

通信インターフェース部１６０は、ホストデバイス２０と通信を行うためのインターフェース回路である。通信インターフェース部１６０は、例えばＭＩＰＩ（Mobile Industry Processor Interface）に準拠したインターフェース回路であるが、これに限られない。例えば、通信インターフェース部１６０は、ＳＰＩ（Serial Peripheral Interface）やＬＶＤＳ、ＳＬＶＳ－ＥＣ等であっても良い。

ホストデバイス２０は、上述したように、距離画像センサデバイス１０の上位に位置付けられデバイスである。同図に示すように、ホストデバイス２０は、例えば、通信インターフェース部２１０と、動作条件記憶部２２０と、動作条件設定部２３０と、逆ガンマ補正部２４０と、画像処理部２５０とを含み構成される。

通信インターフェース部２１０は、距離画像センサデバイス１０の通信インターフェース部１６０との間で通信を行うためのインターフェース回路である。通信インターフェース部２１０は、上述した通信インターフェース部１６０と同様の構成を有し得る。

動作条件記憶部２２０は、距離画像センサデバイス１０に対する動作条件として、パルス光の周波数とこれに対応するガンマ曲線プロファイルとを記憶する。例えば、動作条件記憶部２２０は、予め定められた複数の測距範囲のそれぞれに応じた動作条件を記憶する（図３参照）。ガンマ曲線プロファイルは、例えば、ルックアップテーブル形式のデータ構造を有する。或いは、ガンマ曲線プロファイルは、ガンマ曲線プロファイルは、近似曲線関数によって定義されても良い。

図３は、本技術の一実施形態に係る距離画像処理システムにおけるガンマ曲線プロファイルの一例を示す図である。同図において、横軸は、パルス光の到達距離を示し、縦軸は、算出される距離を示す。

同図（ａ）は、近距離用（例えば約２ｍ以下）の測距範囲に対応したガンマ曲線プロファイルを示す。すなわち、同図（ａ）に示すガンマ曲線プロファイルは、パルス光の到達距離が近いエリアほど、曲線の傾きが大きいことから、算出される距離に割り当てられるビット数が多くなることを示している。

また、同図（ｂ）は、中距離用（例えば約２～５ｍ）の測距範囲に対応したガンマ曲線プロファイルを示す。すなわち、同図（ｂ）に示すガンマ曲線プロファイルは、パルス光の到達距離が近い及び遠いエリアほど、算出される距離に割り当てられるビット数が少なくなることを示している。

また、同図（ｃ）は、遠距離用（例えば約５ｍ以上）の測距範囲に対応したガンマ曲線プロファイルを示す。すなわち、同図（ｃ）に示すガンマ曲線プロファイルは、パルス光の到達距離が遠いエリアほど、算出される距離に割り当てられるビット数が多くなることを示している。

なお、ガンマ曲線プロファイルは、図３に例示されたものに限られない。例えば、ガンマ曲線プロファイルは、指定した測距範囲の条件に、画像フレームの特定領域（例えば中央優先や９分割領域のひとつなど）やオートフォーカス位置優先といった条件を加重することにより調整されたものであっても良いし、画面全体に対するヒストグラム又は距離分類マップに基づいて動的に生成されるものであっても良い。

図２に戻り、動作条件設定部２３０は、上述した距離画像センサデバイス１０の動作条件設定部１１１のメインないしはプライマリーコンポーネントである。すなわち、動作条件設定部２３０は、距離画像センサデバイス１０に所望の動作条件を設定するために、動作条件記憶部２２０から一の動作条件を選択し読み出して、これを距離画像センサデバイス１０に送信する。また、動作条件設定部２３０は、読み出した動作条件のガンマ曲線プロファイルに基づいて、逆ガンマ曲線プロファイルを生成し、これを逆ガンマ補正部２４０に設定する。逆ガンマ曲線プロファイルは、ガンマ曲線プロファイルの相補的に対応するプロファイルである。なお、上述した距離画像センサデバイス１０と同様に、動作条件設定部２３０は、逆ガンマ曲線プロファイルをレジスタに格納し、逆ガンマ補正部２４０は、これを参照するようにしても良い。

逆ガンマ補正部２４０は、距離画像センサデバイス１０から送信されるガンマ補正された距離データに対して、逆ガンマ曲線プロファイルを適用することにより、逆ガンマ補正を行う。逆ガンマ補正により、距離画像センサデバイス１０からのガンマ補正された距離データは、元の線形性を有する距離データに復元される。逆ガンマ補正部２４０は、復元された距離データを画像処理部２５０に引き渡す。

画像処理部２５０は、距離画像センサデバイス１０によって得られる距離データに基づいて、各種の画像処理を行う。例えば、画像処理部２５０は、距離画像データに基づいて、２次元距離画像フレームを生成する。２次元距離画像フレームは、ピクセルごとに例えば２５６ビットの距離（深度）情報を有する。また、画像処理部２５０は、生成された２次元距離画像フレームの深度情報が図示しないユーザインターフェース上で視覚的に区別し得る形態で表示されるように、表示画像データを生成し出力する。

以上のように構成される距離画像処理システム１においては、距離画像センサデバイス１０が、測距により得られた距離データに対して、所定の測距範囲に適合されたガンマ曲線プロファイルを適用してガンマ補正を行い、補正された距離データを、通信線３０を介して、ホストデバイス２０に送信する。そして、ホストデバイス２０は、受信した該ガンマ補正された距離データに対してガンマ曲線プロファイルを適用して逆ガンマ補正を行うことにより、元の線形性を有する距離データを復元する。

図４は、本発明の一実施形態に係る距離画像処理システムにおける動作を説明するフローチャートである。

同図に示すように、ホストデバイス２０は、まず、動作条件記憶部２２０から一の動作条件を選択し、これを設定する（Ｓ４０１Ａ）。例えば、ホストデバイス２０は、顔認証を行うアプリケーションとして、短距離用の測距範囲の動作条件を選択し、選択した動作条件のガンマ曲線プロファイルに基づいて逆ガンマ曲線プロファイルを生成し、生成した逆ガンマ曲線プロファイルを逆ガンマ補正部２４０に設定する。続いて、ホストデバイス２０は、選択した動作条件を、距離画像センサデバイス１０に送信する（Ｓ４０２Ａ）。

距離画像センサデバイス１０は、ホストデバイス２０から送信される動作条件を受信すると、受信した動作条件をレジスタ部１１２に格納する（Ｓ４０１Ｂ）。これにより、距離画像センサデバイス１０は、動作条件に従って動作可能になる。

ホストデバイス２０は、次に、撮像（測距）の開始を距離画像センサデバイス１０に指示する（Ｓ４０３Ａ）。これを受けて、距離画像センサデバイス１０は、動作条件に従って、撮像を開始する（Ｓ４０２Ｂ）。すなわち、距離画像センサデバイス１０は、設定された動作条件に従って、発光部１２０により所定の周波数のパルス光を対象エリアに向けて発光するとともに、受光部１３０の各受光画素により、対象エリアから入射する光の受光を開始する。

距離画像センサデバイス１０は、撮像の開始により、受光部１３０から得られる電気信号に基づいて距離データを生成する（Ｓ４０３Ｂ）。すなわち、距離画像センサデバイス１０は、受光部１３０の各受光画素によって得られる電荷に応じた電気信号に基づいて、受光画素ごとのヒストグラムを作成し、作成されたヒストグラム中のピーク値に基づいて受光画素ごとの距離データを生成する。

続いて、距離画像センサデバイス１０は、レジスタ部１１２に格納されたガンマ曲線プロファイルを読み出して、これを生成された距離データに対して適用し、距離データをガンマ補正する（Ｓ４０４Ｂ）。これにより、距離データはガンマ曲線プロファイルに従って量子化されるので、所望の測距範囲に対応する距離にはより多くのビットが割り当てられることになる。続いて、距離画像センサデバイス１０は、このようにガンマ補正された距離データをホストデバイス２０に送信する（Ｓ４０５Ｂ）。

撮像開始を指示したホストデバイス２０は、距離画像センサデバイス１０から送信されてくる距離データを受信する（Ｓ４０４Ａ）。続いて、ホストデバイス２０は、受信した距離データに対して逆ガンマ曲線プロファイルを適用して、受信した距離データを逆ガンマ補正する（Ｓ４０５Ａ）。これにより、距離画像センサデバイス１０においてガンマ補正され通信線３０を伝送された距離データは、元の線形性を有する距離データに復元される。続いて、ホストデバイス２０は、線形性が復元された距離データに対して所望の画像処理を行う（Ｓ４０６Ａ）。

そして、ホストデバイス２０は、距離画像センサデバイス１０から得られる距離データに基づいて、一連の画像処理を行った後、又は、外部からの撮像終了指示により、撮像の停止を距離画像センサデバイス１０に指示する（Ｓ４０７Ａ）。これを受けて、距離画像センサデバイス１０は、撮像を停止する（Ｓ４０６Ｂ）。

以上のように、本実施形態によれば、距離画像処理システム１において、距離画像センサデバイス１０は、測距により得られた距離データに対して、所定の測距範囲に適合されたガンマ曲線プロファイルを適用してガンマ補正を行い、補正された距離データを、通信線３０を介して、ホストデバイス２０に送信し、ホストデバイス２０は、受信した該ガンマ補正された距離データに対してガンマ曲線プロファイルを適用して逆ガンマ補正を行うことにより、元の線形性を有する距離データを復元するので、通信線３０上を伝送される距離データを効率的に量子化することができ、これにより、画像品質を著しく損なうことなく、データ伝送効率を向上させることができる。

［第２の実施形態］
本実施形態は、距離画像センサデバイス１０が、レジスタ部１１２に複数の動作条件を予め格納するように構成され、ホストデバイス２０によって指定した一の動作条件に対応するレジスタを参照することによって動作することを特徴とする。

図５は、本技術の第２の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離画像センサデバイス１０は、複数の動作条件のそれぞれを格納するレジスタ部１１２を備える点で、第１の実施形態のそれとは異なっている。図中、第１の実施形態と同じコンポーネントには、同一の符号が付され、その詳細な説明は適宜に省略する。ホストデバイス２０は、所望の測距範囲に応じて一の動作条件を選択すると、選択された動作条件を指定するための情報（例えば、その識別情報等）を距離画像センサデバイス１０に通知し、距離画像センサデバイス１０は、これを受けて、通知された動作条件に従ってレジスタ部１１２を参照する。

すなわち、図中、レジスタ部１１２は、複数のレジスタ１１２１（１）～１１２１（ｎ）を含み構成される（以下、これらを特に区別する必要がない限り、単に「レジスタ１１２１」と示す。）。複数のレジスタ１１２１のそれぞれは、異なる動作条件のいずれかを格納する。各レジスタ１１２１は、例えば、レジスタ番号等の識別子によって識別される。動作条件は、予め（例えば工場出荷時等）複数のレジスタ１１２１のそれぞれに格納されていても良いし、ホストデバイス２０から転送され、複数のレジスタ１１２１のそれぞれに格納されても良い。

動作条件設定部１１１は、ホストデバイス２０から一の動作条件を選択するための識別子が通知されると、該識別子により指定されるレジスタ番号のレジスタ１１２１を参照するように、制御信号生成部１１３及びガンマ補正部１５２に指示を出す。これにより、距離画像センサデバイス１０に動作条件が設定される。

制御信号生成部１１３は、指定されたレジスタ番号に対応するレジスタ１１２１を参照し、レジスタ１１２１に格納された動作条件に従って、上述したように、発光制御信号を生成してドライバ部１１４に出力するとともに、該発光タイミングに対応した受光制御信号を生成して受光部１３０に出力する。

ガンマ補正部１５２は、測距処理部１５１から出力される距離データに対して、指定されたレジスタ番号に対応するレジスタ１１２１を参照し、上述したように、レジスタ１１２１に格納されたガンマ曲線プロファイルを適用することにより、ガンマ補正を行う。ガンマ補正部１５２は、ガンマ補正された距離データを、通信インターフェース部１６０を介して、ホストデバイス２０に出力する。

ホストデバイス２０の動作条件設定部２３０は、選択した動作条件を示す識別番号を距離画像センサデバイス１０に通知する点で、第１の実施形態と異なる。動作条件設定部２３０は、上述したように、動作条件記憶部２２０から読み出した動作条件に従い、ガンマ曲線プロファイルに対する逆ガンマ曲線プロファイルを生成し、これを逆ガンマ補正部２４０に設定する。

以上のように、本実施形態においても、前記の実施形態と同様の利点又は効果を奏しうる。とりわけ、本実施形態によれば、ホストデバイス２０は、選択した動作条件の実体データを距離画像センサデバイス１０に送信する必要がないので、距離画像処理システム１は、より高速に動作し得る。

［第３の実施形態］
本実施形態は、ホストデバイス２０が、最適なガンマ曲線プロファイルを選択するための選択条件を動作条件として距離画像センサデバイス１０に送信し、距離画像センサデバイス１０は、受信した動作条件を満たす最適なパルス光の周波数及びガンマ曲線プロファイルを選択することを特徴とする。また、距離画像センサデバイス１０は、ホストデバイス２０に選択した該ガンマ曲線プロファイルを通知する。

図６は、本技術の第３の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離画像センサデバイス１０は、動作条件設定部１１１がホストデバイス２０から受信した選択条件（動作条件）に基づいて、レジスタ部１１２を参照し、受信した動作条件に最適な一のガンマ曲線プロファイルを選択し、選択したガンマ曲線プロファイルを通知する点で、前記の実施形態のそれとは異なっている。図中、前記の実施形態と同じコンポーネントには、同一の符号が付され、その詳細な説明は適宜に省略する。

すなわち、ホストデバイス２０の動作条件設定部２３０は、所望の測距範囲を選択条件とする動作条件を、通信線３０を介して、距離画像センサデバイス１０に送信する。これを受けて、距離画像センサデバイス１０の動作条件設定部１１１は、レジスタ部１１２を参照して、所望の測距範囲に適合されたパルス光の周波数及びガンマ曲線プロファイルを選択する。動作条件設定部１１１は、選択したガンマ曲線プロファイルに対応するレジスタ１１２１を参照するように、制御信号生成部１１３及びガンマ補正部１５２に指示を出す。これにより、距離画像センサデバイス１０に動作条件が設定される。また、動作条件設定部１１１は、選択したガンマ曲線プロファイルをホストデバイス２０に、通信線３０を介して通知する。例えば、ＭＩＰＩ規格に従った通信であれば、距離画像センサデバイス１０は、エッセンシャルビットデータ（ＥＢＤ）ラインを用いて、ガンマ曲線プロファイルをホストデバイス２０に送信する。この場合、選択されたガンマ曲線プロファイルの実体データそのものが送信されても良いし、或いは、選択されたガンマ曲線プロファイルを示す識別子が送信されても良い。

ホストデバイス２０は、距離画像センサデバイス１０から通知されたガンマ曲線プロファイルに基づいて、動作条件記憶部２２０を参照し、逆ガンマ曲線プロファイルを生成し、これを逆ガンマ補正部２４０に設定する。

なお、本実施形態では、選択条件として、測距しようとする測距範囲を例にして説明したが、これに限られない。例えば、選択条件として、指定した測距範囲の条件に代えて又はこれに加えて、画像フレームの特定領域（例えば中央優先や９分割領域のひとつなど）やオートフォーカス位置優先を指定するための条件を含んでも良い。すなわち、動作条件設定部１１１は、画面中央優先の選択条件に従い、２次元距離画像フレームの中央に位置する対象物ＯＢＪまでの距離を重視するように重み付けしたガンマ曲線プロファイルを選択しても良いし、また、動作条件設定部１１１は、オートフォーカス位置優先の選択条件に従い、オートフォーカスされた位置の対象物ＯＢＪまでの距離を重視するように重み付けしたガンマ曲線プロファイルを選択しても良い。また、他の実施形態で説明されるように、選択条件は、受光画素全体に対するヒストグラム又は距離分類マップとの連動を指定する条件を含んでも良い。

以上のように、本実施形態においても、前記の実施形態と同様の利点又は効果を奏しうる。とりわけ、本実施形態によれば、距離画像センサデバイス１０が、ホストデバイス２０から与えられた選択条件に従って最適なガンマ曲線プロファイルを選択するので、ホストデバイス２０は、距離画像センサデバイス１０が保持しているガンマ曲線プロファイルの種類を予め認識しておく必要がなく、したがって、ホストデバイス２０における設定を簡略化できるようになる。

［第４の実施形態］
本実施形態は、距離画像センサデバイス１０が、ホストデバイス２０によって指定されたパルス光の周波数（又は測距範囲）に従って、ガンマ曲線プロファイルを生成するように構成されたことを特徴とする。距離画像センサデバイス１０は、生成したガンマ曲線プロファイルをホストデバイス２０に送信し、ホストデバイス２０は、受信したガンマ曲線プロファイルに基づいて逆ガンマ曲線プロファイルを生成し設定する。

図７は、本技術の第４の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離画像センサデバイス１０は、動作条件設定部１１１がガンマ曲線生成部１１１１を含み、ホストデバイス２０から受信した動作条件に基づいて、最適なガンマ曲線プロファイルを生成し、これをレジスタ部１１２に書き込む点で、前記の実施形態のそれとは異なっている。図中、前記の実施形態と同じコンポーネントには、同一の符号が付され、その詳細な説明は適宜に省略する。

すなわち、ホストデバイス２０の動作条件設定部２３０は、所望の測距範囲を指定した動作条件（測距範囲を指定する情報）を、通信線３０を介して、距離画像センサデバイス１０に送信する。測距範囲を指定する情報は、測距範囲そのもの又はパルス光の周波数であり得る。これを受けて、距離画像センサデバイス１０の動作条件設定部１１１は、ガンマ曲線生成部１１１１１により、指定された測距範囲に応じたガンマ曲線プロファイルを生成し、これを測距範囲に適合したパルス光の周波数とともにレジスタ部１１２に格納する。これにより、距離画像センサデバイス１０に動作条件が設定される。また、動作条件設定部１１１は、選択したガンマ曲線プロファイルをホストデバイス２０に、通信線３０を介して通知する。動作条件設定部１１１は、選択したガンマ曲線プロファイルの実体データそのものを送信又は引き渡しても良い。

ホストデバイス２０は、距離画像センサデバイス１０から通知されたガンマ曲線プロファイルに基づいて、動作条件記憶部２２０を参照し、逆ガンマ曲線プロファイルを生成し、これを逆ガンマ補正部２４０に設定する。

以上のように、本実施形態においても、前記の実施形態と同様の利点又は効果を奏しうる。とりわけ、本実施形態によれば、距離画像センサデバイス１０が、ホストデバイス２０から与えられた動作条件に従って最適なガンマ曲線プロファイルを生成するので、ホストデバイス２０は、距離画像センサデバイス１０が保持しているガンマ曲線プロファイルの種類を予め認識しておく必要がなく、したがって、ホストデバイス２０における設定を簡略化できるようになる。

［第５の実施形態］
本実施形態は、距離画像センサデバイス１０が、撮像（測距）により得られた受光画素全体に対するヒストグラムに基づいて、ガンマ曲線プロファイルを最適化することを特徴とする。距離画像センサデバイス１０は、最適化されたガンマ曲線プロファイルをホストデバイス２０に送信し、ホストデバイス２０は、受信したガンマ曲線プロファイルに基づいて逆ガンマ曲線プロファイルを生成し設定する。

図８は、本技術の第５の実施形態に係る距離画像処理システムの構成の一例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離画像センサデバイス１０は、信号処理部１５０がガンマ曲線最適化部１５３を追加的に含む点で、前記の実施形態のそれとは異なっている。なお、同図では、ホストデバイス２０の機能的構成は、前記の実施形態と同じであるため、省略されている。また、図中、前記の実施形態と同じコンポーネントには、同一の符号が付され、その詳細な説明は適宜に省略する。

すなわち、ホストデバイス２０は、所望の動作条件を、通信線３０を介して、距離画像センサデバイス１０に送信する。ここでは、所望の動作条件は、パルス光の周波数及びガンマ曲線プロファイルを含むものとする。これを受けて、距離画像センサデバイス１０の動作条件設定部１１１は、受信した動作条件をレジスタ部１１２に格納する。これにより、距離画像センサデバイス１０は、設定された動作条件に従って動作する。

上述したように、撮像の開始により、受光部１３０は、受光画素により得られる電荷に応じた電気信号を記憶部１４０に一時的に記憶する。測距処理部１５１は、記憶部１４０から読み出される電気信号から受光画素ごとの距離を算出して、そのヒストグラムを作成する。続いて、測距処理部１５１は、作成された各ヒストグラムにおいて、そのピーク値を検出し、検出されたピーク値に基づいて、距離データを生成する。そして、測距処理部１５１は、受光画素ごとに算出された一連の距離データをガンマ補正部１５２に出力する。

より具体的には、測距処理部１５１は、同図に示すように、ヒストグラム作成部１５１１と距離データ生成部１５１２とを含み構成される。ヒストグラム作成部１５１１は、発光部１２０による発光パルスの出射ごとに、記憶部１４０から読み出される電気信号から受光画素ごとの距離を算出し、これをサンプリング距離（ビン）ごとに累積した図９に示すようなヒストグラムを作成する。続いて、距離データ生成部１５１２は、作成された各ヒストグラムにおいて、そのピーク値を検出し、検出されたピーク値に基づいて、該受光画素についての距離を決定し、その距離データを生成する。

また、本実施形態では、ガンマ曲線最適化部１５３は、ヒストグラム作成部１５１１により作成されたヒストグラムに基づいて、最も頻度の高い距離範囲を特定する。続いて、ガンマ曲線最適化部１５３は、特定した該距離範囲に対してより多くのビットが割り当てられるように、ガンマ曲線プロファイルを調整又は最適化する。図９に示すヒストグラムの例でいえば、ガンマ曲線最適化部１５３は、４ｍ以上７ｍ未満の距離範囲（図中、破線で囲まれた範囲）に対してより多くのビットが割り当てられるように、ガンマ曲線プロファイルを調整する。具体的には、ガンマ曲線最適化部１５３は、４ｍ以上７ｍ未満の距離範囲には、例えば０．１ｍｍ単位で１ビットが割り当てられ、それ以外の距離範囲には、例えば１ｍｍ単位で１ビットが割り当てられるようにガンマ曲線プロファイルを調整する。ガンマ曲線最適化部１５３は、最適化したガンマ曲線プロファイルを、ホストデバイス２０に送信するとともにガンマ補正部１５２に設定する。これにより、ホストデバイス２０の動作条件設定部２３０は、受信した最適化されたガンマ曲線プロファイルに基づいて、逆ガンマ曲線プロファイルを生成し、これを逆ガンマ補正部２４０に設定する。

ガンマ補正部１５２は、測距処理部１５１から出力される距離データに対して、ガンマ曲線最適化部１５３により最適化されたガンマ曲線プロファイルを適用することにより、ガンマ補正を行う。すなわち、線形性を有する距離データは、ガンマ補正により、ガンマ曲線プロファイルに従って量子化されたデータ（ガンマ補正された距離データ）に変換される。ガンマ補正部１５２は、ガンマ補正された距離データを、通信インターフェース部１６０を介して、ホストデバイス２０に出力する。

ガンマ補正された距離データを受信したホストデバイス２０では、該ガンマ補正された距離データに対して、逆ガンマ曲線プロファイルを適用することにより、逆ガンマ補正を行う。逆ガンマ補正により、距離画像センサデバイス１０からのガンマ補正された距離データは、元の線形性を有する距離データに復元される。逆ガンマ補正部２４０は、復元された距離データを画像処理部２５０に引き渡す。

本実施形態では、ガンマ曲線プロファイルの最適化のためにヒストグラムを用いられる例が説明されたが、例えば、距離分類マップが用いられて良い。

図１０は、本技術の第５の実施形態に係る距離画像処理システムの構成の他の例を示すブロックダイアグラムである。同図に示すように、本実施形態の距離画像センサデバイス１０が、距離分類マップ作成部１５４を更に備えている点で、図８に示したものと異なっている。なお、図中、前記の実施形態と同じコンポーネントには、同一の符号が付され、その詳細な説明は適宜に省略する。

距離分類マップ作成部１５４は、距離データ生成部１５１２により生成された距離データに基づいて、距離分類マップを作成する。距離分類マップとは、隣接する受光画素群どうしで算出される距離が近ければ、それらの受光画素群についての距離を同じ距離（例えば１～１０のスケールに正規化した数値）として分類したマップである。図１１は、本技術の一の実施形態に係る距離画像処理システムにおける距離分類マップの一例を説明するための図である。距離分類マップは、２次元距離画像フレームに対応し得る。

ガンマ曲線最適化部１５３は、距離分類マップ作成部１５４により作成された距離分類マップに基づいて、例えば最も頻度の高い距離を特定する。図１１に示す例では、ガンマ曲線最適化部１５３は、破線枠内で示される受光素子群について、スケール４で示される距離を再頻度の距離として特定する。続いて、ガンマ曲線最適化部１５３は、特定した該距離に対してより多くのビットが割り当てられるように、ガンマ曲線プロファイルを調整又は最適化する。他の例として、ガンマ曲線最適化部１５３は、距離分類マップの中央領域において最も頻度の高い距離を特定し、特定した該距離に対してより多くのビットが割り当てられるように、ガンマ曲線プロファイルを調整又は最適化しても良い。更に他の例として、ガンマ曲線最適化部１５３は、オートフォーカス位置に合う距離に対してより多くのビットが割り当てられるように、ガンマ曲線プロファイルを調整又は最適化しても良い。ガンマ曲線最適化部１５３は、調整又は最適化したガンマ曲線プロファイルを、通信インターフェース部１６０を介して、ホストデバイス２０に送信する。

以上のように、本実施形態においても、前記の実施形態と同様の利点又は効果を奏しうる。とりわけ、本実施形態によれば、測距範囲に適合されたガンマ曲線プロファイルを、更に、測距中に作成されるヒストグラム又は距離分類マップに基づいて動的に最適化するので、画像品質を著しく損なうことなく、より効率的にデータ伝送を行うことができる。

上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。

例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。

また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。

また、本技術は、以下のような技術的事項を含み構成されても良い。
（１）
所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、
対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、
前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、
前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、
出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、
前記ガンマ補正された前記距離データをホストデバイスに送信する通信インターフェース部と、を備える、
距離画像センサデバイス。
（２）
前記動作条件を格納可能なレジスタ部を更に備える、
前記のいずれかに記載の距離画像センサデバイス。
（３）
前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した前記動作条件を前記レジスタ部に格納する、
前記のいずれかに記載の距離画像センサデバイス。
（４）
前記レジスタ部は、複数の前記動作条件をそれぞれ格納可能な複数のレジスタを備え、
前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した前記動作条件を指定するための情報に従って複数のレジスタのいずれかを指定することにより、一の前記動作条件を設定する、
前記のいずれかに記載の距離画像センサデバイス。
（５）
前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した選択条件に従って、前記複数の動作条件のうちの前記一の動作条件を選択する、
前記４に記載の距離画像センサデバイス。
（６）
前記選択条件は、画像フレームの特定領域及びオートフォーカス位置を指定するための条件を含む、
前記のいずれかに記載の距離画像センサデバイス。
（７）
前記動作条件設定部は、選択した前記一の動作条件の前記ガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに通知する、
前記のいずれかに記載の距離画像センサデバイス。
（８）
前記動作条件設定部は、
前記通信インターフェース部を介して前記ホストデバイスから受信した前記所定の測距範囲を指定する情報に基づいて、前記ガンマ曲線プロファイルを生成し、生成した前記ガンマ曲線プロファイルに従って前記動作条件を設定し、
生成した前記ガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに通知する、
前記のいずれかに記載の距離画像センサデバイス。
（９）
設定された前記動作条件における前記ガンマ曲線プロファイルを最適化するためのガンマ曲線最適化部を更に備え、
前記ガンマ補正部は、前記出力される距離データに対して、最適化された前記ガンマ曲線プロファイルを適用して、前記ガンマ補正を行う、
前記のいずれかに記載の距離画像センサデバイス。
（１０）
前記電気信号に基づいて前記複数の受光画素のそれぞれについて算出される前記距離に基づくヒストグラムを作成するヒストグラム作成部を更に備え、
前記ガンマ曲線最適化部は、作成された前記ヒストグラムに基づいて、前記ガンマ曲線プロファイルを最適化する、
前記のいずれかに記載の距離画像センサデバイス。
（１１）
前記ガンマ曲線最適化部は、前記作成されたヒストグラムにおいて最も頻度が高い距離範囲に応じて前記ガンマ曲線プロファイルを最適化する、
前記のいずれかに記載の距離画像センサデバイス。
（１２）
前記出力される距離データに基づいて、隣接する前記受光画素の一群ごとの距離に基づく距離分類マップを作成する距離分類マップ作成部を更に備え、
前記ガンマ曲線最適化部は、作成された前記距離分類マップに基づいて、前記動作条件における前記ガンマ曲線プロファイルを最適化する、
前記のいずれかに記載の距離画像センサデバイス。
（１３）
前記ガンマ曲線最適化部は、前記作成された距離分類マップにおいて最も頻度が高い距離に応じて前記ガンマ曲線プロファイルを最適化する、
前記のいずれかに記載の距離画像センサデバイス。
（１４）
前記ガンマ曲線最適化部は、前記最適化されたガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに送信する、
前記のいずれかに記載の距離画像センサデバイス。
（１５）
所定の周波数で前記パルス光を出射するための発光制御信号を生成する制御信号生成部を更に備え、
前記制御信号生成部は、前記レジスタ部に格納された前記動作条件に従い、前記発光制御信号を生成する、
前記のいずれかに記載の距離画像センサデバイス。
（１６）
距離画像デバイスと、前記距離画像デバイスに通信線を介して接続されたホストデバイスとを備える距離画像処理システムであって、
前記距離画像デバイスは、
所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、
対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、
前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、
前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、
出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、
前記ガンマ補正された前記距離データを、前記通信線を介して、ホストデバイスに送信する通信インターフェース部と、を備え、
前記ホストデバイスは、
前記通信線を介して受信した前記距離データに対して、前記動作条件における前記ガンマ曲線プロファイルに対応する逆ガンマ曲線プロファイルを適用して、逆ガンマ補正を行うガンマ補正部を備える、
距離画像処理システム。
（１７）
前記ホストデバイスは、前記所定の測距範囲に適合された動作条件を、前記通信線を介して、前記距離画像デバイスに送信する、
前記のいずれかに記載の距離画像処理システム。
（１８）
前記ホストデバイスは、前記動作条件における前記ガンマ曲線プロファイルに基づいて、前記逆ガンマ曲線プロファイルを生成する、
前記のいずれかに記載の距離画像処理システム。
（１９）
前記ホストデバイスは、前記距離画像デバイスから送信される前記ガンマ曲線プロファイルに基づいて、前記逆ガンマ曲線プロファイルを生成する、
前記のいずれかに記載の距離画像処理システム。
（２０）
距離画像処理システムにおける距離画像デバイスとホストデバイスとの間の距離データの伝送方法であって、
前記距離画像デバイスが、
所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定することと、
対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射することと、
前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号を複数の受光画素のそれぞれから出力することと、
前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力することと、
出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うことと、
前記ガンマ補正された前記距離データを、通信線を介して、前記ホストデバイスに送信することと、を実行すること、
を含む、距離データの伝送方法。

１…距離画像処理システム
１０…距離画像センサデバイス
１１０…制御部
１１１…動作条件設定部
１１２…レジスタ部
１１２１…レジスタ
１１３…制御信号生成部
１１４…ドライバ部
１２０…発光部
１３０…受光部
１４０…記憶部
１５０…信号処理部
１５１…測距処理部
１５１１…ヒストグラム作成部
１５１２…距離データ生成部
１５２…ガンマ補正部
１５３…ガンマ曲線最適化部
１５４…距離分類マップ作成部
１６０…通信インターフェース部
２０…ホストデバイス
２１０…通信インターフェース部
２２０…動作条件記憶部
２３０…動作条件設定部
２４０…逆ガンマ補正部
２５０…画像処理部
３０…通信線

Claims (20)

1. 所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、
   対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、
   前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、
   前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、
   出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、
   前記ガンマ補正された前記距離データをホストデバイスに送信する通信インターフェース部と、を備える、
   距離画像センサデバイス。
2. 前記動作条件を格納可能なレジスタ部を更に備える、
   請求項１に記載の距離画像センサデバイス。
3. 前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した前記動作条件を前記レジスタ部に格納する、
   請求項２に記載の距離画像センサデバイス。
4. 前記レジスタ部は、複数の前記動作条件をそれぞれ格納可能な複数のレジスタを備え、
   前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した前記動作条件を指定するための情報に従って複数のレジスタのいずれかを指定することにより、一の前記動作条件を設定する、
   請求項２に記載の距離画像センサデバイス。
5. 前記動作条件設定部は、前記通信インターフェース部を介して前記ホストデバイスから受信した選択条件に従って、前記複数の動作条件のうちの前記一の動作条件を選択する、
   請求項４に記載の距離画像センサデバイス。
6. 前記選択条件は、画像フレームの特定領域及びオートフォーカス位置を指定するための条件を含む、
   請求項５に記載の距離画像センサデバイス。
7. 前記動作条件設定部は、選択した前記一の動作条件の前記ガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに通知する、
   請求項５に記載の距離画像センサデバイス。
8. 前記動作条件設定部は、
   前記通信インターフェース部を介して前記ホストデバイスから受信した前記所定の測距範囲を指定する情報に基づいて、前記ガンマ曲線プロファイルを生成し、生成した前記ガンマ曲線プロファイルに従って前記動作条件を設定し、
   生成した前記ガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに通知する、
   請求項１に記載の距離画像センサデバイス。
9. 設定された前記動作条件における前記ガンマ曲線プロファイルを最適化するためのガンマ曲線最適化部を更に備え、
   前記ガンマ補正部は、前記出力される距離データに対して、最適化された前記ガンマ曲線プロファイルを適用して、前記ガンマ補正を行う、
   請求項１に記載の距離画像センサデバイス。
10. 前記電気信号に基づいて前記複数の受光画素のそれぞれについて算出される前記距離に基づくヒストグラムを作成するヒストグラム作成部を更に備え、
    前記ガンマ曲線最適化部は、作成された前記ヒストグラムに基づいて、前記ガンマ曲線プロファイルを最適化する、
    請求項９に記載の距離画像センサデバイス。
11. 前記ガンマ曲線最適化部は、前記作成されたヒストグラムにおいて最も頻度が高い距離範囲に応じて前記ガンマ曲線プロファイルを最適化する、
    請求項１０に記載の距離画像センサデバイス。
12. 前記出力される距離データに基づいて、隣接する前記受光画素の一群ごとの距離に基づく距離分類マップを作成する距離分類マップ作成部を更に備え、
    前記ガンマ曲線最適化部は、作成された前記距離分類マップに基づいて、前記動作条件における前記ガンマ曲線プロファイルを最適化する、
    請求項９に記載の距離画像センサデバイス。
13. 前記ガンマ曲線最適化部は、前記作成された距離分類マップにおいて最も頻度が高い距離に応じて前記ガンマ曲線プロファイルを最適化する、
    請求項１２に記載の距離画像センサデバイス。
14. 前記ガンマ曲線最適化部は、前記最適化されたガンマ曲線プロファイルを、前記通信インターフェース部を介して、前記ホストデバイスに送信する、
    請求項９に記載の距離画像センサデバイス。
15. 所定の周波数で前記パルス光を出射するための発光制御信号を生成する制御信号生成部を更に備え、
    前記制御信号生成部は、前記レジスタ部に格納された前記動作条件に従い、前記発光制御信号を生成する、
    請求項２に記載の距離画像センサデバイス。
16. 距離画像デバイスと、前記距離画像デバイスに通信線を介して接続されたホストデバイスとを備える距離画像処理システムであって、
    前記距離画像デバイスは、
    所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定するための動作条件設定部と、
    対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射する発光部と、
    前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号をそれぞれ出力する複数の受光画素を含む受光部と、
    前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力する測距処理部と、
    出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うガンマ補正部と、
    前記ガンマ補正された前記距離データを、前記通信線を介して、ホストデバイスに送信する通信インターフェース部と、を備え、
    前記ホストデバイスは、
    前記通信線を介して受信した前記距離データに対して、前記動作条件における前記ガンマ曲線プロファイルに対応する逆ガンマ曲線プロファイルを適用して、逆ガンマ補正を行うガンマ補正部を備える、
    距離画像処理システム。
17. 前記ホストデバイスは、前記所定の測距範囲に適合された動作条件を、前記通信線を介して、前記距離画像デバイスに送信する、
    請求項１６に記載の距離画像処理システム。
18. 前記ホストデバイスは、前記動作条件における前記ガンマ曲線プロファイルに基づいて、前記逆ガンマ曲線プロファイルを生成する、
    請求項１６に記載の距離画像処理システム。
19. 前記ホストデバイスは、前記距離画像デバイスから送信される前記ガンマ曲線プロファイルに基づいて、前記逆ガンマ曲線プロファイルを生成する、
    請求項１６に記載の距離画像処理システム。
20. 距離画像処理システムにおける距離画像デバイスとホストデバイスとの間の距離データの伝送方法であって、
    前記距離画像デバイスが、
    所定の測距範囲に適合された、周波数とガンマ曲線プロファイルとを含む動作条件を設定することと、
    対象エリアに対して、設定された前記動作条件における前記周波数でパルス光を出射することと、
    前記パルス光に応答して前記対象エリアにおける観測光を受光し、光電変換により蓄積された電荷に応じた電気信号を複数の受光画素のそれぞれから出力することと、
    前記複数の受光画素のそれぞれから出力される前記電気信号に基づいて、前記対象エリアにおける対象物までの距離を算出し、該距離に基づく距離データを出力することと、
    出力される前記距離データに対して、設定された前記動作条件における前記ガンマ曲線プロファイルを適用して、ガンマ補正を行うことと、
    前記ガンマ補正された前記距離データを、通信線を介して、前記ホストデバイスに送信することと、を実行すること、
    を含む、距離データの伝送方法。
    
    
    

Images