JP2022031262A - 画像取得機器のための制御方法、そのための制御機器、および記憶媒体 - Google Patents

画像取得機器のための制御方法、そのための制御機器、および記憶媒体 Download PDF

Info

Publication number
JP2022031262A
JP2022031262A JP2021130528A JP2021130528A JP2022031262A JP 2022031262 A JP2022031262 A JP 2022031262A JP 2021130528 A JP2021130528 A JP 2021130528A JP 2021130528 A JP2021130528 A JP 2021130528A JP 2022031262 A JP2022031262 A JP 2022031262A
Authority
JP
Japan
Prior art keywords
image acquisition
acquisition device
image
phase
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021130528A
Other languages
English (en)
Inventor
ユー ジャン
Yuu Jan
ジャナン ハオ
Jianan Hao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusen Weilai Tech Co Ltd
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Beijing Tusen Weilai Tech Co Ltd
Beijing Tusen Weilai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusen Weilai Tech Co Ltd, Beijing Tusen Weilai Technology Co Ltd filed Critical Beijing Tusen Weilai Tech Co Ltd
Publication of JP2022031262A publication Critical patent/JP2022031262A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

【課題】画像取得機器の制御方法、その制御装置、そのための制御機器および記憶媒体の提供。【解決手段】本発明の実施例は、画像取得機器分野に関し、画像取得機器の動作タイミング信号と外部トリガー信号との同期を達成するための画像取得機器の制御方法、その制御手段、そのための制御機器および記憶媒体を提供する。前記方法は、画像取得機器により取得した画像データを受信することと、画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定することと、フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定することと、位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整することと、を含む。【選択図】図９

Description

本発明は画像取得機器分野に関し、特に画像取得機器の制御方法、その制御装置、そのための制御機器および記憶媒体に関する。
画像取得機器は、家庭のシーンや作業場で広く使われているが、ｔｒｉｇｇｅｒ（シングルフレームトリガー）機能を持たない一部の画像取得機器（例えば、ＳＯＮＹ（ソニー社）のいくつかの自動車向けの画像取得機器）は、一般的に、画像取得機器の予約ポートにより受信される外部信号である外部トリガー信号との同期を達成することができないことで、画像取得機器に対してエッジトリガーまたはレベルトリガーを行って外部トリガー信号を形成する。また、複数の画像取得機器が連動する時に、同時に露光することもできない。
上述したように、従来技術において、画像取得機器の動作タイミング信号は、外部トリガー信号との同期を達成することができない。
本発明の実施例は、画像取得機器の動作タイミング信号と外部トリガー信号との同期を達成するための画像取得機器の制御方法、その制御手段、そのための制御機器および記憶媒体を提供する。
第１態様では、本発明の実施例は、
画像取得機器により取得した画像データを受信することと、
画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定することと、
フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定することと、
位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整することと、
を含む画像取得機器の制御方法を提供する。
本発明の実施例により提供される画像取得機器の制御方法は、まず、画像取得機器により取得した画像データを受信し、画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定し、さらに、フレーム同期信号予め設けられたとトリガー信号との間の位相オフセットを決定し、最後に、位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整する。従来技術に比べると、トリガー信号と画像取得機器の画像出力タイミングとを比較して計算により位相差を得て、比較結果にしたがって画像取得機器のタイミング制御を行うが、画像取得機器は、タイミング調整信号ピンを有するため、制御信号を調整することによって、画像取得機器の動作タイミングを調整し、最終的に画像出力タイミングとトリガー信号のタイミングとの同期を達成することができる。
可能な一実施形態において、位相オフセットに基づいて制御信号の位相を調整することは、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致することが決定される場合に、位相オフセットを用いて制御信号の位相を調整することを含む。
可能な一実施形態において、位相オフセットに基づいて制御信号の位相を調整することは、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致しないことが決定される場合に、画像データ出力時点と露光開始時点との間の待ち期間を決定することと、
位相オフセットを用いて制御信号の位相を調整し、そして該制御信号のトリガー時点を待ち期間進めることと、をさらに含む。
可能な一実施形態において、位相オフセットを用いて制御信号の位相を調整することは、
位相オフセットを、１回の調整で許容される最大位相移動量である予め設けられた移動量閾値よりも小さい複数の移動量に分けることと、
予め設けられた移動量閾値よりも小さい複数の移動量に基づいて、ステップバイステップで制御信号の位相を調整することと、を含む。
可能な一実施形態において、同時に複数の画像取得機器が接続され、且つ複数の画像取得機器の露光期間が異なる場合、方法は、
複数の画像取得機器により送信された画像輝度値を受信することと、
複数の画像取得機器の画像輝度値に基づいて、複数の画像取得機器の統一された露光期間を決定することと、
統一された露光期間、および複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することと、
ターゲット画像取得機器にターゲット画像取得機器の輝度ゲインを設定し、統一された露光期間で露光を行うようにターゲット画像取得機器を制御することと、をさらに含む。
本発明の実施例により提供される画像取得機器の制御方法は、同時に複数の画像取得機器が接続され、且つ複数の画像取得機器の露光期間が異なる場合に、まず、複数の画像取得機器により送信された画像輝度値を受信し、そして複数の画像取得機器の画像輝度値に基づいて、複数の画像取得機器の統一された露光期間を決定し、統一された露光期間、および複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定し、最後に、ターゲット画像取得機器にターゲット画像取得機器の輝度ゲインを設定し、統一された露光期間で露光を行うようにターゲット画像取得機器を制御することをさらに含む。従来技術に比べると、同時に複数の画像取得機器が接続される場合は、本発明の制御方法は、複数の画像取得機器の露光期間が異なるため、同時に露光を開始することができるが、同時に露光を終了させることができないという問題が回避され、それぞれの画像取得機器にそれぞれの輝度ゲインおよび統一された露光期間を設定することによって、複数の画像取得機器の同期露光が達成されるという利点を有する。
可能な一実施形態において、統一された露光期間およびターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することは、
ターゲット画像取得機器の画像輝度値に対し、ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、加重和を複数の画像取得機器の輝度重みの和で割ることで、複数の画像取得機器の輝度平均値を決定することと、
ターゲット画像取得機器の画像輝度値と輝度平均値との間の輝度差値を、ターゲット画像取得機器の輝度ゲインとして決定することと、を含む。
第２態様では、本発明の実施例は、
画像取得機器により取得した画像データを受信する受信ユニットと、
画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定する解析ユニットと、
フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定する決定ユニットと、
位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整する制御ユニットと、
を含む画像取得機器の制御手段を提供する。
可能な一実施形態において、制御ユニットは、具体的に、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致することが決定される場合に、位相オフセットを用いて制御信号の位相を調整するように構成される。
可能な一実施形態において、制御ユニットは、具体的に、さらに、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致しないことが決定される場合に、画像データ出力時点と露光開始時点との間の待ち期間を決定することと、
位相オフセットを用いて制御信号の位相を調整し、該制御信号のトリガー時点を待ち期間進めることと、を行うように構成される。
可能な一実施形態において、同時に複数の画像取得機器が接続され、且つ複数の画像取得機器の露光期間が異なる場合、制御手段は処理ユニットをさらに含み、処理ユニットは、
複数の画像取得機器により送信された画像輝度値を受信することと、
複数の画像取得機器の画像輝度値に基づいて、複数の画像取得機器の統一された露光期間を決定することと、
統一された露光期間、および複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することと、
ターゲット画像取得機器にターゲット画像取得機器の輝度ゲインを設定し、統一された露光期間で露光を行うようにターゲット画像取得機器を制御することと、を行うように構成される。
可能な一実施形態において、処理ユニットは、具体的に、
ターゲット画像取得機器の画像輝度値に対し、ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、加重和を複数の画像取得機器の輝度重みの和で割ることで、複数の画像取得機器の輝度平均値を決定することと、
ターゲット画像取得機器の画像輝度値と輝度平均値との間の輝度差値を、ターゲット画像取得機器の輝度ゲインとして決定することと、を行うように構成される。
第３態様では、本発明の実施例は、主制御モジュールと、主制御モジュールに接続された画像取得機器と、キャッシュモジュールと、記憶モジュールと、インタフェースモジュールと、電源モジュールとを含み、
画像取得機器は、出力された画像データを主制御モジュールに送信するように構成され、
主制御モジュールは、受信された画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定し、フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定し、位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整するように構成され、
キャッシュモジュールは、主制御モジュールに適用される起動コードをキャッシュするように構成され、
記憶モジュールは、主制御モジュールで処理される画像データを記憶するように構成され、
インタフェースモジュールは、主制御モジュールのネットワーク通信を提供するように構成され、
電源モジュールは、画像取得機器と主制御モジュールに電気を供給するように構成される、
画像取得機器の制御システムをさらに提供する。
可能な一実施形態において、制御システムは、
画像取得機器と主制御モジュールとの間に接続されたシリアライザとデシリアライザをさらに含み、
シリアライザは、画像取得機器により出力された画像データに対してパラレル・シリアル変換を行い、シリアルデータを生成して、シリアルデータをデシリアライザに送信するように構成され、デシリアライザは、シリアライザにより送信されたシリアルデータを受信し、シリアル・パラレル変換を行い、変換された画像データを主制御モジュールに送信するように構成される。
第４態様では、本発明の実施例は、
少なくとも１つのプロセッサと、少なくとも１つのメモリと、メモリに記憶されたコンピュータプログラム命令とを含み、コンピュータプログラム命令がプロセッサにより実行される場合に、本発明の実施例の第１態様により提供される画像取得機器の制御方法が実現されるようにする、画像取得機器の制御機器をさらに提供する。
第５態様では、本発明の実施例は、コンピュータプログラム命令が記憶されており、コンピュータプログラム命令がプロセッサにより実行される場合に、画像取得機器の制御機器が本発明の実施例の第１態様により提供される画像取得機器の制御方法を実行できるようにする、コンピュータ読み取り可能な記憶媒体をさらに提供する。
例えば、本願は以下の項目を提供する。
（項目１）
画像取得機器により取得した画像データを受信することと、
上記画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして上記画像タイミングにしたがって上記画像取得機器により出力された画像データのフレーム同期信号を決定することと、
上記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定することと、
上記位相オフセットに基づいて、上記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整することと、
を含む、画像取得機器の制御方法。
（項目２）
上記位相オフセットに基づいて、制御信号の位相を調整することは、
上記画像取得機器の画像データ出力時点と上記画像取得機器の露光開始時点が一致することが決定される場合に、上記位相オフセットを用いて上記制御信号の位相を調整すること
を含む、上記項目に記載の方法。
（項目３）
上記位相オフセットに基づいて、制御信号の位相を調整することは、
上記画像取得機器の画像データ出力時点と上記画像取得機器の露光開始時点が一致しないことが決定される場合に、上記画像データ出力時点と上記露光開始時点との間の待ち期間を決定することと、
上記位相オフセットを用いて上記制御信号の位相を調整し、上記制御信号のトリガー時点を上記待ち期間進めることと、
をさらに含む、上記項目のいずれか一項に記載の方法。
（項目４）
上記位相オフセットを用いて上記制御信号の位相を調整することは、
上記位相オフセットを、１回の調整で許容される最大位相移動量である予め設けられた移動量閾値よりも小さい複数の移動量に分けることと、
上記予め設けられた移動量閾値よりも小さい複数の移動量に基づいて、ステップバイステップで上記制御信号の位相を調整することと、
を含む、上記項目のいずれか一項に記載の方法。
（項目５）
同時に複数の画像取得機器が接続され、且つ上記複数の画像取得機器の露光期間が異なる場合、上記方法は、
上記複数の画像取得機器により送信された画像輝度値を受信することと、
上記複数の画像取得機器の画像輝度値に基づいて、上記複数の画像取得機器の統一された露光期間を決定することと、
上記統一された露光期間、および上記複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、上記ターゲット画像取得機器の輝度ゲインを決定することと、
上記ターゲット画像取得機器に上記ターゲット画像取得機器の輝度ゲインを設定し、上記統一された露光期間で露光を行うように上記ターゲット画像取得機器を制御することと、
をさらに含む、上記項目のいずれか一項に記載の方法。
（項目６）
上記統一された露光期間およびターゲット画像取得機器の画像輝度値に基づいて、上記ターゲット画像取得機器の輝度ゲインを決定することは、
ターゲット画像取得機器の画像輝度値に対し、上記ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、上記加重和を上記複数の画像取得機器の輝度重みの和で割ることで、上記複数の画像取得機器の輝度平均値を決定することと、
上記ターゲット画像取得機器の画像輝度値と上記輝度平均値との間の輝度差値を、上記ターゲット画像取得機器の輝度ゲインとして決定することと、
を含む、上記項目のいずれか一項に記載の方法。
（項目７）
画像取得機器により取得した画像データを受信する受信ユニットと、
上記画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして上記画像タイミングにしたがって上記画像取得機器により出力された画像データのフレーム同期信号を決定する解析ユニットと、
上記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定する決定ユニットと、
上記位相オフセットに基づいて、上記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整する制御ユニットと、
を含む、画像取得機器の制御装置。
（項目８）
主制御モジュールと、上記主制御モジュールに接続された画像取得機器と、キャッシュモジュールと、記憶モジュールと、インタフェースモジュールと、電源モジュールとを含む、画像取得機器の制御システムであって、
上記画像取得機器は、出力された画像データを上記主制御モジュールに送信するように構成され、
上記主制御モジュールは、受信された画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして上記画像タイミングにしたがって上記画像取得機器により出力される画像データのフレーム同期信号を決定し、上記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定し、上記位相オフセットに基づいて、上記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整するように構成される、
画像取得機器の制御システム。
（項目９）
上記システムは、
上記画像取得機器と上記主制御モジュールとの間に接続されたシリアライザとデシリアライザをさらに含み、
上記シリアライザは、上記画像取得機器により出力された画像データに対してパラレル・シリアル変換を行い、シリアルデータを生成して、上記シリアルデータを上記デシリアライザに送信するように構成され、上記デシリアライザは、上記シリアライザにより送信されたシリアルデータを受信し、シリアル・パラレル変換を行い、変換された画像データを上記主制御モジュールに送信するように構成される、
上記項目のいずれか一項に記載のシステム。
（項目１０）
少なくとも１つのプロセッサと、少なくとも１つのメモリと、上記メモリに記憶されたコンピュータプログラム命令とを含み、上記コンピュータプログラム命令が上記プロセッサにより実行される場合に、上記項目のいずれか一項に記載の画像取得機器の制御方法を実現する、
画像取得機器の制御機器。
（項目１１）
コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、上記コンピュータプログラム命令がプロセッサにより実行される場合に、上記項目のいずれか一項に記載の画像取得機器の制御方法を実現する、記憶媒体。
（摘要）
本発明の実施例は、画像取得機器分野に関し、画像取得機器の動作タイミング信号と外部トリガー信号との同期を達成するための画像取得機器の制御方法、その制御手段、そのための制御機器および記憶媒体を提供する。前記方法は、画像取得機器により取得した画像データを受信することと、画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定することと、フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定することと、位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整することと、を含む。
付随する図面を参照しながら、以下の詳しい説明を読むことにより、本発明の例示的な実施形態の上記およびその他の目的、特徴と利点は理解しやすくなる。付随する図面において、制限的ではなく、例示的に本発明のいくつかの実施形態を示している。
本発明の実施例により提供される画像取得機器の制御システムの構造の模式図である。
本発明の実施例により提供される別の画像取得機器の制御システムの構造の模式図である。
本発明の実施例により提供されるフレーム同期信号と水平同期信号の信号タイミングチャートである。
本発明の実施例により提供される別のフレーム同期信号と水平同期信号の信号タイミングチャートである。
本発明の実施例により提供されるフレーム同期信号とトリガー信号の信号タイミングチャートである。
本発明の実施例により提供される制御信号位相の調整の模式図である。
本発明の実施例により提供される別の制御信号位相の調整の模式図である。
本発明の実施例により提供されるさらに画像取得機器の別の制御システムの構造の模式図である。
本発明の実施例により提供される画像取得機器の制御方法のフローチャートである。
本発明の実施例により提供される画像取得機器の制御手段の構造の模式図である。
本発明の実施例により提供される画像取得機器の制御機器の構造の模式図である。
従来技術において、ｔｒｉｇｇｅｒ（シングルフレームトリガー機能）機能を持たない画像取得機器（例えば、ＳＯＮＹのいくつかの自動車向けの画像取得機器）が、外部トリガー信号（ｔｒｉｇｇｅｒ信号）との同期を達成できないことに鑑み、本発明の実施例は、ＦＰＧＡがｔｒｉｇｇｅｒ機能のない画像取得機器のインタフェースタイミングを制御するように構成され、同時にＦＰＧＡがｔｒｉｇｇｅｒ信号を監視し、ｔｒｉｇｇｅｒ信号と画像取得機器の画像出力タイミングとを比較して計算により位相差を得て、比較結果にしたがって画像取得機器のタイミング制御を行うことで、ｔｒｉｇｇｅｒ作用と同様の機能を達成する画像取得機器の制御スキームを提供する。以下、付随する図面および具体的な実施例に合わせて、本発明の実施例により提供される画像取得機器の制御方法を詳しく説明する。
さらに、ｔｒｉｇｇｅｒ信号は固定周波数でなければならず、且つ画像取得機器のフレームレートは周波数の整数倍であり、例えば、画像取得機器のフレームレートは６０ ＦＰＳであり、ｔｒｉｇｇｅｒ信号の周波数は２０ ＨＺで安定している。この前提条件は、自動運転、ロボットなどの分野で満たすことが非常に容易であるため、本発明の実施形態において提供されるスキームは、自動運転、ロボットなどの分野においても広く適用できる。
図１は、例示的に本発明の実施例により提供される画像取得機器の制御システムの構造の模式図を示している。図１に示すように、当該システムは主制御モジュール１１、キャッシュモジュール１２、記憶モジュール１３、画像取得機器１４、電源モジュール１５およびインタフェースモジュール１６を含む。
ここで、主制御モジュールは、画像取得機器により出力された画像データを受信するように構成され、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ；フィールド・プログラマブル・ゲート・アレイ）またはプログラマブルロジックを備えるＳＯＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ；システムオンチップ）であってもよく、キャッシュモジュールは、システムが実行される時にデータをキャッシュするように構成され、ＤＤＲ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ；ダブルデータレート）メモリであってもよく、記憶モジュールは、起動コードを記憶するように構成され、ＳＰＩ ｆｌａｓｈ（ｓｅｒｉａｌ ｐｅｒｉｐｈｅｒａｌ ｉｎｔｅｒｆａｃｅ ｆｌａｓｈ；シリアルフラッシュ）またはＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ；セキュアデジタルカード）またはＮＯＲ ｆｌａｓｈ（ＮＯＲ型フラッシュ）またはＮＡＮＤ ｆｌａｓｈ（ＮＡＮＤ型フラッシュ）またはＥＭＭＣ（Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ；組み込みマルチメディアコントローラ）であってもよく、画像取得機器は、画像データを取得するように構成され、そのインタフェースはＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ；モバイル・インダストリー・プロセッサー・インターフェース）またはＨｉＳｐｉ（Ｈｉｇｈ－Ｓｐｅｅｄ Ｐｉｘｅｌ Ｉｎｔｅｒｆａｃｅ；高速ピクセルインタフェース）またはＤＶＰ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｐｏｒｔ；デジタルビデオポート）であってもよく、インタフェースモジュールはＧＭＩＩインタフェース（Ｇｉｇａｂｉｔ Ｍｅｄｉａ Ｉｎｄｅｐｅｎｄｅｎｔ Ｉｎｔｅｒｆａｃｅ；ギガビットメディア独立インタフェース）またはＲＧＭＩＩインタフェース（Ｒｅｄｕｃｅｄ Ｇｉｇａｂｉｔ Ｍｅｄｉａ Ｉｎｄｅｐｅｎｄｅｎｔ Ｉｎｔｅｒｆａｃｅ；削減ギガビットメディア独立インタフェース）であってもよいが、本発明ではそれらを限定しない。
図２は、例示的に本発明の実施例により提供される画像取得機器の別の同期システムの構造の模式図を示している。図２に示すように、当該システムは主制御モジュール２１、キャッシュモジュール２２、記憶モジュール２３、画像取得機器２４、電源モジュール２５、インタフェースモジュール２６、デシリアライザ２７およびシリアライザ２８を含む。
ここで、デシリアライザとシリアライザのインタフェースは、ＦＰＤ ＬＩＮＫ ＩＩＩインタフェース（双方向制御インタフェース）またはＧＭＳＬ／ＧＭＳＬ２インタフェース（ギガビットマルチメディアシリアルリンク）またはＶ－ＢＹ－ＯＮＥインタフェース（画像伝送専用に開発されたデジタルインタフェース）であってもよいが、本発明ではそれらを限定しない。
さらに、画像取得機器の動作は、感光ユニットを露光することと、感光ユニットに対してＡＤ変換を行い、その他の処理の後に出力することを含み、主制御モジュールは画像取得機器により出力された画像データを受動的に受信することしかできないため、受信した画像タイミングにしたがって判断することしかできず、主制御モジュールの受信した画像タイミングと画像取得機器の動作タイミングには「固定した（偏差があってもｎｓレベルであり、無視できる）」時間差があるため、画像取得機器内部のタイミングを逆推定することができる。ＭＩＰＩインタフェースでも、ＤＶＰインタフェースでも、または他の形のインタフェースでも、出力される画像は、ｖｓｙｎｃ（Ｖｅｒｔｉｃａｌ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ；垂直同期）信号とｈｓｙｎｃ（Ｈｏｒｉｚｏｎｔａｌ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ；水平同期）信号を含むタイミングを復元することができ、ここで、ｖｓｙｎｃは１フレームの画像の開始を表すことに用いられてもよく、ｈｓｙｎｃは１行の画像の開始を表すことに用いられてもよい。
図３は本発明の実施例により提供されるフレーム同期信号と水平同期信号の信号タイミングチャートであり、図４は本発明の実施例により提供される別のフレーム同期信号と水平同期信号の信号タイミングチャートであり、主制御モジュールにおいて解析されたフレーム同期信号と画像取得機器内部の動作タイミングには固定した時間差があるため、当該フレーム同期信号によって画像取得機器のタイミングを判断することができる。
さらに、フレーム同期信号に一定のオフセットを加えれば、画像取得機器内部の動作タイミングを表すことができるため、ｔｒｉｇｇｅｒ（シングルフレームトリガー）信号とフレーム同期信号との位相差のみを監視すればよい。図５に示すように、ｔｒｉｇｇｅｒ信号とｖｓｙｎｃ信号との間には固定した時間差があり、ｔｒｉｇｇｅｒ信号と画像取得機器内部の動作タイミング信号は一致するようにしている。
さらに、ｔｒｉｇｇｅｒの同期を達成するために画像取得機器をいかに制御するかについては、以下３つの方法を提供するが、次に、具体的な実施例に合わせて詳しく説明する。
実施例１
可能な一実施形態において、一部の画像取得機器は、画像取得機器の動作タイミングに対する微調整を達成し、さらに複数の画像取得機器のデータの同期出力を達成する機能をもつタイミング調整信号ｆｓｙｎｃ（ｆｒａｍｅ ｓｙｎｃｈｒｏｎｉｚｅｒ；フレーム同期）ピンを備えている。画像取得機器のデータ出力に対する制御は、間接的に画像取得機器の露光タイミングを制御することになるため、主制御モジュールによってｆｓｙｎｃ信号のタイミングを正確に制御することができ、さらにｔｒｉｇｇｅｒと同様の機能を段階的に実現することができる。
なお、画像取得機器と主制御モジュールとの間は信号のやり取りを直接行ってもよく、シリアライザとデシリアライザを介して画像取得機器のデータを主制御モジュールに送信するとともに、主制御モジュールがデシリアライザとシリアライザを介して制御信号を画像取得機器に送信してもよいが、本発明ではそれを限定しないということを理解されたい。
ｆｓｙｎｃ信号が一定の範囲内で変動する場合、画像取得機器は、ｆｓｙｎｃ信号と一定の位相関係が形成されるようにそれ自体の動作タイミングを調節することにより同期を保持する。したがって、この特性に基づいて、画像取得機器の出力した画像により解析されたｖｓｙｎｃとｔｒｉｇｇｅｒ信号を比較し、比較結果にしたがってｖｓｙｎｃ信号とｔｒｉｇｇｅｒ信号との間の位相オフセットを決定することにより、ｆｓｙｎｃの位相変化を決定し、ｆｓｙｎｃ信号の出力を制御し、最終的に画像取得機器の画像タイミングに対する制御を達成することができる。
図６に示すように、一部の画像取得機器により受信されるｆｓｙｎｃ信号の変動範囲が大きすぎてはならず、そうでないと、画像取得機器の動作が異常になってしまうため、このような画像取得機器に対してはステップバイステップ法を取ることができる。それぞれのフレームにおいては、１回で一定値の位相を調整するが、当該位相は画像取得機器で許容される変動範囲を超えてはならない。複数のフレームの段階的な調整によって、ｆｓｙｎｃ信号はｔｒｉｇｇｅｒと同期するようになる。図６において、ｔｒｉｇｇｅｒ信号は固定周波数であり、ｆｓｙｎｃ信号の位置を調整することによってｖｓｙｎｃとｔｒｉｇｇｅｒ信号との位置合わせを制御する。これにより、ｔｒｉｇｇｅｒ機能を持たない画像取得機器の画像タイミングと外部固定周波数のｔｒｉｇｇｅｒ信号との同期を達成することができ、具体的に実施する場合、以下のステップを有してもよい。
Ｓ１では、主制御モジュールは画像取得機器により送信された画像データを受信し、それを解析し、画像タイミングを取得し、ｖｓｙｎｃ信号を決定する。
Ｓ２では、ｖｓｙｎｃ信号とｔｒｉｇｇｅｒ信号とを比較し、比較結果にしたがってｖｓｙｎｃ信号とｔｒｉｇｇｅｒ信号との間の位相オフセットを決定する。
Ｓ３では、Ｓ２で決定された位相オフセットにしたがって、ｆｓｙｎｃ信号の位相を調整し、同時に、画像取得機器は、同期を保持するために、ｆｓｙｎｃ信号と一定の位相関係が形成されるように自体の動作タイミングを調節するため、ｆｓｙｎｃ信号の位相の調整は、画像取得機器の動作タイミングを制御して調整することに相当する。
可能な一実施形態において、ｆｓｙｎｃの位相を調整する場合に、画像取得機器は、ｆｓｙｎｃ信号の１回の調整での最大位相移動量を予め設定し、ｆｓｙｎｃ信号は、位相オフセットの調整が完了するまで、前記最大位相移動量に基づいてステップバイステップで接近する。
従って、ｆｓｙｎｃ信号の位相変化は、画像取得機器内部の動作タイミングの変化を引き起こすようになり、主制御モジュールが画像取得機器により送信された画像データを再度受信する場合に、画像データを解析して得たｖｓｙｎｃ信号と画像取得機器内部の動作タイミングには固定した時間差があるため、当該動作タイミングが変化する時に、ｖｓｙｎｃ信号もそれに応じて変化するが、ｆｓｙｎｃ信号とｔｒｉｇｇｅｒ信号との同期が達成され、即ち、画像取得機器の画像タイミングと固定周波数の外部ｔｒｉｇｇｅｒ信号との同期が達成されるまで、ｖｓｙｎｃ信号は、ｔｒｉｇｇｅｒ信号と再度比較され、比較結果にしたがってｆｓｙｎｃ信号を再度調整する。
実施例２
可能な一実施形態において、同様に、ｔｒｉｇｇｅｒ機能を持たない画像取得機器は、実施例１における同期を完了させた後、画像タイミングとｔｒｉｇｇｅｒ信号との同期が達成され、即ち、ｔｒｉｇｇｅｒ信号が来ると、画像取得機器は許容可能な時間差内で画像データを出力するが、一部の画像取得機器にとっては、画像データの出力は画像取得機器の露光開始を意味せず、フレーム開始後に、露光が開始するまでＳＨＳ（待ち期間）待つ必要があり、ｔｒｉｇｇｅｒ信号が来ると、画像取得機器は画像の出力を開始するものの、露光はまだ開始していないため、ｔｒｉｇｇｅｒ信号のトリガー時点と露光開始時点には時間差がある。
具体的に実施する場合、図７に示すように、１秒のフレームレートは予め設けられたものであり、１フレームの期間を得ることができる。それぞれのフレームにおいて、露光期間も予め設けられたものであり、自動露光モジュールによって現在画像取得機器の露光期間を取得することができ、１フレームの期間から露光期間を引けば、ＳＨＳ期間となる。実施例１における方法により、ｆｓｙｎｃ信号の周波数と位相を得ることができ、そして、ｆｓｙｎｃ信号をＳＨＳ期間進め、画像取得機器はｆｓｙｎｃ信号に従って１フレームを事前にトリガーし、ＳＨＳ期間待った後に露光を開始し、当該露光期間はｔｒｉｇｇｅｒ信号と一致し、画像露光がｔｒｉｇｇｅｒ信号と同期する効果が達成され、具体的に実施する場合、以下のステップを有してもよい。
Ｓ１では、主制御モジュールは画像取得機器により送信された画像データを受信し、それを解析し、画像タイミングを取得し、ｖｓｙｎｃ信号を決定する。
Ｓ２では、ｖｓｙｎｃ信号とｔｒｉｇｇｅｒ信号とを比較し、比較結果にしたがってｖｓｙｎｃ信号とｔｒｉｇｇｅｒ信号との間の位相オフセットを決定する。
Ｓ３では、主制御モジュールは画像取得機器の露光期間を取得し、予め設けられたフレームレートにしたがって１フレームの期間を取得し、両者の差を算出してＳＨＳ期間を決定する。
具体的に実施する場合、画像取得機器のフレームレートは予め設けられたものであり、１フレームの期間を得ることができる。それぞれのフレームにおいて、露光期間も予め設けられたものであるため、主制御モジュールは現在画像取得機器の１フレームの期間と露光期間を取得することができ、その両者の差がＳＨＳ期間となる。
Ｓ４では、Ｓ２で決定された位相オフセットおよびＳ３で決定されたＳＨＳ期間にしたがって、位相オフセットを用いて制御信号の位相を調整し、調整された制御信号のトリガー時点を待ち期間進める。
実施例３
図８は本発明の実施例により提供される画像取得機器の別の制御システムの構造の模式図である。多くのマシンビジョンアプリケーションにおいては、同時に露光を開始し、同時に露光を終了する複数の画像取得機器を必要とするが、実際のアプリケーションシーンにおいては、自動露光アルゴリズムの開始を必要とするため、ｔｒｉｇｇｅｒ信号が来ると同時に露光を開始することができるが、同時に露光を終了することができない。例えば、自動運転車両において、車両の正面を向いた画像取得機器に露光される光線は強く、車両の両側を向いた画像取得機器に露光される光線は弱い。この場合、車両の両側にある画像取得機器に長い露光期間を設定し、車両の正面にある画像取得機器に短い露光期間を設定する。このように、同じｆｓｙｎｃ信号が使用されている場合、ある画像取得機器は露光を早期に終了し、あるものはやや遅く露光を終了することになってしまう。従って、本発明の実施例は、複数の画像取得機器が同時に露光を開始し、同時に露光を終了することを達成することができる複数の画像取得機器の連動スキームを提供する。
具体的に実施する場合、連動スキームは、以下のステップを有してもよい。
Ｓ１では、各画像取得機器に１つの輝度重みを設定する。
具体的に実施する場合、画像取得機器の周囲の光強度にしたがって画像取得機器の輝度重みを設定することができ、例えば、車両の正面にある画像取得機器は、画像取得機器のまわりの光強度が高く、光線が十分である場合、輝度重みを１に設定されてよく、車両の両側にある画像取得機器は、画像取得機器のまわりの光線の輝度が低い場合、その輝度重みを０．８に設定されてよい。
Ｓ２では、連動された画像取得機器は、それぞれのフレームにおいて連動された画像取得機器によってカウントされた画像輝度値を主制御モジュールに動的に送信する。
Ｓ３では、主制御モジュールにより、全画像取得機器の画像輝度値にしたがって適切な露光期間を決定し、即ち、連動された画像取得機器の露光期間は同じである。
具体的に実施する場合、複数の異なるシーンに対応する全体輝度値を予め設定することができ、それぞれの全体輝度値は１つの予め設けられた露光期間に対応する。
さらに、全体輝度値は、指定された画像取得機器に対する輝度値であってもよく、複数の画像取得機器に対する輝度値の平均値であってもよいが、本発明ではそれを限定しない。
Ｓ４では、それぞれの画像取得機器の画像輝度値およびその対応する輝度重みにしたがって、それぞれの画像取得機器の輝度ゲインを決定する。
具体的に実施する場合、複数の画像取得機器の画像輝度値に対して画像輝度値に対応する輝度重みに基づいて加重和が行われ、そして加重和を複数の画像取得機器の輝度重みの和で割ることで、輝度平均値を得て、各画像取得機器の画像輝度値と当該輝度平均値とを比較し、それぞれの画像取得機器の輝度差を得て、前記輝度差を各画像取得機器の輝度ゲインとして決定する。
Ｓ５では、連動されたすべての画像取得機器に露光期間を送信し、異なる輝度ゲインを対応する画像取得機器に送信する。
Ｓ６では、複数の画像取得機器の露光期間が同じである場合、受けた光強度の弱い画像取得機器は、同じ露光期間が達成されるように、その輝度ゲインを高くする必要があり、即ち、輝度ゲインを調節することによって露光期間を補償することに対し、受けた光強度の強い画像取得機器は、同じ露光期間が達成されるように、その輝度ゲインを低くする必要があり、即ち、輝度ゲインを調節することによって露光期間を減少させる。
可能な一実施形態において、複数の画像取得機器が同時に露光を開始し、且つ同時に露光を終了することができるという前提で、良い画質をもたらすことを保証するために、一緒に連動された画像取得機器のそれぞれの少なくとも３分の１の視野が互いに重なる必要がある。
図９に示すように、本発明の実施例は、
画像取得機器により取得した画像データを受信するステップ９０１と、
画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定するステップ９０２と、
フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定するステップ９０３と、
位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整するステップ９０４と
を含む画像取得機器の制御方法を提供する。
可能な一実施形態において、位相オフセットに基づいて制御信号の位相を調整することは、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致することが決定される場合に、位相オフセットを用いて制御信号の位相を調整することを含む。
可能な一実施形態において、位相オフセットに基づいて制御信号の位相を調整することは、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致しないことが決定される場合に、画像データ出力時点と露光開始時点との間の待ち期間を決定することと、
位相オフセットを用いて制御信号の位相を調整し、該制御信号のトリガー時点を待ち期間進めることと、をさらに含む。
可能な一実施形態において、位相オフセットを用いて制御信号の位相を調整することは、
位相オフセットを、１回の調整で許容される最大位相移動量である予め設けられた移動量閾値よりも小さい複数の移動量に分けることと、
予め設けられた移動量閾値よりも小さい複数の移動量に基づいて、ステップバイステップで制御信号の位相を調整することと、を含む。
可能な一実施形態において、同時に複数の画像取得機器が接続され、且つ複数の画像取得機器の露光期間が異なる場合、方法は、
複数の画像取得機器により送信された画像輝度値を受信することと、
複数の画像取得機器の画像輝度値に基づいて、複数の画像取得機器の統一された露光期間を決定することと、
統一された露光期間、および複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することと、
ターゲット画像取得機器にターゲット画像取得機器の輝度ゲインを設定し、統一された露光期間で露光を行うようにターゲット画像取得機器を制御することと、をさらに含む。
可能な一実施形態において、統一された露光期間およびターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することは、
ターゲット画像取得機器の画像輝度値に対し、ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、加重和を複数の画像取得機器の輝度重みの和で割ることで、複数の画像取得機器の輝度平均値を決定することと、
ターゲット画像取得機器の画像輝度値と輝度平均値との間の輝度差値を、ターゲット画像取得機器の輝度ゲインとして決定することと、を含む。
図１０に示すように、本発明の実施例は、
画像取得機器により取得した画像データを受信する受信ユニット１０１と、
画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定する解析ユニット１０２と、
フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定する決定ユニット１０３と、
位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整する制御ユニット１０４と
を含む画像取得機器の制御手段を提供する。
可能な一実施形態において、制御ユニット１０４は、具体的に、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致することが決定される場合に、位相オフセットを用いて制御信号の位相を調整するように構成される。
可能な一実施形態において、制御ユニット１０４は、具体的に、
画像取得機器の画像データ出力時点と画像取得機器の露光開始時点が一致しないことが決定される場合に、画像データ出力時点と露光開始時点との間の待ち期間を決定することと、
位相オフセットを用いて制御信号の位相を調整し、該制御信号のトリガー時点を待ち期間進めることと、を行うように構成される。
可能な一実施形態において、同時に複数の画像取得機器が接続され、且つ複数の画像取得機器の露光期間が異なる場合、制御手段は処理ユニット１０５をさらに含み、処理ユニット１０５は、
複数の画像取得機器により送信された画像輝度値を受信することと、
複数の画像取得機器の画像輝度値に基づいて、複数の画像取得機器の統一された露光期間を決定することと、
統一された露光期間、および複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、ターゲット画像取得機器の輝度ゲインを決定することと、
ターゲット画像取得機器にターゲット画像取得機器の輝度ゲインを設定し、統一された露光期間で露光を行うようにターゲット画像取得機器を制御することと、を行うように構成される。
可能な一実施形態において、処理ユニット１０５は、具体的に、
ターゲット画像取得機器の画像輝度値に対し、ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、加重和を複数の画像取得機器の輝度重みの和で割ることで、複数の画像取得機器の輝度平均値を決定することと、
ターゲット画像取得機器の画像輝度値と輝度平均値との間の輝度差値を、ターゲット画像取得機器の輝度ゲインとして決定することと、を行うように構成される。
上記本発明の実施例と同じ構想に基づいて、本発明の実施例は、画像取得機器の制御機器をさらに提供する。
本発明の実施例は、主制御モジュールと、主制御モジュールに接続された画像取得機器と、キャッシュモジュールと、記憶モジュールと、インタフェースモジュールと、電源モジュールとを含み、
画像取得機器は、出力された画像データを主制御モジュールに送信するように構成され、
主制御モジュールは、受信された画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして画像タイミングにしたがって画像取得機器により出力された画像データのフレーム同期信号を決定し、フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定し、位相オフセットに基づいて、画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整するように構成され、
キャッシュモジュールは、主制御モジュールに適用される起動コードをキャッシュするように構成され、
記憶モジュールは、主制御モジュールで処理される画像データを記憶するように構成され、
インタフェースモジュールは、主制御モジュールのネットワーク通信を提供するように構成され、
電源モジュールは、画像取得機器と主制御モジュールに電気を供給するように構成される、
画像取得機器の制御システムをさらに提供する。
可能な一実施形態において、システムは、
画像取得機器と主制御モジュールとの間に接続されたシリアライザとデシリアライザをさらに含み、
シリアライザは、画像取得機器により出力された画像データに対してパラレル・シリアル変換を行い、シリアルデータを生成してデシリアライザに送信するように構成され、デシリアライザは、シリアライザにより送信されたシリアルデータを受信し、シリアル・パラレル変換を行い、変換された画像データを主制御モジュールに送信するように構成される。
図１１に示すように、本発明の実施例は、
少なくとも１つのプロセッサ１１０１と、少なくとも１つのメモリ１１０２と、メモリに記憶されたコンピュータプログラム命令とを含み、コンピュータプログラム命令がプロセッサ１１０１により実行される場合に、本発明の実施例により提供される画像取得機器の制御方法が実現されるようにする
画像取得機器の制御手段１１０をさらに提供する。
例示的な実施例において、例えば、上記方法を完成するために画像取得機器の制御機器のプロセッサ１１０１により実行される命令を含むメモリ１１０２のような、命令を含む記憶媒体をさらに提供する。
選択的に、記憶媒体は、例えば、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクや光データ記憶装置などの非一時的なコンピュータ読み取り可能な記憶媒体であってもよい。
当業者は、本願の実施例が方法、システム、またはコンピュータプログラム製品として提供可能であると理解すべきである。従って、本願は、完全なハードウェアの実施例、完全なソフトウェアの実施例、またはソフトウェアとハードウェアとを組み合わせた実施例の形を用いることができる。そして、本願は、コンピュータ利用可能なプログラムコードが含まれる１つまたは複数のコンピュータ利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光メモリなどを含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形を用いることができる。
本願は、本願による方法、機器（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら、説明する。コンピュータプログラム命令により、フローチャートおよび／またはブロック図におけるそれぞれのステップおよび／またはブロック、および、フローチャートおよび／またはブロック図におけるステップおよび／またはブロックの組み合わせを実現することができると理解すべきである。１つの機械が生成されるように、汎用コンピュータ、専用コンピュータ、組み込みプロセッサまたはその他のプログラマブルデータ処理機器のプロセッサにこれらのコンピュータプログラム命令を提供することができ、それで、コンピュータまたはその他のプログラマブルデータ処理機器のプロセッサにより実行される命令によって、フローチャートの１つまたは複数のステップおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現するための手段が生成される。
これらのコンピュータプログラム命令は、コンピュータまたはその他のプログラマブルデータ処理機器を、特定の方式で作動するようにガイドできるコンピュータ読み取り可能なメモリに記憶されてもよく、それで、当該コンピュータ読み取り可能なメモリに記憶された命令によって、フローチャートの１つまたは複数のステップおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現する命令手段を含む製品が生成される。
これらのコンピュータプログラム命令は、コンピュータにより実現される処理を発生させるために、コンピュータまたはその他のプログラマブル機器で一連の操作工程が実行されるように、コンピュータまたはその他のプログラマブルデータ処理機器にロードされてもよく、それで、コンピュータまたはその他のプログラマブル機器で実行される命令によって、フローチャートの１つまたは複数のステップおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現するためのステップが提供される。
無論、当業者は、本願の精神と範囲から逸脱することなく、本願に対して様々な修正や変更を行うことができる。このように、本願のこれらの修正や変更が本願の特許請求の範囲およびその同等な技術範囲内にある場合、本願は、これらの修正や変更を含むことも意図している。

Claims (11)

  1. 画像取得機器により取得した画像データを受信することと、
    前記画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして前記画像タイミングにしたがって前記画像取得機器により出力された画像データのフレーム同期信号を決定することと、
    前記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定することと、
    前記位相オフセットに基づいて、前記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整することと、
    を含む、画像取得機器の制御方法。
  2. 前記位相オフセットに基づいて、制御信号の位相を調整することは、
    前記画像取得機器の画像データ出力時点と前記画像取得機器の露光開始時点が一致することが決定される場合に、前記位相オフセットを用いて前記制御信号の位相を調整すること
    を含む、請求項１に記載の方法。
  3. 前記位相オフセットに基づいて、制御信号の位相を調整することは、
    前記画像取得機器の画像データ出力時点と前記画像取得機器の露光開始時点が一致しないことが決定される場合に、前記画像データ出力時点と前記露光開始時点との間の待ち期間を決定することと、
    前記位相オフセットを用いて前記制御信号の位相を調整し、前記制御信号のトリガー時点を前記待ち期間進めることと、
    をさらに含む、請求項１に記載の方法。
  4. 前記位相オフセットを用いて前記制御信号の位相を調整することは、
    前記位相オフセットを、１回の調整で許容される最大位相移動量である予め設けられた移動量閾値よりも小さい複数の移動量に分けることと、
    前記予め設けられた移動量閾値よりも小さい複数の移動量に基づいて、ステップバイステップで前記制御信号の位相を調整することと、
    を含む、請求項２または３に記載の方法。
  5. 同時に複数の画像取得機器が接続され、且つ前記複数の画像取得機器の露光期間が異なる場合、前記方法は、
    前記複数の画像取得機器により送信された画像輝度値を受信することと、
    前記複数の画像取得機器の画像輝度値に基づいて、前記複数の画像取得機器の統一された露光期間を決定することと、
    前記統一された露光期間、および前記複数の画像取得機器のうちのいずれか１つであるターゲット画像取得機器の画像輝度値に基づいて、前記ターゲット画像取得機器の輝度ゲインを決定することと、
    前記ターゲット画像取得機器に前記ターゲット画像取得機器の輝度ゲインを設定し、前記統一された露光期間で露光を行うように前記ターゲット画像取得機器を制御することと、
    をさらに含む、請求項１に記載の方法。
  6. 前記統一された露光期間およびターゲット画像取得機器の画像輝度値に基づいて、前記ターゲット画像取得機器の輝度ゲインを決定することは、
    ターゲット画像取得機器の画像輝度値に対し、前記ターゲット画像取得機器によって予め設けられた輝度重みにしたがって加重和を行い、前記加重和を前記複数の画像取得機器の輝度重みの和で割ることで、前記複数の画像取得機器の輝度平均値を決定することと、
    前記ターゲット画像取得機器の画像輝度値と前記輝度平均値との間の輝度差値を、前記ターゲット画像取得機器の輝度ゲインとして決定することと、
    を含む、請求項５に記載の方法。
  7. 画像取得機器により取得した画像データを受信する受信ユニットと、
    前記画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして前記画像タイミングにしたがって前記画像取得機器により出力された画像データのフレーム同期信号を決定する解析ユニットと、
    前記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定する決定ユニットと、
    前記位相オフセットに基づいて、前記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整する制御ユニットと、
    を含む、画像取得機器の制御装置。
  8. 主制御モジュールと、前記主制御モジュールに接続された画像取得機器と、キャッシュモジュールと、記憶モジュールと、インタフェースモジュールと、電源モジュールとを含む、画像取得機器の制御システムであって、
    前記画像取得機器は、出力された画像データを前記主制御モジュールに送信するように構成され、
    前記主制御モジュールは、受信された画像データを解析し、解析結果にしたがって画像タイミングを取得し、そして前記画像タイミングにしたがって前記画像取得機器により出力される画像データのフレーム同期信号を決定し、前記フレーム同期信号と予め設けられたトリガー信号との間の位相オフセットを決定し、前記位相オフセットに基づいて、前記画像取得機器の動作タイミングを調整するように構成された制御信号の位相を調整するように構成される、
    画像取得機器の制御システム。
  9. 前記システムは、
    前記画像取得機器と前記主制御モジュールとの間に接続されたシリアライザとデシリアライザをさらに含み、
    前記シリアライザは、前記画像取得機器により出力された画像データに対してパラレル・シリアル変換を行い、シリアルデータを生成して、前記シリアルデータを前記デシリアライザに送信するように構成され、前記デシリアライザは、前記シリアライザにより送信されたシリアルデータを受信し、シリアル・パラレル変換を行い、変換された画像データを前記主制御モジュールに送信するように構成される、
    請求項８に記載のシステム。
  10. 少なくとも１つのプロセッサと、少なくとも１つのメモリと、前記メモリに記憶されたコンピュータプログラム命令とを含み、前記コンピュータプログラム命令が前記プロセッサにより実行される場合に、請求項１～６の何れか１項に記載の画像取得機器の制御方法を実現する、
    画像取得機器の制御機器。
  11. コンピュータプログラム命令が記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行される場合に、請求項１～６の何れか１項に記載の画像取得機器の制御方法を実現する、記憶媒体。
JP2021130528A 2020-08-07 2021-08-10 画像取得機器のための制御方法、そのための制御機器、および記憶媒体 Pending JP2022031262A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010787944.3A CN114071022B (zh) 2020-08-07 2020-08-07 一种图像采集设备的控制方法、装置、设备及存储介质
CN202010787944.3 2020-08-07

Publications (1)

Publication Number Publication Date
JP2022031262A true JP2022031262A (ja) 2022-02-18

Family

ID=77249771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021130528A Pending JP2022031262A (ja) 2020-08-07 2021-08-10 画像取得機器のための制御方法、そのための制御機器、および記憶媒体

Country Status (5)

Country Link
US (2) US11706533B2 (ja)
EP (1) EP3952266A1 (ja)
JP (1) JP2022031262A (ja)
CN (1) CN114071022B (ja)
AU (1) AU2021212121A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354483A (zh) * 2022-06-28 2024-01-05 天远三维（天津）科技有限公司 一种同步校验方法、装置、电子设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061323A (ja) * 2009-09-07 2011-03-24 Toshiba Corp 同期信号制御回路及び表示装置
CN102438117B (zh) * 2010-09-29 2014-06-11 联芯科技有限公司 手持终端上的摄像头图像数据采集方法及手持终端
CN102651799B (zh) * 2011-02-24 2015-07-01 安凯(广州)微电子技术有限公司 一种采集图像数据的方法
CN103108125B (zh) * 2013-01-07 2015-08-19 华中科技大学 一种多相机系统的取像同步控制设备及其方法
US9041813B1 (en) * 2014-02-14 2015-05-26 Maxim Integrated Products, Inc. Multiple camera synchronization system
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
US20170214903A1 (en) * 2014-03-13 2017-07-27 Sony Corporation Imaging apparatus, imaging system, and control method for imaging apparatus
WO2015156057A1 (ja) * 2014-04-10 2015-10-15 株式会社島津製作所 撮像装置の制御装置
CN103957344B (zh) * 2014-04-28 2017-05-24 广州杰赛科技股份有限公司 多摄像装置的视频同步方法和系统
CN104601900B (zh) * 2015-01-16 2017-11-21 杭州戈虎达科技有限公司 用于智能交互微投设备的图像数据采集方法
US10536633B2 (en) * 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
CN108353122B (zh) * 2015-11-17 2021-03-05 索尼公司 多相机系统、控制多相机系统的方法和相机
CN106131407A (zh) * 2016-07-11 2016-11-16 深圳看到科技有限公司 拍摄同步方法及同步装置
US10326943B2 (en) * 2017-03-29 2019-06-18 Ncr Corporation Overhead camera synchronization
CN107231533B (zh) * 2017-06-12 2019-12-13 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN109302567A (zh) * 2017-07-25 2019-02-01 珠海全志科技股份有限公司 摄像头图像低延迟同步系统及图像低延迟同步方法
US10972637B2 (en) * 2018-03-13 2021-04-06 Lyft, Inc. Systems and methods for synchronizing sensor capture
CN110248111B (zh) * 2018-04-28 2020-08-28 Oppo广东移动通信有限公司 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108848354B (zh) * 2018-08-06 2021-02-09 四川省广播电视科研所 一种vr内容摄像系统及其工作方法
CN109640051B (zh) * 2018-12-20 2020-12-11 长沙全度影像科技有限公司 一种大场景的分布式拼接监控系统
CN111182226B (zh) * 2019-07-16 2021-07-23 北京欧比邻科技有限公司 一种多相机同步工作的方法、装置、介质和电子设备
JP2021190868A (ja) * 2020-05-29 2021-12-13 キヤノン株式会社 映像同期装置、映像同期装置の制御方法及びプログラム

Also Published As

Publication number Publication date
US20220046160A1 (en) 2022-02-10
EP3952266A1 (en) 2022-02-09
AU2021212121A1 (en) 2022-02-24
US20240022824A1 (en) 2024-01-18
US11706533B2 (en) 2023-07-18
CN114071022A (zh) 2022-02-18
CN114071022B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US10523919B2 (en) Apparatus and method for adjusting stereoscopic image parallax and stereo camera
CN107566747B (zh) 一种图像亮度增强方法及装置
US10033989B2 (en) Synchronization controller for multi-sensor camera device and related synchronization method
US20160182890A1 (en) Method and apparatus for bus sharing by multiple imaging sensors
US20180309919A1 (en) Methods and apparatus for controlling exposure and synchronization of image sensors
US10148860B2 (en) Imaging apparatus, external apparatus, imaging system, control method for imaging apparatus, control method for external apparatus, control method for imaging system, and program
US11178367B2 (en) Video display apparatus, video display system, and luminance adjusting method of video display apparatus
CN103839528B (zh) 拼接显示屏的同步显示方法、时钟控制器及拼接显示屏
US10951804B2 (en) Photographing synchronization method and apparatus
JP6181931B2 (ja) 投影装置、制御方法、プログラム、及び投影システム
WO2016197792A1 (zh) 一种数据共享系统
JP2022031262A (ja) 画像取得機器のための制御方法、そのための制御機器、および記憶媒体
KR20190025373A (ko) 복수의 이미지 센서들의 동기화 제어 방법 및 이를 구현한 전자 장치
EP3496087B1 (en) Information processing device, information processing method, and program
EP3840360A1 (en) Image obtaining device control method and apparatus
WO2022104653A1 (zh) 信号处理方法、装置、设备、存储介质及计算机设备
CN110855851B (zh) 一种视频同步装置及方法
TWI581632B (zh) 影像產生方法及影像拍攝裝置
US8902285B2 (en) Wireless communication apparatus for transmitting information on control timing and detecting cause of transmission timing adjustment
JP2016534603A (ja) 色調整モニター、色調整システム及び色調整方法
US20220417412A1 (en) Imaging system, control method, and program
CN114173054B (zh) 多帧频拼接视频源显示控制方法及其系统和led显示系统
CN103685966A (zh) 一种电子设备及图像采集方法
CN115334271B (zh) 高帧率视频生成方法、装置、电子设备及存储介质
KR20160116108A (ko) 프로젝터용 영상 동기화 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20231101