JP2019087791A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2019087791A
JP2019087791A JP2017212236A JP2017212236A JP2019087791A JP 2019087791 A JP2019087791 A JP 2019087791A JP 2017212236 A JP2017212236 A JP 2017212236A JP 2017212236 A JP2017212236 A JP 2017212236A JP 2019087791 A JP2019087791 A JP 2019087791A
Authority
JP
Japan
Prior art keywords
cameras
information processing
processing apparatus
images
image pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017212236A
Other languages
English (en)
Inventor
朋彦 下山
Tomohiko Shimoyama
朋彦 下山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017212236A priority Critical patent/JP2019087791A/ja
Priority to PCT/JP2018/039874 priority patent/WO2019087958A1/ja
Publication of JP2019087791A publication Critical patent/JP2019087791A/ja
Priority to US16/863,745 priority patent/US11514606B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】カメラの位置や姿勢に関するパラメータを容易に判定できる情報処理装置、情報処理方法、及び、プログラムを提供する。【解決手段】キャリブレーション装置は、複数のカメラによる複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得し(S102)、取得された複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行い(S103)、当該検出処理の結果を用いることによって、複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する(S106)。【選択図】図4

Description

本発明は、カメラの位置及び姿勢等のパラメータの判定処理に関する。
仮想視点映像(自由視点映像などとも呼ばれる)を生成するために、複数のカメラの位置及び姿勢などのパラメータを高精度に判定する必要がある。各カメラのパラメータの判定には、複数のカメラの共通視野領域に置かれたマーカの撮影画像を用いて行われることが一般的である。
特許文献1には、共通視野領域に置かれたマーカを複数のカメラが撮影することで各カメラの位置及び姿勢などのパラメータを判定することが開示されている。
特開2005−351883号公報
各カメラのパラメータを高精度に判定するためには、複数のカメラが同じ空間位置にあるマーカを撮影する必要がある。また、各カメラのパラメータを高精度に判定するためには、マーカがある1か所の位置に存在するときの複数のカメラの撮影画像だけでなく、マーカが別の位置に存在するときの複数カメラの撮影画像も必要となる。
従って、例えば、マーカを共通視野領域内で移動させることで各カメラのパラメータを判定する場合には、以下のようなステップで撮影を行うことになる。
(1)マーカを移動させる
(2)マーカが停止したことを確認する
(3)複数のカメラでマーカを撮影する
(4)撮影が終わったことを確認し、(1)から繰り返す
なお、2以上のマーカを用いる場合であっても、(1)〜(4)の繰り返しが必要となる。このように従来は、各カメラのパラメータを容易に判定することができなかった。
上記課題を解決するために本発明の情報処理装置は、例えば以下の構成を有する。すなわち、複数のカメラによる複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得する取得手段と、前記取得手段により取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出手段と、
前記撮影のタイムコードが一致する複数の撮影画像に対する前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定手段とを有する。
本発明によれば、各カメラのパラメータをより容易に判定できるようになる。
実施形態の全体構成を説明するための図である。 実施形態に係る各装置の構成を説明するための図である。 画像バッファ212を説明するための図である。 キャリブレーション装置100の動作を説明するための図である。 マーカ411を説明するための図である。 マーカ保持者410〜440が移動する様子を示した図である。 マーカ保持者410〜440が移動する順序を示した図である。 キャリブレーション装置100の動作を説明するための図である。 実施形態の全体構成を説明するための図である。 キャリブレーション装置100の動作を説明するための図である。 実施形態の全体構成を説明するための図である。
<第1実施形態>
第1実施形態のカメラキャリブレーションシステムについて説明する。本実施形態においては、カメラキャリブレーションシステムが仮想視点映像生成用のカメラシステムに適用される場合の例を中心に説明する。仮想視点映像は、複数のカメラにより撮影された複数の撮影映像と、仮想的な視点及び方向等(仮想カメラパラメータ)に基づいて生成される。ただし、仮想視点映像生成用のカメラシステムに限らず、種々のマルチカメラシステムに本実施形態のカメラキャリブレーションシステムは適用可能である。なお、本実施形態において、キャリブレーションとは、複数のカメラの位置合わせに関する処理であるものとする。すなわち、本実施形態のキャリブレーション装置100により実行されるキャリブレーション処理は、複数のカメラのそれぞれの位置及び姿勢等に関するパラメータを判定する処理を含む。また、キャリブレーション処理は、上記パラメータに基づいて、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。ただし、本実施形態のキャリブレーション装置100は、キャリブレーション処理の少なくとも一部を実行し、残ったキャリブレーション処理を他の装置に実行させるようにしても良い。
第1実施形態のシステム構成を図1に示す。本実施形態では、キャリブレーション装置100を起点として、デイジーチェーン接続によりカメラ制御装置210〜260が接続される。なお、接続形態はデイジーチェーン接続に限らず、スター型など別のネットワークトポロジーを採用しても良い。
カメラ制御装置210〜260にはカメラ310〜360が接続される。本実施形態では、カメラ制御装置210〜260とカメラ310〜360は1対1で対応しているが、これに限らない。例えば、N台のカメラに対して1台のカメラ制御装置が対応するようにしても良い。また、本実施形態では、カメラ制御装置とカメラが異なる装置であるものとして説明しているが、カメラ制御装置の機能が、カメラに含まれるようにすることも可能である。
カメラ制御装置210〜260は、ネットワークを通じて送られてくるキャリブレーション装置100からの指示に基づいて、カメラ310〜360を制御する。また、カメラ制御装置210〜260は、キャリブレーション装置100から送られてくる同期信号に基づいて、カメラ310〜360に同期信号を送る。
キャリブレーション装置100、カメラ制御装置210、及び、カメラ310のより詳しい構成について図2を用いて説明する。本実施形態のキャリブレーション装置100は、キャリブレーション計算部101、画像取得部102、及び、同期サーバ103を有する。また、カメラ制御装置210は、画像送信部211、画像バッファ212、及び、同期クライアント213を有する。なお、カメラ制御装置320〜360はカメラ制御装置310と同様の構成及び機能を有し、カメラ320〜360はカメラ310と同様の構成及び機能を有する。
同期サーバ103と同期クライアント213は、ネットワークを通じて送られる同期信号(同期パケット)により同期をとる。本実施形態では同期プロトコルとしてPTP(Precision Time Protocol)を使用する。ただし、他のプロトコルを用いて同期をとるようにしても良い。
本実施形態において、同期サーバ103は、同期クライアント213に対して、同期信号を送信する。そして、同期クライアント213は、同期サーバ103からの同期信号の受信に応じてカメラ310に対してゲンロック信号とタイムコードを送信する。カメラ310はゲンロック信号に応じたタイミングで撮影を行い、当該撮影により得られた画像信号と、同期クライアント213からのタイムコードとを画像バッファ212に送信する。画像バッファ212は、カメラ310からの画像信号とタイムコードを記録する。
画像バッファ212の構成を図3に示す。画像バッファ212は、バッファ212−1及び、循環カウンタ212−2を有する。画像バッファ212は、カメラ310から画像信号とタイムコードを受信すると、循環カウンタ212−2が示すバッファ212−1内の記録領域に、当該情報を書き込み、循環カウンタ212−2を1つインクリメントする。バッファ212−1の記録領域がいっぱいになった場合は、最も古いタイムコードに対応する記録領域に新たな画像信号が上書きされる。上記の動作により、画像バッファ212には過去一定時間(バッファ212−1の大きさにより決まる)分の画像信号とタイムコードが記録される。なお、図3では、タイムコードが0から始まる正数である例を示しているが、これに限らず、タイムサーバや内部時計から取得される絶対時刻の情報がタイムコードとして用いられるようにしても良い。
画像送信部211は、キャリブレーション装置100からの「時刻Tの画像の要求」に応じ、画像バッファ212からタイムコード「T」に対応付けられた画像信号を読み出し、それをキャリブレーション装置100へ送信する。
キャリブレーション装置100は、カメラ310〜360により撮影された撮影画像を用いることによって、カメラ310〜360のパラメータを計算する。キャリブレーション装置100により計算されるパラメータには、カメラ310〜360のそれぞれの位置及び姿勢に関するパラメータ(外部パラメータ)が含まれる。なおカメラ310〜360の位置及び姿勢に関するパララメータに加えて、各カメラの焦点距離やレンズ歪みなどに関するパラメータ(内部パラメータ)が計算されるようにしても良い。
なお、本実施形態では、図2で説明する各ブロックが、それぞれ専用のハードウェアにより実現される場合の例を中心に説明する。しかしながら、各ブロックのうち少なくとも何れか1つの機能が、1又は複数の汎用プロセッサ(例えばCPU)によってソフトウェア的に実現されるようにしても良い。
キャリブレーション装置100の動作について図4を用いて説明する。キャリブレーション装置100の同期サーバ103は、カメラ制御装置210〜260の同期クライアント213〜263に対して、同期信号の送信を開始する(S101)。カメラ制御装置210〜260は、同期サーバ103からの同期信号に応じたタイミングでカメラ310〜360に撮影を実行させる。つまり、カメラ310〜360は同じタイミングでの撮影を開始する。そして、カメラ310〜360の撮影により得られた撮影画像は、タイムコードと共に画像バッファ212に記録される。
画像取得部102は、タイムコードが一致する複数の撮影画像を、ネットワークを通じてカメラ制御装置210〜260から取得し、それをキャリブレーション計算部101に送信する(S102)。より具体的には、画像取得部102は、カメラ制御装置210〜260のそれぞれに対して、時刻Tのタイムコードを指定した画像リクエストを送信する。そして、画像取得部102は、当該画像リクエストのレスポンスとして、時刻Tにカメラ310〜360のそれぞれによって撮影された撮影画像を取得する。
キャリブレーション計算部101は、画像取得部102から送られた複数の撮影画像のそれぞれに対してマーカを検出するための検出処理を実行する(S103)。マーカとは所定の画像パターンである。キャリブレーション計算部101は、パターンマッチングなどの公知の手法を用いることによって、撮影画像から当該所定の画像パターンを検出する。なお、図1のマーカ411及びマーカ421において示す通り、本実施形態では、複数種類の画像パターンをマーカとして用いる。そして、キャリブレーション計算部101は、各撮影画像に、各種類の画像パターンの検出処理を実行する。
キャリブレーション計算部101は、マーカを検出した場合、カメラごとに時刻Tとマーカ識別子Nとの組(T,N)と、マーカ座標(x,y)を記録する(S104)。すなわちキャリブレーション計算部101は、時刻Tと、マーカの識別子と、撮影画像内におけるマーカの位置情報とを対応付けて記録する。以上のS102〜104を撮影終了指示が入力されるまで繰り返す(S105)。
撮影終了指示が入力されると(S105にてYes)、キャリブレーション計算部101は、(T,N)の組をマーカIDとしてキャリブレーション処理を行う(S106)。なお本実施形態では時刻ごとにマーカの位置が変化しうることを前提としているため、マーカの識別子NをそのままマーカIDとして使用することはできない。つまり、同一の識別子Nに対応付けられたマーカ座標であっても、同一時刻のマーカ座標でなければ、キャリブレーション処理は成功しない。一方、時刻Tと識別子Nの組が同一である複数のマーカ座標を用いれば、正しくキャリブレーション処理ができる。
そこで、本実施形態のキャリブレーション計算部101は、(T,N)の組をマーカIDとして扱ってキャリブレーション処理を行う。なお、上述の通り、本実施形態のキャリブレーション処理は、複数のカメラの位置合わせに関する処理である。そして、キャリブレーション処理は、複数のカメラのそれぞれの位置及び姿勢等に関するパラメータを判定する処理、及び、そのパラメータに基づいて、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。撮影画像から検出されたマーカの位置に基づいてキャリブレーション処理を行う具体的な方法は、特許文献1等において示されているため、ここでは説明を省略する。
マーカ保持者410〜440(図1では410〜420のみ記載する)は、マーカ411〜441を持ってカメラ310〜360の共通視野領域を歩く。マーカ411〜441はそれぞれ異なる画像パターンを有する。また、マーカ411〜441の画像パターンにはそれぞれ異なるマーカ識別子Nの情報が埋め込まれているものとする。キャリブレーション計算部101は、撮影画像に対する画像処理によって、当該マーカ識別子Nを読み出すことができる。マーカ411の画像パターンの例を図5に示す。本実施形態では平面の板の両面に特殊なパターンを印刷したものをマーカ保持者が持って歩くものとする。
より具体的なマーカ保持者410〜440の歩き方として、サッカー場での歩き方について図6を用いて詳細に説明する。図6では、サッカー場を4つの領域に分け、マーカ保持者410〜440が各自の領域をまんべんなく歩く様子を示している。
また、本実施形態では、マーカ保持者410〜440が図7に示すように、最初サッカー場の横方向に歩き、その後、縦方向に歩くものとする。これは以下の理由による。すなわち、本実施形態においてはマーカ411〜441が平面であるため、マーカを正面方向又は裏面方向から撮影するカメラの撮影画像からはマーカ411〜441が検出される。一方で、マーカ411〜441を横方向から撮影するカメラ310〜360の撮影画像からはマーカ411〜441が検出できない。よってマーカ保持者410〜440が方向を変えて歩くことで、マーカ411〜441が縦方向のとき、横方向のときのいずれかでカメラ310〜360に写るようになる。なお、本実施形態は、マーカ保持者410〜440がサッカー場を縦方向に歩いた後、横方向に歩くようにしても良い。
また、本実施形態では、マーカ保持者410〜440の移動範囲は互いに重複するようにしている。このようにすることで、マーカが検出されない領域が発生しないようにできる。
以上説明したように、本実施形態のキャリブレーション装置100(情報処理装置)は、複数のカメラ310〜360のそれぞれの撮影画像(同一のタイムコードに対応する撮影画像)を取得する。そして、当該複数の撮影画像から所定の画像パターン(マーカ)を検出するための検出処理を実行し、その結果を用いてカメラ310〜360のそれぞれのキャリブレーション処理を行う。キャリブレーション処理には、カメラの位置及び姿勢に関連するパラメータを判定する処理や、各カメラの撮影画像の座標系を、複数のカメラに共通の座標系に対応付けるための処理を含む。なお、キャリブレーション装置100は、上述のすべての処理を必ず行わなければならないわけではなく、キャリブレーション処理の一部を、別の装置に実行させるようにしても良い。本実施形態のシステムによれば、比較的少ない数のマーカを用いて高精度のキャリブレーションを行うことができる。
<第2実施形態>
次に第2実施形態について、第1実施形態との差異を中心に説明する。第2実施形態では、移動するマーカを同期した複数のカメラで動画として撮影し、その動画から同時刻の撮影画像を取り出してキャリブレーション処理を行う例を説明する。
本実施形態のシステム構成は図1に示した通りである。また、キャリブレーション装置100、カメラ制御装置210〜260、及び、カメラ310〜360の各構成も基本的には図2を用いて説明した通りである。ただし、本実施形態のカメラ制御装置210〜260は、それぞれが動画を記録するための録画部を有する。
カメラ制御装置210〜260は、ネットワークを通じて送られてくるキャリブレーション装置100からの指示に基づき、カメラ310〜360に同期撮影を実行させると共にカメラ310〜360による撮影画像を録画する。
キャリブレーション装置100は、マーカ保持者410〜440(図1では410〜420のみ記載する)がカメラ310〜360の共通視野領域を歩き回る間、カメラ制御装置210〜260がその様子を動画として録画するよう指示を出す。すなわち、本実施形態のキャリブレーション装置100は、複数のカメラ制御装置210〜260に対して、動画の録画に関する指示を送信する。
そして、キャリブレーション装置100は、カメラ310〜360による動画の撮影が完了した後に、カメラ310〜360のそれぞれの撮影動画を構成する複数の画像のうち、タイムコードが一致する(つまり同時に撮影された)複数の画像を取得する。
本実施形態のキャリブレーション装置100の動作を図8のフローチャートを用いて詳細に説明する。キャリブレーション装置100の同期サーバ103は、カメラ制御装置210〜260の同期クライアント213〜263に対して、同期信号の送信を開始する(S201)。カメラ制御装置210〜260は、同期サーバ103からの同期信号に応じたタイミングでカメラ310〜360に撮影を実行させる。つまり、カメラ310〜360は同じタイミングでの撮影を開始する。
続いてキャリブレーション装置100の同期サーバ103は、カメラ制御装置210〜260に動画の録画開始を指示する。これにより、サッカー場内でマーカ保持者410〜440が移動する様子が録画される(S202)。そして、キャリブレーション装置100の同期サーバ103は、キャリブレーション処理に十分な動画を録画したらカメラ制御装置210〜260に対して録画停止を指示する(S203)。
そして画像取得部102は、時刻Tを撮影開始時間に設定し(S204)、カメラ制御装置210〜250に対し、時刻Tを指定して画像リクエストを送信する(S205)。そしてキャリブレーション計算部101は、S205において取得された時刻Tの撮影画像に対して、マーカを検出するための検出処理を実行する(S206)。マーカが検出された場合、キャリブレーション計算部101は、カメラごとに、時刻Tとマーカ識別子Nとの組(T,N)と、マーカ座標(x,y)を記録する(S207)。そして、時刻Tを3秒進め(S208)、時刻Tが撮影終了時刻に達していない場合はS205に戻る。
なお、S208において加算される時間は、3秒に限らない。本実施形態では300秒(5分)の撮影期間において3秒おきに1枚の撮影画像を要する場合を想定している。フィールドの広さやマーカ保持者の人数などにより、S208において加算すべき秒数は増減しうる。
時刻Tが撮影終了時刻に達したと判定された場合(S209にてYes)、同期サーバ103は、録画終了の指示をカメラ制御装置210〜260の同期クライアント213へ送信する。また、キャリブレーション計算部101は、時刻Tとマーカ識別子Nの組(T,N)をマーカIDとして用いることによってキャリブレーション処理を行う(S210)。
本実施形態のシステムによっても、第1実施形態と同様に、比較的少ない数のマーカを用いて高精度のキャリブレーションを行うことができる。
<第3実施形態>
次に第3実施形態について、第1実施形態との差異を中心に説明する。第3実施形態は、プロジェクタでマーカを投影し、それを同期した複数のカメラで撮影し、その撮影画像を用いてキャリブレーション処理を行う例を説明する。
本実施形態のシステム構成を図9に示す。本実施形態では、マーカ保持者410〜440がフィールドを歩く代わりに、レーザープロジェクタ500によってフィールド上にマーカ510〜560が投影される。キャリブレーション装置100は、新しい位置にレーザープロジェクタ500がマーカを投影するたびにカメラ制御装置210〜260から同時に撮影された複数の画像を取得して、キャリブレーション処理を行う。
本実施形態のキャリブレーション装置100の動作について図10のフローチャートを用いて説明する。図10のS301、S303〜S307は、図4のS101〜S106にそれぞれ対応している。本実施形態の特徴的なステップはS302である。すなわち、キャリブレーション装置100は、レーザープロジェクタ500を制御してマーカ510〜560を新しい位置に投影させる(S302)。そして、画像取得部102は、レーザープロジェクタ500が新たな位置にマーカを投影するごとに、カメラ310〜360から同時に撮影された撮影画像を取得する(S302〜305)。なお、本実施形態ではキャリブレーション装置100がレーザープロジェクタ500の投影制御を行う例を説明するが、別の装置がレーザープロジェクタ500を制御するようにしても構わない。
レーザープロジェクタ500は、レーザーを走査して画像を投影するため、同時に多数のマーカを投影することは難しい。そこで本実施形態では、マーカの投影位置を変えるごとに撮影を行うという処理を繰り返すことで比較的少ないマーカ数で高精度のキャリブレーション処理を行うことができる。
なお本実施形態ではマーカの投影位置を変えるごとに撮影をする例を中心に示したが、第2実施形態のようにカメラ210〜260が動画撮影を行い、その動画を用いてキャリブレーションを行っても同様の効果を得ることができる。
また本実施形態ではレーザープロジェクタ500によりマーカを描画したが、マーカの代わりに特徴量のマッチングによって撮影画像内の同一地点を見つけられるような模様を描画しても、キャリブレーション処理は実行可能である。
以上の処理により、レーザープロジェクタで少数のマーカしか投影できない場合でも、同期したカメラでマーカ位置を変えて複数回撮影することで、多数のマーカを投影した時と同様の精度でカメラキャリブレーションを行うことができる。
<第4実施形態>
次に第4実施形態について、第1実施形態との差異を中心に説明する。第4実施形態は、飛行物体(例えばドローン)でマーカを移動させ、それを同期した複数のカメラで撮影し、その撮影画像を用いてキャリブレーション処理を行う例を説明する。
本実施形態のシステム構成を図11に示す。本実施形態では、マーカ保持者410〜440がフィールドを歩く代わりに、キャリブレーション装置100がドローン610〜620の飛行制御を行う。ドローン610〜620はマーカ611〜612を有しており、カメラ310〜360がそれらを撮影する。なお、キャリブレーション装置100の代わりに他の装置がドローン610〜620の動きを制御するようにしても良い。
本実施形態ではドローン610〜620につけたマーカ611〜621を撮影する例を示したが、ドローン本体の画像の特徴量に基づいてキャリブレーション処理が行われるようにしても良い。
以上の処理により、少数のドローンしか使用できない場合でも、同期したカメラでドローンの位置を変えて複数回撮影することで、多数のドローンを使用した時と同様の精度でキャリブレーション処理を行うことができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 キャリブレーション装置
101 キャリブレーション計算部
102 画像取得部
103 同期サーバ
210 カメラ制御装置
211 画像送信部
212 画像バッファ
213 同期クライアント

Claims (10)

  1. 複数のカメラにより撮影された複数の撮影画像であって、撮影のタイムコードが一致する前記複数の撮影画像を取得する取得手段と、
    前記取得手段により取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出手段と、
    前記撮影のタイムコードが一致する複数の撮影画像に対する前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定手段とを有することを特徴とする情報処理装置。
  2. 前記検出手段は、複数種類の所定の画像パターンを検出することが可能であり、
    前記判定手段は、前記検出手段により検出された画像パターンの種類に応じた識別子と、前記タイムコードと、が一致する前記複数の撮影画像における前記画像パターンの位置情報を用いることによって、前記パラメータを判定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、前記複数のカメラのそれぞれの撮影画像を記録するカメラ制御装置に対して、タイムコードを指定した画像リクエストを送信することで前記複数の撮影画像を取得することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記複数のカメラと複数のカメラ制御装置は1対1で対応することを特徴とする請求項3に記載の情報処理装置。
  5. 前記取得手段は、前記複数のカメラによる動画の撮影が完了した後に、前記複数のカメラのそれぞれの撮影動画を構成する複数の画像のうち、前記タイムコードが一致する複数の画像を取得することを特徴とする請求項1乃至4のうち、何れか1項に記載の情報処理装置。
  6. 前記所定の画像パターンをプロジェクタに投影させる投影制御手段を有することを特徴とする請求項1乃至5のうち、何れか1項に記載の情報処理装置。
  7. 前記所定の画像パターンを有する飛行物体の動きを制御する飛行制御手段を有することを特徴とする請求項1乃至5のうち、何れか1項に記載の情報処理装置。
  8. 前記判定手段は、前記検出手段による前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの焦点距離及びレンズ歪みに関するパラメータをさらに判定する請求項1乃至7のうち、何れか1項に記載の情報処理装置。
  9. 複数のカメラにより同時刻に撮影された複数の撮影画像を取得する取得ステップと、
    前記取得ステップにおいて取得された前記複数の撮影画像のそれぞれに対して、所定の画像パターンを検出するための検出処理を行う検出ステップと、
    前記同時刻に撮影された前記複数の撮影画像に対する前記所定の画像パターンの検出処理の結果を用いることによって、前記複数のカメラのそれぞれの位置及び姿勢に関するパラメータを判定する判定ステップとを有することを特徴とする情報処理方法。
  10. コンピュータを請求項1乃至8のうち、何れか1項に記載の情報処理装置の各手段として動作させるためのプログラム。
JP2017212236A 2017-11-01 2017-11-01 情報処理装置、情報処理方法、及び、プログラム Pending JP2019087791A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017212236A JP2019087791A (ja) 2017-11-01 2017-11-01 情報処理装置、情報処理方法、及び、プログラム
PCT/JP2018/039874 WO2019087958A1 (ja) 2017-11-01 2018-10-26 情報処理装置、情報処理方法、及び、プログラム
US16/863,745 US11514606B2 (en) 2017-11-01 2020-04-30 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017212236A JP2019087791A (ja) 2017-11-01 2017-11-01 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2019087791A true JP2019087791A (ja) 2019-06-06

Family

ID=66331876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017212236A Pending JP2019087791A (ja) 2017-11-01 2017-11-01 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11514606B2 (ja)
JP (1) JP2019087791A (ja)
WO (1) WO2019087958A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020193950A (ja) * 2019-05-30 2020-12-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
WO2022201891A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 校正装置および校正方法
US11288842B2 (en) 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
JP2020197497A (ja) * 2019-06-05 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 三次元計測装置、三次元計測方法およびプログラム
WO2021146031A1 (en) * 2020-01-19 2021-07-22 Udisense Inc. Measurement calibration using patterned sheets
EP3882857A1 (en) * 2020-03-19 2021-09-22 Sony Group Corporation Extrinsic calibration of multi-camera system
DE102020206593A1 (de) * 2020-05-27 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Kalibrierung mindestens eines Sensors
WO2022005597A1 (en) * 2020-07-02 2022-01-06 Qualcomm Incorporated Coordinated multi-viewpoint image capture

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324239A (ja) * 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
JP4238586B2 (ja) * 2003-01-30 2009-03-18 ソニー株式会社 キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
JP4622301B2 (ja) * 2004-05-07 2011-02-02 オムロン株式会社 監視システム、および監視カメラ
JP4533090B2 (ja) 2004-05-14 2010-08-25 キヤノン株式会社 指標較正装置および情報処理方法
JP4861034B2 (ja) * 2006-03-29 2012-01-25 クラリオン株式会社 車載カメラのキャリブレーションシステム
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
JP2013012045A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム
JP2014197802A (ja) * 2013-03-29 2014-10-16 ブラザー工業株式会社 作業支援システムおよびプログラム
JP6385139B2 (ja) * 2014-05-28 2018-09-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020193950A (ja) * 2019-05-30 2020-12-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7240258B2 (ja) 2019-05-30 2023-03-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
WO2022201891A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US11514606B2 (en) 2022-11-29
US20200258257A1 (en) 2020-08-13
WO2019087958A1 (ja) 2019-05-09

Similar Documents

Publication Publication Date Title
JP2019087791A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4778306B2 (ja) 非同期画像部分をマッチングすること
KR101697200B1 (ko) 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR101767662B1 (ko) 다시점 카메라 동기화 시스템 및 방법
CN105827933A (zh) 一种摄像方法、装置以及移动终端
KR20160047846A (ko) 영상 정합 방법
JP2020086983A5 (ja)
JP6953188B2 (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
WO2018227329A1 (zh) 一种同步曝光的方法、装置及终端设备
JP2013124941A (ja) 測距装置、及び測距方法
KR101909897B1 (ko) 카메라와 프로젝터간의 동기화 방법 및 장치
CN110225247B (zh) 一种图像处理方法及电子设备
CN111279352B (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
WO2017096859A1 (zh) 照片的处理方法及装置
JP6969739B2 (ja) 位置情報取得システム、位置情報取得方法及びプログラム
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN107455006B (zh) 一种同步曝光的方法、装置及终端设备
JP2015126402A (ja) ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム
JP6633140B2 (ja) 常時キャリブレーションシステム及びその方法
KR101649754B1 (ko) 다시점 카메라를 위한 분산 시스템에서 제어 신호 전달 방법 및 다시점 카메라를 위한 분산 시스템
KR102430726B1 (ko) 멀티 카메라의 정보 처리 장치 및 방법
TWI815693B (zh) 資料處理系統、資料處理方法和電腦可讀儲存媒體
TWI812369B (zh) 控制方法、追蹤系統以及非暫態電腦可讀取媒體