JP2016149678A - Camera calibration unit, camera calibration method and camera calibration program - Google Patents

Camera calibration unit, camera calibration method and camera calibration program Download PDF

Info

Publication number
JP2016149678A
JP2016149678A JP2015026261A JP2015026261A JP2016149678A JP 2016149678 A JP2016149678 A JP 2016149678A JP 2015026261 A JP2015026261 A JP 2015026261A JP 2015026261 A JP2015026261 A JP 2015026261A JP 2016149678 A JP2016149678 A JP 2016149678A
Authority
JP
Japan
Prior art keywords
camera
feature point
subject
frame image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015026261A
Other languages
Japanese (ja)
Other versions
JP6406044B2 (en
Inventor
海虹 張
Haihong Zhang
海虹 張
世紅 労
Shihong Lao
世紅 労
広太郎 吉野
Kotaro Yoshino
広太郎 吉野
剛 倉田
Tsuyoshi Kurata
剛 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2015026261A priority Critical patent/JP6406044B2/en
Publication of JP2016149678A publication Critical patent/JP2016149678A/en
Application granted granted Critical
Publication of JP6406044B2 publication Critical patent/JP6406044B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique for saving the trouble and time for camera calibration.SOLUTION: A first feature point extracting function part 24 extracts a plurality of feature points of an object person imaged in a first frame image that a first camera 10 captures. A second feature point extracting function part 25 extracts a plurality of feature points of an object person imaged in a second frame image that a second camera 11 captures at a different angle from the first camera 10. A feature point associating function part 26 associates the feature points of the object person that the first feature point extracting function part 24 and the feature points of the object person that the second feature point extracting function part 25 with each other. An external parameter calculating function part 27 calculates external parameters of the first and second cameras associated with relative position relation between the cameras using positions of the feature points of the object person in the first frame image and positions of the feature points of the object person in the second frame image.SELECTED DRAWING: Figure 2

Description

この発明は、マルチカメラシステムにおける各カメラの外部パラメータを校正(キャリブレーション)する技術に関する。   The present invention relates to a technique for calibrating external parameters of each camera in a multi-camera system.

従来、アングルが異なる複数のカメラを用いるマルチカメラシステムとして、複数のカメラで撮像した対象領域の立体画像(3次元画像)を生成するもの(例えば、特許文献1参照)や、基準位置を中心とする全周画像を生成するもの(例えば、特許文献2参照)がある。これらの技術は、各カメラが撮像したフレーム画像を、共通の座標系上に射影することによって、立体画像や全周画像を生成するものである。   2. Description of the Related Art Conventionally, as a multi-camera system using a plurality of cameras with different angles, one that generates a three-dimensional image (three-dimensional image) of a target area captured by a plurality of cameras (for example, see Patent Document 1) There is one that generates an all-round image (see, for example, Patent Document 2). In these techniques, a frame image captured by each camera is projected onto a common coordinate system to generate a three-dimensional image or an all-round image.

立体画像や全周画像の生成においては、各カメラによって撮像されるフレーム画像間の位置関係が必要である。このため、特許文献1、2等に記載されているように、カメラ校正(カメラキャリブレーション)を行って、各カメラの外部パラメータを事前に取得している。カメラの外部パラメータは、カメラの位置や姿勢にかかるパラメータである。   In generating a stereoscopic image and an all-round image, a positional relationship between frame images captured by each camera is necessary. For this reason, as described in Patent Documents 1 and 2, etc., camera calibration (camera calibration) is performed, and external parameters of each camera are acquired in advance. The external parameters of the camera are parameters related to the position and orientation of the camera.

特開2013− 93787号公報JP2013-93787A 特開2011− 86111号公報JP2011-86111A

しかしながら、カメラ校正は、特徴点を有するオブジェクトを対象領域にセットし、対象領域を撮像したフレーム画像からオブジェクトの特徴点を抽出する手法で行っていた。例えば、特徴点を有するオブジェクトとしてチェスボードを用いた場合、隣接する2つの黒マスが接する点等を特徴点として抽出する手法で行っていた。   However, camera calibration has been performed by a method in which an object having a feature point is set in a target area, and a feature point of the object is extracted from a frame image obtained by capturing the target area. For example, when a chess board is used as an object having a feature point, a method in which a point where two adjacent black squares contact each other is extracted as a feature point.

このように、カメラ校正にかかる従来の手法は、特徴点を有するオブジェクトを対象領域にセットする必要があり、手間や時間がかかるという問題があった。   As described above, the conventional method for camera calibration has a problem that it is necessary to set an object having a feature point in a target region, which takes time and effort.

また、カメラ本体の取り付け状態(位置や姿勢)は、外力等の外的要因によって変化する。すなわち、カメラの外部パラメータは、外的要因によって変化する。このため、カメラの外部パラメータは、カメラの内部パラメータ(焦点距離やレンズ歪み等にかかるパラメータ)と異なり、定期的に更新する必要があり、カメラ校正にかかる手間、および時間を抑えることが要望されている。   In addition, the mounting state (position and posture) of the camera body changes depending on external factors such as external force. That is, the external parameters of the camera change depending on external factors. For this reason, the external parameters of the camera, unlike the internal parameters of the camera (parameters related to focal length, lens distortion, etc.), need to be updated regularly, and it is desired to reduce the time and labor required for camera calibration. ing.

この発明の目的は、カメラ校正にかかる手間、および時間を抑えることができる技術を提供することにある。   An object of the present invention is to provide a technique capable of reducing labor and time for camera calibration.

この発明のカメラ校正ユニットは、上記目的を達するために、以下のように構成している。   In order to achieve the above object, the camera calibration unit of the present invention is configured as follows.

第1のカメラの撮像領域と、第2のカメラの撮像領域とは、その一部が重なっている。第1の特徴点抽出部は、第1のカメラが撮像した第1のフレーム画像に撮像されている対象者について複数の特徴点を抽出する。また、第2の特徴点抽出部は、第2のカメラが第1のカメラと異なるアングルで撮像した第2のフレーム画像に撮像されている対象者について複数の特徴点を抽出する。例えば、第1の特徴点抽出部、および第2の特徴点抽出部は、フレーム画像に撮像されている対象者の顔の特徴点を複数抽出する。   The imaging area of the first camera and the imaging area of the second camera partially overlap each other. The first feature point extraction unit extracts a plurality of feature points for the subject imaged in the first frame image captured by the first camera. In addition, the second feature point extraction unit extracts a plurality of feature points for the subject imaged in the second frame image captured by the second camera at an angle different from that of the first camera. For example, the first feature point extraction unit and the second feature point extraction unit extract a plurality of feature points of the face of the subject captured in the frame image.

また、特徴点対応付部は、第1の特徴点抽出部が抽出した対象者の特徴点と、第2の特徴点抽出部が抽出した対象者の特徴点と、を対応付ける。外部パラメータ算出部は、特徴点対応付部による対象者の特徴点の対応付け結果と、第1のフレーム画像上における対象者の特徴点の位置と、第2のフレーム画像上における対象者の特徴点の位置とを用いて、第1のカメラと第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する。外部パラメータ算出部は、例えば第1のカメラを基準にし、第1のカメラに対する前記第2のカメラの相対的な位置関係にかかる外部パラメータを算出する。   The feature point association unit associates the feature points of the subject extracted by the first feature point extraction unit with the feature points of the subject extracted by the second feature point extraction unit. The external parameter calculation unit is configured to associate the feature points of the target person with the feature point association unit, the position of the feature point of the target person on the first frame image, and the feature of the target person on the second frame image. Using the position of the point, an external parameter of the camera related to the relative positional relationship between the first camera and the second camera is calculated. The external parameter calculation unit calculates an external parameter related to the relative positional relationship of the second camera with respect to the first camera, for example, based on the first camera.

この構成では、第1のカメラと第2のカメラとにおいて重なっている撮像領域(以下、対象領域と言う。)に位置する対象者の特徴を利用して、第1のカメラと第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する。すなわち、第1のカメラと第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出するカメラ校正が、特徴点を有するオブジェクトを対象領域にセットすることなく行える。したがって、カメラ校正にかかる手間、および時間を抑えることができる。   In this configuration, the first camera and the second camera are utilized by using the characteristics of the subject positioned in the imaging region (hereinafter referred to as the target region) that overlaps between the first camera and the second camera. The external parameters of the camera related to the relative positional relationship between are calculated. That is, camera calibration for calculating the external parameters of the camera related to the relative positional relationship between the first camera and the second camera can be performed without setting an object having a feature point in the target area. Therefore, it is possible to reduce the labor and time required for camera calibration.

また、第2の特徴点抽出部は、第1のフレーム画像に撮像されている対象者の顔画像を用いた顔認証により、第2のフレーム画像に撮像されている対象者を選択する構成としてもよい。   Further, the second feature point extraction unit selects the subject imaged in the second frame image by face authentication using the face image of the subject imaged in the first frame image. Also good.

このように構成すれば、第1の特徴点抽出部、および第2の特徴点抽出部が、異なる対象者から特徴点を抽出するのを防止できる。   If comprised in this way, it can prevent that a 1st feature point extraction part and a 2nd feature point extraction part extract a feature point from a different subject.

また、第1のカメラ、および第2のカメラが動画像を撮像するビデオカメラである場合には、以下のように構成してもよい。   Further, when the first camera and the second camera are video cameras that capture moving images, the following configuration may be used.

第1の動画像入力部には、第1のカメラが撮像した第1の動画像が入力される。第2の動画像入力部には、第2のカメラが撮像した第2の動画像が入力される。そして、第1の特徴点抽出部は、撮像されている対象者の特徴点を複数検出する第1のフレーム画像を、第1の動画像入力部に入力された前記第1の動画像にかかるフレーム画像の中から選択する。例えば、第1の特徴点抽出部は、対象領域にいる人の顔が略正面から撮像されているフレーム画像を第1のフレーム画像として選択する。また、第2の特徴点抽出部は、撮像されている対象者の特徴点を複数検出する第2のフレーム画像を、第1の特徴点抽出部が選択した第1のフレーム画像の撮像タイミングに応じて、第2の動画像入力部に入力された第2の動画像にかかるフレーム画像の中から選択する。   The first moving image input unit receives the first moving image captured by the first camera. The second moving image input unit receives the second moving image captured by the second camera. Then, the first feature point extraction unit applies a first frame image for detecting a plurality of feature points of the subject being imaged to the first moving image input to the first moving image input unit. Select from frame images. For example, the first feature point extraction unit selects, as the first frame image, a frame image in which a person's face in the target region is captured from substantially the front. In addition, the second feature point extraction unit uses the second frame image for detecting a plurality of feature points of the subject being imaged as the imaging timing of the first frame image selected by the first feature point extraction unit. In response, the frame image corresponding to the second moving image input to the second moving image input unit is selected.

これにより、略同じタイミングで撮像された第1のフレーム画像、および第2のフレーム画像を用いてカメラ校正を行うことができるので、算出されるカメラの外部パラメータの精度の低下が抑えられる。   Thereby, since the camera calibration can be performed using the first frame image and the second frame image captured at substantially the same timing, a decrease in accuracy of the calculated external parameter of the camera can be suppressed.

この発明によれば、カメラ校正にかかる手間、および時間を抑えることができる。   According to the present invention, it is possible to reduce the labor and time required for camera calibration.

この例にかかるカメラ校正ユニットの主要部の構成を示す図である。It is a figure which shows the structure of the principal part of the camera calibration unit concerning this example. カメラ校正処理にかかる画像処理プロセッサの機能構成を示すブロック図である。It is a block diagram which shows the function structure of the image processor concerning a camera calibration process. カメラ校正処理を示すフローチャートである。It is a flowchart which shows a camera calibration process. 第1の処理対象フレーム画像、および第2の処理対象フレーム画像を示す図である。It is a figure which shows a 1st process target frame image and a 2nd process target frame image. 抽出した対象者の顔の特徴点、および対象者の顔の特徴点の対応付結果を示す図である。It is a figure which shows the matching result of the feature point of the extracted subject's face, and the feature point of the subject's face.

以下、この発明の実施形態であるカメラ構成ユニットについて説明する。   Hereinafter, a camera configuration unit according to an embodiment of the present invention will be described.

図1は、この例にかかるカメラ校正ユニットの主要部の構成を示す図である。カメラ校正ユニット1は、画像処理プロセッサ2と、第1の動画像入力部3と、第2の動画像入力部4と、記憶部5と、出力部6と、入力部7と、を備えている。   FIG. 1 is a diagram showing the configuration of the main part of the camera calibration unit according to this example. The camera calibration unit 1 includes an image processor 2, a first moving image input unit 3, a second moving image input unit 4, a storage unit 5, an output unit 6, and an input unit 7. Yes.

この例にかかるカメラ校正ユニット1は、第1のカメラ10と、第2のカメラ11との相対的な位置関係にかかるカメラの外部パラメータを算出するカメラ校正(カメラキャリブレーション)を行うとともに、カメラ校正で算出したカメラの外部パラメータを用いて立体画像(3次元画像)を生成する。カメラの外部パラメータは、公知のようにカメラの回転Rと並進Tである。この例では、第1のカメラ10を基準にした、第2のカメラ11の回転Rと、並進Tをカメラの外部パラメータとして算出するカメラ校正を行う。   The camera calibration unit 1 according to this example performs camera calibration (camera calibration) for calculating external parameters of the camera related to the relative positional relationship between the first camera 10 and the second camera 11, and A stereoscopic image (three-dimensional image) is generated using the external parameters of the camera calculated by calibration. The external parameters of the camera are the camera rotation R and translation T as is well known. In this example, camera calibration is performed to calculate the rotation R and translation T of the second camera 11 with the first camera 10 as a reference as external parameters of the camera.

画像処理プロセッサ2は、この発明にかかるカメラ校正方法を実行するコンピュータを備える。また、この発明にかかるカメラ校正プログラムは、画像処理プロセッサ2が備えるコンピュータにインストールされる。画像処理プロセッサ2の機能構成については後述する。また、画像処理プロセッサが備えるコンピュータは、第1のカメラ10が撮像したフレーム画像と、第2のカメラ11が撮像したフレーム画像とを用いて、立体画像を生成する。   The image processor 2 includes a computer that executes the camera calibration method according to the present invention. The camera calibration program according to the present invention is installed in a computer provided in the image processor 2. The functional configuration of the image processor 2 will be described later. The computer included in the image processor generates a stereoscopic image using the frame image captured by the first camera 10 and the frame image captured by the second camera 11.

第1の動画像入力部3には、第1のカメラ10が接続されている。また、第2の動画像入力部4には、第2のカメラ11が接続されている。第1のカメラ10、および第2のカメラ11は、動画像を撮像するビデオカメラである。第1のカメラ10、および第2のカメラ11のフレームレートは、数十フレーム/sec(例えば、30フレーム/sec)である。第1のカメラ10と、第2のカメラ11とは、異なるアングルである。第1のカメラ10の撮像領域と、第2のカメラ11の撮像領域とは、その一部が重複している。この重複している撮像領域を、ここでは対象領域と言う。   A first camera 10 is connected to the first moving image input unit 3. A second camera 11 is connected to the second moving image input unit 4. The first camera 10 and the second camera 11 are video cameras that capture moving images. The frame rate of the first camera 10 and the second camera 11 is several tens of frames / sec (for example, 30 frames / sec). The first camera 10 and the second camera 11 are at different angles. The imaging area of the first camera 10 and the imaging area of the second camera 11 partially overlap. This overlapping imaging region is referred to as a target region here.

第1の動画像入力部3には、第1のカメラ10が撮像した動画像にかかるフレーム画像が入力される。第2の動画像入力部4には、第2のカメラ11が撮像した動画像にかかるフレーム画像が入力される。第1の動画像入力部3、および第2の動画像入力部4は、入力された動画像にかかるフレーム画像を記憶する画像メモリやハードディスク等の記憶媒体(不図示)を有している。   A frame image related to a moving image captured by the first camera 10 is input to the first moving image input unit 3. A frame image related to a moving image captured by the second camera 11 is input to the second moving image input unit 4. The first moving image input unit 3 and the second moving image input unit 4 have a storage medium (not shown) such as an image memory or a hard disk for storing a frame image related to the input moving image.

記憶部5は、後述するカメラ校正処理で算出したカメラの外部パラメータを記憶する。   The storage unit 5 stores external parameters of the camera calculated by camera calibration processing described later.

出力部6は、第1のカメラ10、および第2のカメラ11によって撮像された対象領域の立体画像を出力する。この立体画像は、画像処理プロセッサ2において生成される。出力部6には、立体画像を処理する立体画像処理装置が接続される。立体画像処理装置は、例えば立体画像を表示する表示装置や、対象領域に位置するオブジェクトの立体形状を解析する解析装置である。   The output unit 6 outputs a three-dimensional image of the target area captured by the first camera 10 and the second camera 11. This stereoscopic image is generated by the image processor 2. The output unit 6 is connected to a stereoscopic image processing apparatus that processes a stereoscopic image. The stereoscopic image processing device is, for example, a display device that displays a stereoscopic image or an analysis device that analyzes the stereoscopic shape of an object located in a target region.

入力部7には、カメラ校正ユニット1本体に対してコマンドを入力する入力装置が接続される。入力装置は、後述するカメラ校正処理の実行指示等にかかるコマンドを入力部7に入力する。   An input device for inputting a command to the camera calibration unit 1 main body is connected to the input unit 7. The input device inputs a command related to an execution instruction of a camera calibration process, which will be described later, to the input unit 7.

図2は、後述するカメラ校正処理の実行にかかる画像処理プロセッサの機能構成を示すブロック図である。画像処理プロセッサ2は、上述したように立体画像を生成する機能も有しているが、この立体画像の生成処理にかかる機能構成については、図示を省略している。画像処理プロセッサ2は、第1の処理対象フレーム画像選択機能部21と、第2の処理対象フレーム画像選択機能部22と、顔認証機能部23と、第1の特徴点抽出機能部24と、第2の特徴点抽出機能部25と、特徴点対応付機能部26と、外部パラメータ算出機能部27と、を備えている。   FIG. 2 is a block diagram showing a functional configuration of an image processor related to execution of camera calibration processing to be described later. The image processor 2 also has a function of generating a stereoscopic image as described above, but the functional configuration relating to the processing of generating the stereoscopic image is not shown. The image processing processor 2 includes a first processing target frame image selection function unit 21, a second processing target frame image selection function unit 22, a face authentication function unit 23, a first feature point extraction function unit 24, A second feature point extraction function unit 25, a feature point association function unit 26, and an external parameter calculation function unit 27 are provided.

第1の処理対象フレーム画像選択機能部21は、第1のカメラ10が撮像した動画像にかかるフレーム画像(第1の動画像入力部3に入力されたフレーム画像)の中から、第1の処理対象フレーム画像を選択する。第2の処理対象フレーム画像選択機能部22は、第2のカメラ11が撮像した動画像にかかるフレーム画像(第2の動画像入力部4に入力されたフレーム画像)の中から、第2の処理対象フレーム画像を選択する。特に、第2の処理対象フレーム画像選択機能部22は、第2のカメラ11が撮像した動画像にかかるフレーム画像の中から、第1の処理対象フレーム画像選択機能部21が選択した第1の処理対象フレーム画像の撮像タイミングに対して、時間的にもっと近い撮像タイミングのフレーム画像を第2の処理対象フレーム画像として選択する。すなわち、第1の処理対象フレーム画像選択機能部21が選択した第1の処理対象フレーム画像の撮像タイミングと、第2の処理対象フレーム画像選択機能部22が選択した第2の処理対象フレーム画像の撮像タイミングとは、略同じである。   The first processing target frame image selection function unit 21 selects the first image from the frame images (the frame image input to the first moving image input unit 3) related to the moving image captured by the first camera 10. Select a frame image to be processed. The second processing target frame image selection function unit 22 selects the second image from the frame images (the frame images input to the second moving image input unit 4) related to the moving images captured by the second camera 11. Select a frame image to be processed. In particular, the second processing target frame image selection function unit 22 selects the first processing target frame image selection function unit 21 selected from the frame images related to the moving image captured by the second camera 11. A frame image having an imaging timing closer in time to the imaging timing of the processing target frame image is selected as the second processing target frame image. That is, the imaging timing of the first processing target frame image selected by the first processing target frame image selection function unit 21 and the second processing target frame image selected by the second processing target frame image selection function unit 22. The imaging timing is substantially the same.

第1の特徴点抽出機能部24は、第1の処理対象フレーム画像上の対象領域に撮像されている対象者について顔の特徴点を複数抽出する。また、抽出した顔の特徴点毎に、第1の処理対象フレーム画像上の位置を検出する。   The first feature point extraction function unit 24 extracts a plurality of facial feature points for the subject imaged in the target region on the first processing target frame image. Further, a position on the first processing target frame image is detected for each extracted facial feature point.

顔認証機能部23は、第2の処理対象フレーム画像上の対象領域に撮像されている人の中から、第1の特徴点抽出機能部24が顔の特徴量を抽出した対象者を顔認証により検出する。   The face authentication function unit 23 performs face authentication on the target person from which the first feature point extraction function unit 24 has extracted the facial feature quantity from among the persons imaged in the target region on the second processing target frame image. To detect.

第2の特徴点抽出機能部25は、顔認証機能部23によって検出された対象者について顔の特徴点を複数抽出する。また、抽出した顔の特徴点毎に、第2の処理対象フレーム画像上の位置を検出する。   The second feature point extraction function unit 25 extracts a plurality of face feature points for the subject detected by the face authentication function unit 23. Further, the position on the second processing target frame image is detected for each extracted facial feature point.

特徴点対応付機能部26は、第1の特徴点抽出機能部24が抽出した対象者の顔の特徴点と、第2の特徴点抽出機能部25が抽出した対象者の顔の特徴点と、を対応付ける。   The feature point association function unit 26 includes feature points of the subject's face extracted by the first feature point extraction function unit 24, and feature points of the subject's face extracted by the second feature point extraction function unit 25. , Are associated.

外部パラメータ算出機能部27は、第1の処理対象フレーム画像上における特徴点対応付機能部26が対応付けた対象者の顔の特徴点の位置と、第2の処理対象フレーム画像上における特徴点対応付機能部26が対応付けた対象者の顔の特徴点の位置と、を用いて、第1のカメラ10と、第2のカメラ11との相対的な位置関係にかかる外部パラメータを算出する。   The external parameter calculation function unit 27 includes the position of the feature point of the face of the subject associated with the feature point association function unit 26 on the first processing target frame image, and the feature point on the second processing target frame image. An external parameter related to the relative positional relationship between the first camera 10 and the second camera 11 is calculated using the position of the feature point of the subject's face associated with the association function unit 26. .

次に、このカメラ校正ユニット1におけるカメラ校正の動作について説明する。図3は、カメラ校正処理を示すフローチャートである。カメラ校正ユニット1は、カメラ校正処理の実行指示にかかるコマンドが入力部7に入力されると、図3に示すカメラ校正処理を行う。   Next, the camera calibration operation in the camera calibration unit 1 will be described. FIG. 3 is a flowchart showing camera calibration processing. The camera calibration unit 1 performs the camera calibration process shown in FIG. 3 when a command related to the execution instruction of the camera calibration process is input to the input unit 7.

なお、ここでは、カメラ校正処理の実行指示にかかるコマンドが入力部7に入力されたタイミングで、カメラ校正処理を実行するとしているが、このカメラ校正処理を定期的に実行するようにしてもよい。カメラ校正ユニット1は、例えば、毎週日曜日の午前0時や、毎月1日の午前0時にカメラ校正処理を実行するように、スケジューリングが行える構成であってもよい。   In this example, the camera calibration process is executed at the timing when the command related to the camera calibration process execution instruction is input to the input unit 7. However, the camera calibration process may be periodically executed. . For example, the camera calibration unit 1 may be configured to perform scheduling so that camera calibration processing is executed at midnight every Sunday or at midnight on the first day of every month.

カメラ校正ユニット1は、第1のカメラ10が撮像した動画像にかかるフレーム画像が第1の動画像入力部3に入力されているとともに、第2のカメラ11が撮像した動画像にかかるフレーム画像が第2の動画像入力部4に入力されている。   In the camera calibration unit 1, a frame image related to a moving image captured by the first camera 10 is input to the first moving image input unit 3, and a frame image related to a moving image captured by the second camera 11. Is input to the second moving image input unit 4.

画像処理プロセッサ2は、第1のカメラ10が撮像した動画像にかかるフレーム画像(第1の動画像入力部3に入力されたフレーム画像)の中から、後述するカメラ校正処理に用いる第1の処理対象フレーム画像を選択する(s1)。s1では、カメラ校正処理の開始タイミング(カメラ校正処理の実行指示にかかるコマンドが入力部7に入力されたタイミング等)の直後に入力された所定フレーム数(例えば、10フレーム)のフレーム画像の中から、第1の処理対象フレーム画像を選択する。例えば、対象領域に、略正面から顔が撮像されている人がいるフレーム画像を第1の処理対象フレーム画像として選択する。また、この人(略正面から顔が撮像されている対象領域にいる人)を、対象者として選択する。このs1にかかる処理は、上述した第1の処理対象フレーム画像選択機能部21によって行われる。   The image processing processor 2 uses a first image used for a camera calibration process to be described later from frame images (frame images input to the first moving image input unit 3) related to the moving images captured by the first camera 10. A processing target frame image is selected (s1). In s1, a frame image of a predetermined number of frames (for example, 10 frames) input immediately after the start timing of the camera calibration processing (timing at which a command related to the camera calibration processing execution instruction is input to the input unit 7). Then, the first processing target frame image is selected. For example, a frame image in which a person whose face is imaged from substantially the front in the target region is selected as the first processing target frame image. Also, this person (a person in the target area whose face is imaged from substantially the front) is selected as the target person. The processing related to s1 is performed by the first processing target frame image selection function unit 21 described above.

画像処理プロセッサ2は、第2のカメラ11が撮像した動画像にかかるフレーム画像(第2の動画像入力部4に入力されたフレーム画像)の中から、後述するカメラ校正処理に用いる第2の処理対象フレーム画像を選択する(s2)。s2では、s1で選択された第1の処理対象フレーム画像の撮像タイミングに対して、時間的にもっと近い撮像タイミングのフレーム画像を第2の処理対象フレーム画像として選択する。このs2にかかる処理は、上述した第2の処理対象フレーム画像選択機能部22によって行われる。   The image processor 2 uses a second image used for camera calibration processing to be described later from frame images (frame images input to the second moving image input unit 4) of the moving images captured by the second camera 11. A processing target frame image is selected (s2). In s2, a frame image having an imaging timing that is closer in time to the imaging timing of the first processing target frame image selected in s1 is selected as the second processing target frame image. The processing related to s2 is performed by the second processing target frame image selection function unit 22 described above.

したがって、s1で選択された第1の処理対象フレーム画像の撮像タイミングと、s2で選択された第2の処理対象フレーム画像の撮像タイミングとは、略同じである。   Therefore, the imaging timing of the first processing target frame image selected in s1 and the imaging timing of the second processing target frame image selected in s2 are substantially the same.

図4は、s1で選択された第1の処理対象フレーム画像、およびs2で選択された第2の処理対象フレーム画像を示す図である。図4は、撮像されている対象者以外の人や、背景等については、図示を省略している。第1のカメラ10と、第2のカメラ11とのアングルの違いにより、第1の処理対象フレーム画像、および第2の処理対象フレーム画像における対象者の撮像位置や、対象者の向き等が異なっている。   FIG. 4 is a diagram illustrating the first processing target frame image selected in s1 and the second processing target frame image selected in s2. In FIG. 4, illustrations of people other than the subject being imaged, the background, and the like are omitted. Depending on the angle difference between the first camera 10 and the second camera 11, the imaging position of the subject, the orientation of the subject, etc. in the first processing target frame image and the second processing target frame image are different. ing.

画像処理プロセッサ2は、第2の処理対象フレーム画像上の対象領域に撮像されている人の中から、s1で選択した対象者を顔認証により検出する(s3)。このs3にかかる処理は、上述した顔認証機能部23によって行われる。   The image processor 2 detects the target person selected in s1 by face authentication from the persons captured in the target area on the second processing target frame image (s3). The processing related to s3 is performed by the face authentication function unit 23 described above.

画像処理プロセッサ2は、第1の処理対象フレーム画像上の対象領域に撮像されている対象者(s1で選択した対象者)の顔の特徴点を複数抽出する(s4)。また、画像処理プロセッサ2は、第2の処理対象フレーム画像上の対象領域に撮像されている対象者(s3で顔認証により検出した対象者)の顔の特徴点を複数抽出する(s5)。s4で抽出する対象者の顔の特徴点の個数と、s5で抽出する対象者の顔の特徴点の個数とは、同じであってもよいし、同じでなくてもよい。s4にかかる処理は、上述した第1の特徴点抽出機能部24によって行われる。また、s5にかかる処理は、上述した第2の特徴点抽出機能部25によって行われる。   The image processor 2 extracts a plurality of feature points of the face of the target person (target person selected in s1) captured in the target area on the first processing target frame image (s4). Further, the image processor 2 extracts a plurality of facial feature points of the target person (target person detected by face authentication in s3) imaged in the target area on the second processing target frame image (s5). The number of feature points of the subject's face extracted in s4 and the number of feature points of the subject's face extracted in s5 may or may not be the same. The processing relating to s4 is performed by the first feature point extraction function unit 24 described above. Further, the processing relating to s5 is performed by the second feature point extraction function unit 25 described above.

この発明で言う第1の特徴点抽出部は、第1の処理対象フレーム画像選択機能部21、および第1の特徴点抽出機能部24によって構成される。また、この発明で言う第2の特徴点抽出部は、第2の処理対象フレーム画像選択機能部22、顔認証機能部23、および第2の特徴点抽出機能部25によって構成される。   The first feature point extraction unit referred to in the present invention includes a first processing target frame image selection function unit 21 and a first feature point extraction function unit 24. The second feature point extraction unit referred to in the present invention includes a second processing target frame image selection function unit 22, a face authentication function unit 23, and a second feature point extraction function unit 25.

画像処理プロセッサ2は、s4で抽出した対象者の顔の特徴点と、s5で抽出した対象者の顔の特徴点とを対応付ける(s6)。図5は、s4、s5で抽出した対象者の顔の特徴点、およびs6での対象者の顔の特徴点の対応付結果を示す図である。図5に示すハッチングした小円は、s4、s5で抽出した対象者の顔の特徴点である。s6では、s4で抽出した対象者の顔の特徴点の中に、s5で抽出した特徴点に対応付けられない特徴点があってもよいし、逆に、s5で抽出した対象者の顔の特徴点の中に、s4で抽出した特徴点に対応付けられない特徴点があってもよい。図5に示す両端矢印の直線は、特徴点が対応付けられたことを示している。また、両端矢印の直線が記されていない特徴点は、対応付けることができなかった特徴点である。s6にかかる処理は、上述した特徴点対応付機能部26によって行われる。   The image processor 2 associates the feature point of the subject's face extracted in s4 with the feature point of the subject's face extracted in s5 (s6). FIG. 5 is a diagram illustrating a correspondence result of the feature points of the subject's face extracted in s4 and s5 and the feature points of the subject's face in s6. The hatched small circles shown in FIG. 5 are the facial feature points of the subject extracted at s4 and s5. In s6, there may be a feature point that is not associated with the feature point extracted in s5 among the feature points of the subject's face extracted in s4, and conversely, Among the feature points, there may be a feature point that is not associated with the feature point extracted in s4. A straight line with double-ended arrows shown in FIG. 5 indicates that feature points are associated with each other. Also, feature points that are not marked with a straight line with double-ended arrows are feature points that could not be associated. The process related to s6 is performed by the above-described feature point association function unit 26.

画像処理プロセッサ2は、s6で対応付けることができた特徴点の組数が予め定めた所定数以上であるかどうかを判定する(s7)。s7では、s6で対応付けることができた特徴点の組数が、第1のカメラ10、および第2のカメラ11の相対的な位置関係にかかる外部パラメータを算出することができる組数以上であるかどうかを判定している。すなわち、s7では、第1のカメラ10、および第2のカメラ11の相対的な位置関係にかかる外部パラメータが算出できるかどうかを判定している。   The image processor 2 determines whether or not the number of sets of feature points that can be associated in s6 is equal to or greater than a predetermined number (s7). In s7, the number of sets of feature points that can be associated in s6 is equal to or greater than the number of sets that can calculate the external parameters related to the relative positional relationship between the first camera 10 and the second camera 11. Judging whether or not. That is, in s7, it is determined whether or not an external parameter related to the relative positional relationship between the first camera 10 and the second camera 11 can be calculated.

カメラ校正ユニット1は、カメラの外部パラメータを、s6で対応付けた特徴点の第1の処理対象フレーム画像上の位置(座標)と、第2の処理対象フレーム画像上の位置(座標)とを用いて算出する。このとき、第1のカメラ10を基準にし、第2のカメラ11の回転Rと、並進Tをカメラの外部パラメータとして算出する。カメラの外部パラメータを算出する演算手法については、様々な演算手法が公知である。例えば、上述した特許文献1等に記載されている。カメラ校正ユニット1は、カメラの外部パラメータを、すでに公知であるいずれの演算手法で算出してもよい。   The camera calibration unit 1 determines the position (coordinate) on the first processing target frame image and the position (coordinate) on the second processing target frame image of the feature point associated with the external parameters of the camera in s6. Use to calculate. At this time, based on the first camera 10, the rotation R and translation T of the second camera 11 are calculated as external parameters of the camera. Various calculation methods are known for calculating the camera external parameters. For example, it is described in Patent Document 1 mentioned above. The camera calibration unit 1 may calculate the external parameters of the camera by any known calculation method.

画像処理プロセッサ2は、s6で対応付けることができた特徴点の組数が予め定めた所定数未満であると判定すると、開始タイミングを更新し(s10)、s1に戻って、上記処理を繰り返す。s10では、現時点を、開始タイミングに設定する。   If the image processor 2 determines that the number of feature point pairs that can be associated in s6 is less than a predetermined number, the image processor 2 updates the start timing (s10), returns to s1, and repeats the above processing. In s10, the current time is set as the start timing.

画像処理プロセッサ2は、s6で対応付けることができた特徴点の組数が予め定めた所定数以上であると判定すると、第1のカメラ10、および第2のカメラ11の相対的な位置関係にかかる外部パラメータを算出する(s8)。   If the image processor 2 determines that the number of sets of feature points that can be associated in s6 is equal to or greater than a predetermined number, the relative position relationship between the first camera 10 and the second camera 11 is determined. Such external parameters are calculated (s8).

カメラ校正ユニット1は、s8で算出した外部パラメータを記憶部5に記憶し(s9)、本処理を終了する。   The camera calibration unit 1 stores the external parameter calculated in s8 in the storage unit 5 (s9), and ends this process.

このように、この例にかかるカメラ校正ユニット1は、特徴点を有するチェスボード等のオブジェクトを対象領域にセットすることなく、第1のカメラ10と第2のカメラ11との相対的な位置関係にかかるカメラの外部パラメータを算出することができる。したがって、カメラ校正にかかる手間、および時間を抑えることができる。   Thus, the camera calibration unit 1 according to this example has a relative positional relationship between the first camera 10 and the second camera 11 without setting an object such as a chess board having a feature point in the target area. It is possible to calculate an external parameter of the camera according to the above. Therefore, it is possible to reduce the labor and time required for camera calibration.

また、顔認証により、第1の処理対象フレーム画像に撮像されている対象者と、第2の処理対照フレーム画像に撮像されている対象者と、を対応付けるので、異なる対象者から特徴点を抽出するのを防止できる。すなわちs5以降の処理を無駄に行うことがない。また、第1の処理対象フレーム画像において、略正面から顔が撮像されている人を対象者として選択するので、対象者の顔の特徴点をより多く抽出できる。   Further, since the target person imaged in the first process target frame image and the target person imaged in the second process control frame image are associated by face authentication, feature points are extracted from different target persons. Can be prevented. That is, processing after s5 is not performed wastefully. Further, in the first processing target frame image, a person whose face is imaged from substantially the front is selected as the target person, so that more feature points of the target person's face can be extracted.

また、第1の処理対象フレーム画像、および第2の処理対象フレーム画像の撮像タイミングが略同じであるので、算出するカメラの外部パラメータの精度の低下が抑えられる。   Moreover, since the imaging timings of the first processing target frame image and the second processing target frame image are substantially the same, a decrease in the accuracy of the external parameters of the camera to be calculated can be suppressed.

また、カメラ校正ユニット1は、記憶部5に記憶している外部パラメータを用いて、第1のカメラ10が撮像した動画像にかかるフレーム画像と、第2のカメラ11が撮像した動画像にかかるフレーム画像と、を用いて、対象領域の立体画像を生成し、生成した立体画像を出力部6から出力する。   In addition, the camera calibration unit 1 uses the external parameters stored in the storage unit 5 and applies the frame image related to the moving image captured by the first camera 10 and the moving image captured by the second camera 11. A stereoscopic image of the target area is generated using the frame image, and the generated stereoscopic image is output from the output unit 6.

また、カメラ校正ユニット1は、3台のカメラが接続され、各カメラの外部パラメータを算出する構成であってもよい。この場合には、任意の1台のカメラを基準にすることで、他の2台のカメラについては、基準にしたカメラに対する、相対的な位置関係にかかる外部パラメータを算出する。   Further, the camera calibration unit 1 may be configured such that three cameras are connected and external parameters of each camera are calculated. In this case, by using one arbitrary camera as a reference, external parameters relating to the relative positional relationship with respect to the reference camera are calculated for the other two cameras.

また、上記の例は、カメラ校正において用いる、撮像タイミングが略同じである第1の処理対象フレーム画像と、第2の処理対象フレーム画像を1組としたが、撮像タイミングが略同じである第1の処理対象フレーム画像と、第2の処理対象フレーム画像を複数組用いてカメラ校正を行ってもよい。撮像タイミングが略同じである第1の処理対象フレーム画像と、第2の処理対象フレーム画像を複数組用いれば、s8における外部パラメータの算出に用いる対応付けた特徴点の組数を増加させることができる。したがって、カメラ校正の精度の向上が図れる。   In the above example, the first processing target frame image and the second processing target frame image having substantially the same imaging timing used in camera calibration are set as one set, but the imaging timing is substantially the same. Camera calibration may be performed using a plurality of sets of one processing target frame image and second processing target frame images. If a plurality of sets of first processing target frame images and second processing target frame images having substantially the same imaging timing are used, the number of sets of associated feature points used for calculating external parameters in s8 can be increased. it can. Therefore, the accuracy of camera calibration can be improved.

また、ここでは、対象領域の立体画像を生成するものを例にして説明を行ったが、上述した特許文献2に記載されている全周画像を生成する複数台のカメラであっても、外部パラメータを算出することができる。   In addition, here, an example has been described in which a stereoscopic image of a target area is generated. However, even with a plurality of cameras that generate a full-circumference image described in Patent Document 2 described above, Parameters can be calculated.

また、カメラ校正ユニット1は、いずれかのカメラに内蔵させた構成であってもよいし、パーソナルコンピュータ等の情報処理装置に内蔵させた構成であってもよい。   Further, the camera calibration unit 1 may be configured to be incorporated in any camera, or may be configured to be incorporated in an information processing apparatus such as a personal computer.

1…カメラ校正ユニット
2…画像処理プロセッサ
3…第1の動画像入力部
4…第2の動画像入力部
5…記憶部
6…出力部
7…入力部
10…第1のカメラ
11…第2のカメラ
21…第1の処理対象フレーム画像選択機能部
22…第2の処理対象フレーム画像選択機能部
23…顔認証機能部
24…第1の特徴点抽出機能部
25…第2の特徴点抽出機能部
26…特徴点対応付機能部
27…外部パラメータ算出機能部
DESCRIPTION OF SYMBOLS 1 ... Camera calibration unit 2 ... Image processor 3 ... 1st moving image input part 4 ... 2nd moving image input part 5 ... Memory | storage part 6 ... Output part 7 ... Input part 10 ... 1st camera 11 ... 2nd Camera 21 ... first processing target frame image selection function unit 22 ... second processing target frame image selection function unit 23 ... face authentication function unit 24 ... first feature point extraction function unit 25 ... second feature point extraction Function unit 26: Feature point correspondence function unit 27: External parameter calculation function unit

Claims (7)

第1のカメラが撮像した第1のフレーム画像に撮像されている対象者について複数の特徴点を抽出する第1の特徴点抽出部と、
第2のカメラが前記第1のカメラと異なるアングルで撮像した第2のフレーム画像に撮像されている前記対象者について複数の特徴点を抽出する第2の特徴点抽出部と、
前記第1の特徴点抽出部が抽出した前記対象者の特徴点と、前記第2の特徴点抽出部が抽出した前記対象者の特徴点と、を対応付ける特徴点対応付部と、
前記特徴点対応付部による前記対象者の特徴点の対応付け結果と、前記第1のフレーム画像上における前記対象者の特徴点の位置と、前記第2のフレーム画像上における前記対象者の特徴点の位置とを用いて、前記第1のカメラと前記第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出部と、を備えたカメラ校正ユニット。
A first feature point extraction unit that extracts a plurality of feature points for the subject imaged in the first frame image captured by the first camera;
A second feature point extracting unit that extracts a plurality of feature points for the subject imaged in the second frame image captured by the second camera at an angle different from that of the first camera;
A feature point association unit that associates the feature points of the subject extracted by the first feature point extraction unit with the feature points of the subject extracted by the second feature point extraction unit;
Results of associating feature points of the subject by the feature point association unit, positions of the feature points of the subject on the first frame image, and features of the subject on the second frame image A camera calibration unit comprising: an external parameter calculation unit that calculates an external parameter of the camera related to a relative positional relationship between the first camera and the second camera using a point position.
前記第1の特徴点抽出部は、前記第1のカメラが撮像した前記第1のフレーム画像に撮像されている前記対象者の顔の特徴点を複数抽出し、
前記第2の特徴点抽出部は、前記第2のカメラが撮像した前記第2のフレーム画像に撮像されている前記対象者の顔の特徴点を複数抽出する、請求項1に記載のカメラ校正ユニット。
The first feature point extraction unit extracts a plurality of feature points of the face of the subject captured in the first frame image captured by the first camera,
The camera calibration according to claim 1, wherein the second feature point extraction unit extracts a plurality of feature points of the face of the subject captured in the second frame image captured by the second camera. unit.
前記第2の特徴点抽出部は、前記第1のフレーム画像に撮像されている前記対象者の顔画像を用いた顔認証により、前記第2のフレーム画像に撮像されている前記対象者を選択する、請求項1、または2に記載のカメラ校正ユニット。   The second feature point extraction unit selects the subject imaged in the second frame image by face authentication using the face image of the subject imaged in the first frame image. The camera calibration unit according to claim 1 or 2. 前記第1のカメラが撮像した第1の動画像を入力する第1の動画像入力部と、
前記第2のカメラが撮像した第2の動画像を入力する第2の動画像入力部と、を備え、
前記第1の特徴点抽出部は、撮像されている前記対象者の特徴点を複数検出する前記第1のフレーム画像を、前記第1の動画像入力部に入力された前記第1の動画像にかかるフレーム画像の中から選択し、
前記第2の特徴点抽出部は、撮像されている前記対象者の特徴点を複数検出する前記第2のフレーム画像を、前記第1の特徴点抽出部が選択した前記第1のフレーム画像の撮像タイミングに応じて、前記第2の動画像入力部に入力された前記第2の動画像にかかるフレーム画像の中から選択する、請求項1〜3のいずれかに記載のカメラ校正ユニット。
A first moving image input unit for inputting a first moving image captured by the first camera;
A second moving image input unit for inputting a second moving image captured by the second camera,
The first feature point extracting unit is configured to input the first moving image obtained by inputting, to the first moving image input unit, the first frame image for detecting a plurality of feature points of the subject being imaged. Select from the frame images
The second feature point extraction unit is configured to select the second frame image for detecting a plurality of feature points of the subject being imaged, the first frame image selected by the first feature point extraction unit. The camera calibration unit according to any one of claims 1 to 3, wherein the camera calibration unit is selected from frame images related to the second moving image input to the second moving image input unit in accordance with an imaging timing.
前記外部パラメータ算出部は、前記第1のカメラを基準にし、前記第1のカメラに対する前記第2のカメラの相対的な位置関係にかかる外部パラメータを算出する、請求項1〜4のいずれかに記載のカメラ校正ユニット。   The external parameter calculation unit calculates an external parameter related to a relative positional relationship of the second camera with respect to the first camera with the first camera as a reference. The camera calibration unit described. 第1のカメラが撮像した第1のフレーム画像に撮像されている対象者について複数の特徴点を抽出する第1の特徴点抽出ステップと、
第2のカメラが前記第1のカメラと異なるアングルで撮像した第2のフレーム画像に撮像されている前記対象者について複数の特徴点を抽出する第2の特徴点抽出ステップと、
前記第1の特徴点抽出ステップで抽出した前記対象者の特徴点と、前記第2の特徴点抽出ステップで抽出した前記対象者の特徴点と、を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップによる前記対象者の特徴点の対応付け結果と、前記第1のフレーム画像上における前記対象者の特徴点の位置と、前記第2のフレーム画像上における前記対象者の特徴点の位置とを用いて、前記第1のカメラと前記第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出ステップと、をコンピュータが実行するカメラ校正方法。
A first feature point extracting step of extracting a plurality of feature points for the subject imaged in the first frame image captured by the first camera;
A second feature point extracting step of extracting a plurality of feature points for the subject imaged in the second frame image captured by the second camera at an angle different from that of the first camera;
A feature point associating step for associating the feature point of the subject extracted in the first feature point extraction step with the feature point of the subject extracted in the second feature point extraction step;
Results of associating feature points of the subject in the feature point association step, positions of the feature points of the subject on the first frame image, and features of the subject on the second frame image A camera calibration method in which a computer executes an external parameter calculation step of calculating an external parameter of a camera related to a relative positional relationship between the first camera and the second camera using a point position.
第1のカメラが撮像した第1のフレーム画像に撮像されている対象者について複数の特徴点を抽出する第1の特徴点抽出ステップと、
第2のカメラが前記第1のカメラと異なるアングルで撮像した第2のフレーム画像に撮像されている前記対象者について複数の特徴点を抽出する第2の特徴点抽出ステップと、
前記第1の特徴点抽出ステップで抽出した前記対象者の特徴点と、前記第2の特徴点抽出ステップで抽出した前記対象者の特徴点と、を対応付ける特徴点対応付ステップと、
前記特徴点対応付ステップによる前記対象者の特徴点の対応付け結果と、前記第1のフレーム画像上における前記対象者の特徴点の位置と、前記第2のフレーム画像上における前記対象者の特徴点の位置とを用いて、前記第1のカメラと前記第2のカメラとの相対的な位置関係にかかるカメラの外部パラメータを算出する外部パラメータ算出ステップと、をコンピュータに実行させるカメラ校正プログラム。
A first feature point extracting step of extracting a plurality of feature points for the subject imaged in the first frame image captured by the first camera;
A second feature point extracting step of extracting a plurality of feature points for the subject imaged in the second frame image captured by the second camera at an angle different from that of the first camera;
A feature point associating step for associating the feature point of the subject extracted in the first feature point extraction step with the feature point of the subject extracted in the second feature point extraction step;
Results of associating feature points of the subject in the feature point association step, positions of the feature points of the subject on the first frame image, and features of the subject on the second frame image A camera calibration program for causing a computer to execute an external parameter calculation step of calculating an external parameter of a camera related to a relative positional relationship between the first camera and the second camera using a point position.
JP2015026261A 2015-02-13 2015-02-13 Camera calibration unit, camera calibration method, and camera calibration program Active JP6406044B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015026261A JP6406044B2 (en) 2015-02-13 2015-02-13 Camera calibration unit, camera calibration method, and camera calibration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015026261A JP6406044B2 (en) 2015-02-13 2015-02-13 Camera calibration unit, camera calibration method, and camera calibration program

Publications (2)

Publication Number Publication Date
JP2016149678A true JP2016149678A (en) 2016-08-18
JP6406044B2 JP6406044B2 (en) 2018-10-17

Family

ID=56691347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015026261A Active JP6406044B2 (en) 2015-02-13 2015-02-13 Camera calibration unit, camera calibration method, and camera calibration program

Country Status (1)

Country Link
JP (1) JP6406044B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106799732A (en) * 2016-12-07 2017-06-06 中国科学院自动化研究所 For the control system and its localization method of the motion of binocular head eye coordination
JP2022516466A (en) * 2019-01-14 2022-02-28 ソニーグループ株式会社 Information processing equipment, information processing methods, and programs
JP7497188B2 (en) 2020-03-27 2024-06-10 株式会社国際電気通信基礎技術研究所 Calibration equipment, training equipment, and computer programs

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11070706B2 (en) * 2018-11-15 2021-07-20 Sony Corporation Notifications for deviations in depiction of different objects in filmed shots of video content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192378A (en) * 2002-12-12 2004-07-08 Toshiba Corp Face image processor and method therefor
JP2012209895A (en) * 2011-03-30 2012-10-25 Fujitsu Ltd Stereo image calibration method, stereo image calibration device and stereo image calibration computer program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192378A (en) * 2002-12-12 2004-07-08 Toshiba Corp Face image processor and method therefor
JP2012209895A (en) * 2011-03-30 2012-10-25 Fujitsu Ltd Stereo image calibration method, stereo image calibration device and stereo image calibration computer program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106799732A (en) * 2016-12-07 2017-06-06 中国科学院自动化研究所 For the control system and its localization method of the motion of binocular head eye coordination
JP2022516466A (en) * 2019-01-14 2022-02-28 ソニーグループ株式会社 Information processing equipment, information processing methods, and programs
JP7497188B2 (en) 2020-03-27 2024-06-10 株式会社国際電気通信基礎技術研究所 Calibration equipment, training equipment, and computer programs

Also Published As

Publication number Publication date
JP6406044B2 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
JP6532217B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING SYSTEM
JP2019028843A (en) Information processing apparatus for estimating person's line of sight and estimation method, and learning device and learning method
JP5906028B2 (en) Image processing apparatus and image processing method
TWI425828B (en) Image capturing apparatus, method for determing image area ,and computer-readable recording medium
US20160337593A1 (en) Image presentation method, terminal device and computer storage medium
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
JP2013042411A (en) Image processing apparatus, projector and projector system comprising the image processing apparatus, image processing method, program thereof, and recording medium having the program recorded thereon
JP2010086336A (en) Image control apparatus, image control program, and image control method
JP2016143157A (en) Image processing device, image processing method and image processing system
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP6406044B2 (en) Camera calibration unit, camera calibration method, and camera calibration program
JP2013135341A5 (en)
JPWO2009004916A1 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
JP6104066B2 (en) Image processing apparatus and image processing method
JP2019175112A (en) Image processing device, photographing device, image processing method, and program
JP2022051312A5 (en)
JP2018201146A (en) Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system
JP6483661B2 (en) Imaging control apparatus, imaging control method, and program
WO2015198478A1 (en) Image distortion correction apparatus, information processing apparatus and image distortion correction method
JP2017021254A5 (en)
JP2019191661A (en) Image processing apparatus, imaging device, image processing method, and program
JP2009239391A (en) Compound eye photographing apparatus, control method therefor, and program
JP2015191074A (en) Imaging apparatus
US11790483B2 (en) Method, apparatus, and device for identifying human body and computer readable storage medium
CN111279352A (en) Three-dimensional information acquisition system through ball throwing exercise and camera parameter calculation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6406044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250