JP2021124395A - パン・チルト角算出装置及びそのプログラム - Google Patents
パン・チルト角算出装置及びそのプログラム Download PDFInfo
- Publication number
- JP2021124395A JP2021124395A JP2020018169A JP2020018169A JP2021124395A JP 2021124395 A JP2021124395 A JP 2021124395A JP 2020018169 A JP2020018169 A JP 2020018169A JP 2020018169 A JP2020018169 A JP 2020018169A JP 2021124395 A JP2021124395 A JP 2021124395A
- Authority
- JP
- Japan
- Prior art keywords
- pan
- coordinate system
- tilt angle
- camera
- target point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 72
- 239000013256 coordination polymer Substances 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 13
- 230000009466 transformation Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
設定手段は、光学中心を原点としたカメラ座標系の目標点位置をスケール係数に依存する関数と、回転中心におけるパン・チルト後のパン・チルト座標系及び雲台座標系の間で回転中心から目標点までの距離が一致することを示す第1式と、外部パラメータにより目標点位置を世界座標系から雲台座標系に変換する第2式と、パン・チルト座標系の目標点位置をスケール係数による回転行列及び並進ベクトルで表した第3式と、を予め設定する。
パン・チルト角算出手段は、パン・チルト座標系及び雲台座標系の目標点位置からパン・チルト角を算出する。
以上のように、パン・チルト角算出装置は、前記したカメラモデルで求めたパラメータと、前記した第1式とを用いるので、正確なパン・チルト角を算出し、実在するカメラを正確に方向制御することができる。
[カメラ制御システムの概略]
図1を参照し、カメラ制御システム1の概略について説明する。
カメラ制御システム1は、カメラCの姿勢(パン、チルト)を制御するものであり、カメラCと、カメラ校正装置10と、カメラパラメータ記憶装置20と、パン・チルト角算出装置30とを備える。ここで、カメラ制御システム1は、各装置が同期信号により同期して動作することとする。
また、カメラCは、パン及びチルト可能な雲台Caにマウント(搭載)されており、パン・チルト角をセンサ(不図示)により取得可能である。また、カメラCは、ズームレンズCbを搭載し、ズーム値をセンサにより取得可能である。このセンサにより取得したパン・チルト角及びズーム値は、カメラ校正時に使用される。制御には使用しないが、複数のパン・チルト角の候補から1つを選択する際に使用してもよい。なお、センサが取得したパン値、チルト値及びズーム値と、カメラCが撮影した撮影画像との時間的整合が取れていることとする。
カメラ校正装置10は、カメラCの光学中心と回転中心との位置ずれを考慮したカメラモデルを用いて、カメラCのカメラ校正を行うものである。すなわち、カメラ校正装置10は、このカメラモデルを用いたカメラ校正により、カメラCのカメラパラメータを推定する。そして、カメラ校正装置10は、推定したカメラパラメータをカメラパラメータ記憶装置20に書き込む。
なお、カメラモデル及びカメラパラメータの詳細は、後記する。
参考文献2:加納正規他、“センサを用いた複数のパン・チルト・ズームカメラの校正手法”、第20回画像の認識・理解シンポジウム論文集、PS3−3(2017)
参考文献3:大久保英彦他、“バーチャルスタジオ用高倍率ズームレンズのキャリブレーション手法”、電子情報通信学会技術研究報告、MVE、マルチメディア・仮想環境基礎108.226、61−66.(2008)
図3に示すように、カメラCのモデル化を行う。このカメラモデルは、雲台CaにズームレンズCbを搭載したカメラCをマウントしたモデルである。このカメラCをモデル化することで、推定すべきカメラパラメータを定義できる。そして、そのパラメータが推定できれば、関数化もしくはルックアップテーブル化することで、センサ値から一般的なカメラパラメータが算出できる。
図1に戻り、パン・チルト角算出装置30の構成について説明する。
図1に示すように、パン・チルト角算出装置30は、パラメータ入力手段(入力手段)31と、演算式設定手段(設定手段)32と、目標点算出手段33と、パン・チルト角算出手段34と、パン・チルト角選択手段35とを備える。
ここで、パラメータ入力手段31が取得するパラメータについて説明する。
カメラパラメータには、内部パラメータκ(n)、外部パラメータCμPT(n)、及び、外部パラメータCPμWが含まれている。
内部パラメータκ(n)は、カメラCとレンズに関する特性を表すパラメータである。
外部パラメータCμPT(n)は、パン・チルト座標系ΣPTからカメラ座標系ΣCへの変換を示す外部パラメータである(剛体変換行列CMPT(n)と等価)。
外部パラメータCPμWは、世界座標系ΣWから雲台座標系ΣCPへの変換を示す外部パラメータである(剛体変換行列CPMWと等価)。
目標点位置wXaは、パン・チルトによりカメラCを向ける目標点Aの位置を世界座標系ΣWで示したものである。
画像座標uaは、目標点位置wXaを画像座標系で示しており、目標点Aを投影(例えば、透視投影)する画像座標を示すものである。ここで、画像座標uaは、レンズ歪のない画像座標を想定している。また、レンズ歪がある場合、レンズ歪係数を用いて、画像座標uaからレンズ歪を予め除去することが好ましい(参考文献4)。
ズーム値naは、カメラCのズームレンズCbのズーム値である。このズーム値naは、手動で設定する。
なお、目標点位置及びパン・チルト角の算出は、詳細を後記する。
なお、パン・チルト角選択手段35は、パン・チルト角算出手段34からパン・チルト角が1つだけ入力された場合、そのパン・チルト角をそのままカメラCに出力すればよい。
以下、目標点位置及びパン・チルト角の算出を具体的に説明する。
入力されたズーム値naに応じて、パラメータκ(n),CμPT(n)は一意に定まる。そのため、以後の説明では、(n)の表記を省略する場合がある。
図5を参照し、パン・チルト角算出装置30の動作について説明する。
図5に示すように、ステップS1において、パラメータ入力手段31は、パン・チルト角(p,t)の算出に必要な各種パラメータ(κ(n)、CμPT(n)、CPμW、wXa、ua、na)を入力する。
ステップS2において、演算式設定手段32は、パン・チルト角(p,t)の算出に必要な各種演算式(式(15)〜式(19))を予め設定する。
ステップS4において、パン・チルト角算出手段34は、ステップS3で算出したパン・チルト座標系ΣPTの目標点位置PTXa、及び、雲台座標系ΣCPの目標点位置CPXaから、カメラCのパン・チルト角(p,t)を算出する。
ステップS5において、パン・チルト角選択手段35は、ステップS4で算出した複数のパン・チルト角(p,t)のうち、前回算出したパン・チルト角(p,t)に最も近いものを選択する。
以上のように、パン・チルト角算出装置30は、カメラCの光学中心と回転中心との位置ずれを考慮したカメラモデルで求めたパラメータと、パン・チルト座標系ΣPTの及び雲台座標系ΣCPの間で回転中心から目標点Aまでの距離Lが一致することを示す第1式とを用いる。これにより、パン・チルト角算出装置30は、正確なパン・チルト角(p,t)を算出できるので、カメラCを正確に方向制御することができる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
パン・チルト角選択手段は、予め設定されたカメラの可動域内でパン・チルト角を選択してもよい。
10 カメラ校正装置
20 カメラパラメータ記憶装置
30 パン・チルト角算出装置
31 パラメータ入力手段(入力手段)
32 演算式設定手段(設定手段)
33 目標点算出手段
34 パン・チルト角算出手段
35 パン・チルト角選択手段
C カメラ
Claims (5)
- カメラの光学中心と回転中心との位置ずれを考慮したカメラモデルで予め求めたカメラパラメータを用いて、目標点に対する前記カメラのパン・チルト角を算出するパン・チルト角算出装置であって、
世界座標系から前記回転中心におけるパン角及びチルト角がゼロ度のときの雲台座標系への変換を示す外部パラメータ及び、前記世界座標系の目標点位置を入力する入力手段と、
前記光学中心を原点としたカメラ座標系の目標点位置をスケール係数に依存する関数と、前記回転中心におけるパン・チルト後のパン・チルト座標系及び前記雲台座標系の間で前記回転中心から前記目標点までの距離が一致することを示す第1式と、前記外部パラメータにより前記目標点位置を前記世界座標系から前記雲台座標系に変換する第2式と、前記パン・チルト座標系の目標点位置を前記スケール係数による回転行列及び並進ベクトルで表した第3式と、を予め設定する設定手段と、
前記第2式により前記目標点位置を前記雲台座標系に変換し、前記第1式に前記第2式及び前記第3式を代入して前記スケール係数を算出し、算出した前記スケール係数を前記関数に代入して前記カメラ座標系の目標点位置を算出し、前記カメラ座標系の目標点位置を前記パン・チルト座標系に変換する目標点算出手段と、
前記パン・チルト座標系及び前記雲台座標系の目標点位置から前記パン・チルト角を算出するパン・チルト角算出手段と、
を備えることを特徴とするパン・チルト角算出装置。 - 前記設定手段は、
前記カメラ座標系の目標点位置CXaを前記スケール係数sに依存する関数CXa(s)として、前記カメラ座標系の座標[CX(s),CY(s),CZ(s)]、前記目標点の画像座標[ua,va]、画像中心の座標[cu,cv]、画像座標u,v方向それぞれの焦点距離fu,fv、及び、前記カメラ座標系で目標点位置CXaをz=1に正規化したときの目標点位置CX´aが含まれる式(15)を予め設定し、
- 前記パン・チルト角算出手段が算出した複数の前記パン・チルト角のうち、前回算出した前記パン・チルト角に最も近いものを選択するパン・チルト角選択手段、をさらに備えることを特徴とする請求項1又は請求項2に記載のパン・チルト角算出装置。
- コンピュータを、請求項1から請求項4の何れか一項に記載のパン・チルト角算出装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020018169A JP7470518B2 (ja) | 2020-02-05 | 2020-02-05 | パン・チルト角算出装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020018169A JP7470518B2 (ja) | 2020-02-05 | 2020-02-05 | パン・チルト角算出装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021124395A true JP2021124395A (ja) | 2021-08-30 |
JP7470518B2 JP7470518B2 (ja) | 2024-04-18 |
Family
ID=77458586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020018169A Active JP7470518B2 (ja) | 2020-02-05 | 2020-02-05 | パン・チルト角算出装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7470518B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115421299A (zh) * | 2022-11-03 | 2022-12-02 | 浙江大学 | 一种用于振镜式云台的动态视野模拟方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2479993A3 (en) | 2006-12-04 | 2013-12-11 | Lynx System Developers, Inc. | Autonomous systems and methods for still and moving picture production |
US20140375762A1 (en) | 2012-02-17 | 2014-12-25 | Sony Corporation | Information processing apparatus and method, image processing apparatus and method, and program |
JP2016035543A (ja) | 2014-08-04 | 2016-03-17 | オリンパス株式会社 | 撮像装置及びその像ブレ補正方法 |
JP6929123B2 (ja) | 2017-05-10 | 2021-09-01 | 日本放送協会 | カメラ校正装置及びカメラ校正プログラム |
-
2020
- 2020-02-05 JP JP2020018169A patent/JP7470518B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115421299A (zh) * | 2022-11-03 | 2022-12-02 | 浙江大学 | 一种用于振镜式云台的动态视野模拟方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7470518B2 (ja) | 2024-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6929123B2 (ja) | カメラ校正装置及びカメラ校正プログラム | |
CN110880189A (zh) | 联合标定方法及其联合标定装置和电子设备 | |
JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
JP2008241491A (ja) | 3次元計測装置 | |
JPWO2006011255A1 (ja) | パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム | |
US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
JP7185860B2 (ja) | 多軸可動視覚システムのキャリブレーション方法 | |
JP4960941B2 (ja) | 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム | |
KR101111503B1 (ko) | 전방향 피티지 카메라 제어 장치 및 그 방법 | |
WO2005054779A1 (ja) | 非接触三次元計測方法および装置 | |
JP5044582B2 (ja) | 撮影カメラ学習装置及びそのプログラム | |
JP2021124395A (ja) | パン・チルト角算出装置及びそのプログラム | |
JP2005038021A (ja) | 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム | |
CN115813556A (zh) | 手术机器人标定方法、装置、手术机器人及存储介质 | |
US11625836B2 (en) | Trajectory calculation device, trajectory calculating method, and trajectory calculating program | |
JP2015126402A (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
JP2014096761A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2021132349A (ja) | フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム | |
JP4112925B2 (ja) | 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム | |
CN114494455B (zh) | 一种大视角下的位移高精度测量方法 | |
JP7324639B2 (ja) | 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム | |
JP2006285946A (ja) | 画像の奥行分布推定方法及び装置及びプログラム | |
JP6073114B2 (ja) | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム | |
CN118096894A (zh) | 面向手术机器人的单相机标定方法和装置 | |
JP4027294B2 (ja) | 移動体検出装置、移動体検出方法及び移動体検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7470518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |