JP2019057864A - カメラ制御方法、カメラ制御装置およびカメラ制御プログラム - Google Patents
カメラ制御方法、カメラ制御装置およびカメラ制御プログラム Download PDFInfo
- Publication number
- JP2019057864A JP2019057864A JP2017181987A JP2017181987A JP2019057864A JP 2019057864 A JP2019057864 A JP 2019057864A JP 2017181987 A JP2017181987 A JP 2017181987A JP 2017181987 A JP2017181987 A JP 2017181987A JP 2019057864 A JP2019057864 A JP 2019057864A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- characteristic information
- images
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 116
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000012937 correction Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims description 102
- 230000010365 information processing Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1は、本実施例による実施形態の概略図である。図1には、情報処理装置1、カメラ2−1、2−2が示されている。
図2は、情報処理装置1の機能的構成を示す機能ブロック図である。情報処理装置1は、例えば、通信部101、入力部102、出力部103、処理部110、記憶部120を備える。
まず、本実施例におけるキャリブレーションに用いられる画像の取得(撮影)について説明する。例示として、まずカメラ2−1(1台のカメラ)について説明するが、カメラ2−2を用いる場合にも同様の処理とすることができる。
本実施例におけるキャリブレーションの処理について説明する。なお、以降の説明にあたり、前述した態様に基づいて、キャリブレーションに用いられる複数のカメラ画像が事前に取得されているものとする。また、以降の説明では、一旦、カメラ2−1、およびカメラ2−1を用いて撮影された画像に着目して説明する。
図6は、図4に示す一連の処理(少なくともステップS406がYESの判定となる段階まで)が実行された場合の、管理情報記憶部122に記憶されるデータの例を示す図である。なお、図6においては、前述したカメラ2−1についての処理と同様の要領で、カメラ2−1についても、図4に示す一連の処理が実行されているものとする。
図9Aおよび図9Bは、キャリブレーション処理(第2段階)の一連の処理の流れを示すフローチャートである。なお、説明においては、キャリブレーション処理(第1段階)の説明と同様に、一旦、カメラ2−1、およびカメラ2−1を用いて撮影された画像に着目して説明を行なう。
図11の撮影時刻T2、T4、T7、T9のように、カメラ2−1、2−2の双方において特徴点の検出が可能となることは、全天球画像の取得のためのキャリブレーションにおいても技術的効果を有する。
条件1:画像取得時における平板300の実空間における位置が同一である。
条件2:カメラ2−1で取得した画像とカメラ2−2で取得した画像の双方について、平板300(の全体)が視野内にある(画像に写っている)。
本実施例で説明した態様については、種々の変形を採用することが可能である。
また、このとき、例えば図12の直線1202を正距方位図における画像の中心の経度に対応する線(例えば、正距方位図における画像の両端を東経・西経180度とした場合の経度0度線)としてもよい。これにより、正距方位図を生成した場合に、平板300が図13Bのように、画像上分断されてしまうことを防ぐことができる。例として、正距方位図における画像の中心の経度に対応する線は、図12では直線1202、図13Aでは赤道1301で示されている。なお、これらの変形例においても、補正処理の目的が達成できる範囲において、正距方位図における赤道や画像の中心の経度に対応する線が、必ずしも平板300の中心を通らなくとも良い。
図14は、本実施例における情報処理装置1のハードウェア構成の一例である。
2−1、2−2 カメラ
21−1、21−2 魚眼レンズ
1401 バス
1402 CPU
1403 メモリ
1404 記憶装置
1405 NIC
1406 媒体読取装置
1407 入力装置
1408 表示装置
Claims (11)
- コンピュータが、
第1のカメラにより撮影された1または複数の画像から、実空間における位置が異なる複数の所定パターンを検出する第1検出処理を行い、
前記複数の所定パターンのうちで前記第1検出処理において検出に成功した1または複数の第1所定パターンに基づいて、前記第1のカメラについてのカメラ特性情報を取得し、
取得した前記カメラ特性情報に基づいて前記1または複数の画像に対する補正処理を行い、
前記補正処理が行なわれた前記1または複数の画像から、前記複数の所定パターンのうちで前記第1検出処理において検出に失敗した1または複数の第2所定パターンを検出する第2検出処理を行い、
検出した前記第2所定パターンに基づいて前記カメラ特性情報を更新する、
処理を実行することを特徴とするカメラ制御方法。 - 前記カメラ特性情報はカメラの内部パラメータを含むことを特徴とする請求項1記載のカメラ制御方法。
- 前記補正処理は、取得した前記カメラ特性情報に基づいて、前記1または複数の画像のいずれかに対する、画像の歪みを補正する処理である、
ことを特徴とする請求項1または2記載のカメラ制御方法。 - 前記第1のカメラは魚眼レンズを搭載したカメラであり、
前記補正処理は、取得した前記カメラ特性情報に基づいて、前記魚眼レンズを用いて撮影された前記1または複数の画像のいずれかに対応する正距方位画像を生成することを含む、
ことを特徴とする請求項1〜3のいずれか1項に記載のカメラ制御方法。 - 前記1または複数の画像のいずれかは、前記所定の特徴を有する対象物を含む画像であり、
前記コンピュータは、前記1または複数の画像のいずれかにおける前記対象物を通過する直線を、前記1または複数の画像のいずれかの画像上から特定する処理を実行し、
前記補正処理は、特定した前記直線を赤道とする正距方位画像を生成することを含む、
ことを特徴とする請求項4記載のカメラ制御方法。 - 前記コンピュータは、
前記第1所定パターンの前記画像における位置と、実空間における前記第1のカメラと前記第1所定パターンに対応する物体との位置関係と、に基づいて前記カメラ特性情報を取得し、
前記第2所定パターンの前記画像における位置と、実空間における前記第1のカメラと前記第2所定パターンに対応する物体との位置関係と、に基づいて前記カメラ特性情報を更新する、
ことを特徴とする請求項1〜5のいずれか1項に記載のカメラ制御方法。 - 前記カメラ特性情報はカメラの外部パラメータを含むことを特徴とする請求項1〜6のいずれか1項に記載のカメラ制御方法。
- 前記コンピュータは、
前記1または複数の画像の撮影と同期して第2のカメラにより撮影された1または複数の画像のいずれかを用いて、前記第1検出処理、前記第2のカメラについての前記カメラ特性情報を取得する処理、前記補正処理、前記第2検出処理、前記カメラ特性情報を更新する処理を実行し、
更新した前記カメラ特性情報に含まれる、前記第1のカメラの前記外部パラメータと、前記第2のカメラの前記外部パラメータとの差分を算出する、
ことを特徴とする請求項7記載のカメラ制御方法。 - 前記コンピュータは、
前記第1のカメラと前記第2のカメラの型式、型番が一致する場合、前記第1のカメラについて取得された前記カメラ特性情報に基づいて、第2のカメラにより撮影された1または複数の画像のいずれかについての前記補正処理を実行する、
ことを特徴とする請求項8記載のカメラ制御方法。 - 第1のカメラにより撮影された1または複数の画像から、実空間における位置が異なる複数の所定パターンを検出する第1検出処理を実行する検出部と、
前記複数の所定パターンのうちで前記第1検出処理において検出に成功した1または複数の第1所定パターンに基づいて、前記第1のカメラについてのカメラ特性情報を取得する取得部と、
取得した前記カメラ特性情報に基づいて前記1または複数の画像に対する補正処理を実行する補正処理部と、
を備え、
前記検出部は、前記補正処理が行なわれた前記1または複数の画像から、前記複数の所定パターンのうちで前記第1検出処理において検出に失敗した1または複数の第2所定パターンを検出する第2検出処理を実行し、
前記取得部は、検出した前記第2所定パターンに基づいて前記カメラ特性情報を更新する、
ことを特徴とするカメラ制御装置。 - コンピュータに、
第1のカメラにより撮影された1または複数の画像から、実空間における位置が異なる複数の所定パターンを検出する第1検出処理を行い、
前記複数の所定パターンのうちで前記第1検出処理において検出に成功した1または複数の第1所定パターンに基づいて、前記第1のカメラについてのカメラ特性情報を取得し、
取得した前記カメラ特性情報に基づいて前記1または複数の画像に対する補正処理を行い、
前記補正処理が行なわれた前記1または複数の画像から、前記複数の所定パターンのうちで前記第1検出処理において検出に失敗した1または複数の第2所定パターンを検出する第2検出処理を行い、
検出した前記第2所定パターンに基づいて前記カメラ特性情報を更新する、
処理を実行させることを特徴とするカメラ制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017181987A JP6933072B2 (ja) | 2017-09-22 | 2017-09-22 | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム |
US16/135,074 US11037327B2 (en) | 2017-09-22 | 2018-09-19 | Camera control method, camera control device, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017181987A JP6933072B2 (ja) | 2017-09-22 | 2017-09-22 | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019057864A true JP2019057864A (ja) | 2019-04-11 |
JP6933072B2 JP6933072B2 (ja) | 2021-09-08 |
Family
ID=65807781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017181987A Active JP6933072B2 (ja) | 2017-09-22 | 2017-09-22 | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11037327B2 (ja) |
JP (1) | JP6933072B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3557523B1 (de) * | 2018-04-18 | 2021-07-28 | B&R Industrial Automation GmbH | Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers |
KR20230082683A (ko) * | 2020-10-14 | 2023-06-08 | 파이어니어 하이 부렛드 인터내쇼날 인코포레이팃드 | 개선된 게놈 편집을 위한 조작된 Cas 엔도뉴클레아제 변이체 |
JP2022149731A (ja) * | 2021-03-25 | 2022-10-07 | 本田技研工業株式会社 | 制御装置、制御装置の動作方法及びプログラム |
US20230007182A1 (en) * | 2021-07-02 | 2023-01-05 | Genesys Logic, Inc. | Image controller, image processing system and image correcting method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013211707A (ja) * | 2012-03-30 | 2013-10-10 | Clarion Co Ltd | カメラキャリブレーション装置 |
JP2016091065A (ja) * | 2014-10-29 | 2016-05-23 | 富士通株式会社 | 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム |
JP2017130794A (ja) * | 2016-01-20 | 2017-07-27 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、評価用チャート、評価システム、および性能評価方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256492A (ja) | 2000-03-14 | 2001-09-21 | Sanyo Electric Co Ltd | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP5649269B2 (ja) * | 2008-06-18 | 2015-01-07 | 昭和電工株式会社 | カーボンナノファイバー、その製造方法及び用途 |
JP2011101265A (ja) | 2009-11-06 | 2011-05-19 | Nippon Seiki Co Ltd | 較正情報算出方法、較正情報算出装置、及び広角画像処理装置 |
JP5652349B2 (ja) | 2011-07-25 | 2015-01-14 | 株式会社リコー | 広角レンズおよび全天球型撮像装置 |
JP6494313B2 (ja) * | 2015-02-09 | 2019-04-03 | キヤノン株式会社 | 画像処理方法、装置システム、プログラム、記憶媒体 |
WO2018204746A1 (en) * | 2017-05-04 | 2018-11-08 | Second Spectrum, Inc. | Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern |
-
2017
- 2017-09-22 JP JP2017181987A patent/JP6933072B2/ja active Active
-
2018
- 2018-09-19 US US16/135,074 patent/US11037327B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013211707A (ja) * | 2012-03-30 | 2013-10-10 | Clarion Co Ltd | カメラキャリブレーション装置 |
JP2016091065A (ja) * | 2014-10-29 | 2016-05-23 | 富士通株式会社 | 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム |
JP2017130794A (ja) * | 2016-01-20 | 2017-07-27 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、評価用チャート、評価システム、および性能評価方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6933072B2 (ja) | 2021-09-08 |
US20190096090A1 (en) | 2019-03-28 |
US11037327B2 (en) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9338439B2 (en) | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system | |
JP5057948B2 (ja) | 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法 | |
US9686539B1 (en) | Camera pair calibration using non-standard calibration objects | |
KR101900873B1 (ko) | 안테나 엔지니어링 파라미터를 획득하는 방법, 장치 및 시스템 | |
JP6933072B2 (ja) | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム | |
JP4566591B2 (ja) | 画像変形推定方法および画像変形推定装置 | |
JP6677098B2 (ja) | 全天球動画の撮影システム、及びプログラム | |
JP2016201745A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
WO2016103621A1 (ja) | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 | |
JP6045523B2 (ja) | 画像処理装置およびその制御方法 | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP6541070B2 (ja) | 3次元情報復元装置及び3次元情報復元方法 | |
JPWO2016174942A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2018227580A1 (zh) | 摄像头标定方法和终端 | |
CN107704106B (zh) | 姿态定位方法、装置及电子设备 | |
JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
CN111353945A (zh) | 鱼眼图像校正方法、装置及存储介质 | |
JP5464671B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2016015036A (ja) | 画像処理装置、画像処理方法 | |
JP5636966B2 (ja) | 誤差検出装置及び誤差検出プログラム | |
JP5760827B2 (ja) | 物体認識装置、物体認識方法、プログラム | |
JP6071142B2 (ja) | 画像変換装置 | |
WO2024127824A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR102252662B1 (ko) | 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법 | |
JP2013109643A (ja) | 球面勾配検出方法、エッジ点検出方法、球面勾配検出装置、エッジ点検出装置、球面勾配検出プログラム及びエッジ点検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |