JP2014125865A - 作業機械の車体周囲表示装置 - Google Patents
作業機械の車体周囲表示装置 Download PDFInfo
- Publication number
- JP2014125865A JP2014125865A JP2012285890A JP2012285890A JP2014125865A JP 2014125865 A JP2014125865 A JP 2014125865A JP 2012285890 A JP2012285890 A JP 2012285890A JP 2012285890 A JP2012285890 A JP 2012285890A JP 2014125865 A JP2014125865 A JP 2014125865A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- vehicle body
- cameras
- display device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 36
- 239000003550 marker Substances 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 description 11
- 240000004050 Pentaglottis sempervirens Species 0.000 description 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000010720 hydraulic oil Substances 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/267—Diagnosing or detecting failure of vehicles
- E02F9/268—Diagnosing or detecting failure of vehicles with failure correction follow-up actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】各カメラ11a〜11dで撮影された映像を合成する映像合成部と、映像合成部で合成される映像に対して、カメラ11a〜11dの取付位置誤差及び取付角度誤差の補正値を算出するキャリブレーション部と、キャリブレーション部で算出された補正値を映像合成部で合成される映像に反映させる処理を行う処理部とを備え、処理部で処理された映像をモニタ15に表示するダンプトラック1の車体周囲表示装置において、キャリブレーション部による補正値の算出に用いられ、各カメラ11a〜11dの撮影範囲11A〜11Dに配置された4つのキャリブレーションシート21を備え、各キャリブレーションシート21は、複数の直線で形成されたキャリブレーションマーカ21Aを有する。
【選択図】図7
Description
2 荷台
3 ホイストシリンダ
4 ヒンジピン
5 フレーム
6 前輪
7 後輪
8 キャブ
8a 梯子
11A〜11D 撮影範囲
11a〜11d カメラ
12 ECU
13 パソコン
14 UP・DOWNスイッチ
15 モニタ
16 画面
17 車体アイコン
18 電源スイッチ
21,31 キャリブレーションシート
21A,31A キャリブレーションマーカ
21A1 対角線(2本の線)
21a,21b 正方形
21a1,21a2 交点
21c,21d 四角形
30 人物
Claims (4)
- 車体の周囲を撮影する複数のカメラと、これらのカメラによって撮影された映像を表示する表示部とを備えた作業機械に設けられ、
前記各カメラによって撮影された映像を合成する映像合成部と、この映像合成部によって合成される映像に対して、前記カメラの取付位置から生じる取付位置誤差と前記カメラの取付角度から生じる取付角度誤差の補正値を算出するキャリブレーション部と、このキャリブレーション部によって算出された前記補正値を前記映像合成部によって合成される映像に反映させる処理を行う処理部とを備え、この処理部による処理が行われた映像を前記表示部に表示する作業機械の車体周囲表示装置において、
前記キャリブレーション部による前記補正値の算出に用いられ、前記複数のカメラの撮影範囲に配置された複数のキャリブレーションシートを備え、
これらのキャリブレーションシートは、複数の線で形成されたキャリブレーションマーカを有することを特徴とする作業機械の車体周囲表示装置。 - 請求項1に記載の作業機械の車体周囲表示装置において、
前記キャリブレーションマーカは、
前記複数の線が交差して形成された交点を含むことを特徴とする作業機械の車体周囲表示装置。 - 請求項1に記載の作業機械の車体周囲表示装置において、
前記キャリブレーションマーカは、前記処理部による処理が行われた映像に映る前記各キャリブレーションシートの相互の重なりの程度が所定の範囲内にあるかどうかを判別する指標となる所定のパターンを形成することを特徴とする作業機械の車体周囲表示装置。 - 請求項1ないし3のいずれか1項に記載の作業機械の車体周囲表示装置において、
前記複数の線は複数の直線から成り、
前記所定のパターンは、
前記複数の直線で形成された複数の四角形と、
前記複数の直線で形成され、前記複数の四角形と交差する2本の線とを含み、
これらの2本の線の交点と前記複数の四角形の中心点とを共通にすることを特徴とする作業機械の車体周囲表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012285890A JP6106430B2 (ja) | 2012-12-27 | 2012-12-27 | 作業機械の車体周囲表示装置 |
PCT/JP2013/082985 WO2014103683A1 (ja) | 2012-12-27 | 2013-12-09 | 作業機械の車体周囲表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012285890A JP6106430B2 (ja) | 2012-12-27 | 2012-12-27 | 作業機械の車体周囲表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014125865A true JP2014125865A (ja) | 2014-07-07 |
JP6106430B2 JP6106430B2 (ja) | 2017-03-29 |
Family
ID=51020775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012285890A Active JP6106430B2 (ja) | 2012-12-27 | 2012-12-27 | 作業機械の車体周囲表示装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6106430B2 (ja) |
WO (1) | WO2014103683A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016013686A1 (ja) * | 2015-07-31 | 2016-01-28 | 株式会社小松製作所 | 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 |
JP2016119526A (ja) * | 2014-12-19 | 2016-06-30 | アルパイン株式会社 | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 |
JP6068710B1 (ja) * | 2016-05-30 | 2017-01-25 | 株式会社ネクスコ・エンジニアリング北海道 | 俯瞰画像調整装置および俯瞰画像調整プログラム |
JP2019173407A (ja) * | 2018-03-28 | 2019-10-10 | 日立建機株式会社 | 作業機械 |
JP2020045687A (ja) * | 2018-09-19 | 2020-03-26 | 日立建機株式会社 | 作業機械 |
US10750082B2 (en) | 2016-03-28 | 2020-08-18 | Komatsu Ltd. | Evaluation device |
JP2020147962A (ja) * | 2019-03-12 | 2020-09-17 | 日立建機株式会社 | 周囲表示システム及びそれを備えた作業機械 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017174994A (ja) * | 2016-03-24 | 2017-09-28 | ソニー株式会社 | 撮像装置、電子機器 |
US10564270B2 (en) | 2016-04-13 | 2020-02-18 | Caterpillar Inc. | Methods and systems for calibrating sensors |
JP2019092002A (ja) | 2017-11-13 | 2019-06-13 | ヤマハ発動機株式会社 | 船舶用俯瞰画像生成装置およびそのキャリブレーション方法 |
US10235774B1 (en) | 2017-11-14 | 2019-03-19 | Caterpillar Inc. | Method and system for calibration of an image capturing device mounted on a machine |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244326A (ja) * | 2009-04-07 | 2010-10-28 | Alpine Electronics Inc | 車載周辺画像表示装置 |
JP2011085403A (ja) * | 2009-10-13 | 2011-04-28 | Mitsutoyo Corp | オフセット量校正方法および表面性状測定機 |
JP2011228857A (ja) * | 2010-04-16 | 2011-11-10 | Clarion Co Ltd | 車載カメラ用キャリブレーション装置 |
JP2012112108A (ja) * | 2010-11-22 | 2012-06-14 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003283964A (ja) * | 2002-03-26 | 2003-10-03 | Olympus Optical Co Ltd | 映像表示装置 |
-
2012
- 2012-12-27 JP JP2012285890A patent/JP6106430B2/ja active Active
-
2013
- 2013-12-09 WO PCT/JP2013/082985 patent/WO2014103683A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244326A (ja) * | 2009-04-07 | 2010-10-28 | Alpine Electronics Inc | 車載周辺画像表示装置 |
JP2011085403A (ja) * | 2009-10-13 | 2011-04-28 | Mitsutoyo Corp | オフセット量校正方法および表面性状測定機 |
JP2011228857A (ja) * | 2010-04-16 | 2011-11-10 | Clarion Co Ltd | 車載カメラ用キャリブレーション装置 |
JP2012112108A (ja) * | 2010-11-22 | 2012-06-14 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016119526A (ja) * | 2014-12-19 | 2016-06-30 | アルパイン株式会社 | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 |
WO2016013686A1 (ja) * | 2015-07-31 | 2016-01-28 | 株式会社小松製作所 | 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 |
JP5956693B2 (ja) * | 2015-07-31 | 2016-07-27 | 株式会社小松製作所 | 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 |
JPWO2016013686A1 (ja) * | 2015-07-31 | 2017-04-27 | 株式会社小松製作所 | 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法 |
US10337174B2 (en) | 2015-07-31 | 2019-07-02 | Komatsu Ltd. | Working machine display system, working machine display device, and working machine display for prompt screen transition even when abnormal processing occurs |
US10750082B2 (en) | 2016-03-28 | 2020-08-18 | Komatsu Ltd. | Evaluation device |
JP6068710B1 (ja) * | 2016-05-30 | 2017-01-25 | 株式会社ネクスコ・エンジニアリング北海道 | 俯瞰画像調整装置および俯瞰画像調整プログラム |
JP2017216489A (ja) * | 2016-05-30 | 2017-12-07 | 株式会社ネクスコ・エンジニアリング北海道 | 俯瞰画像調整装置および俯瞰画像調整プログラム |
JP2019173407A (ja) * | 2018-03-28 | 2019-10-10 | 日立建機株式会社 | 作業機械 |
JP2020045687A (ja) * | 2018-09-19 | 2020-03-26 | 日立建機株式会社 | 作業機械 |
JP2020147962A (ja) * | 2019-03-12 | 2020-09-17 | 日立建機株式会社 | 周囲表示システム及びそれを備えた作業機械 |
Also Published As
Publication number | Publication date |
---|---|
WO2014103683A1 (ja) | 2014-07-03 |
JP6106430B2 (ja) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106430B2 (ja) | 作業機械の車体周囲表示装置 | |
US9169108B2 (en) | Performance line display unit | |
JP3632563B2 (ja) | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 | |
JP4555876B2 (ja) | 車載カメラのキャリブレーション方法 | |
US20150009329A1 (en) | Device for monitoring surroundings of machinery | |
JP6794193B2 (ja) | 作業機械の画像表示システム | |
JP6173358B2 (ja) | 旋回式作業機械の周囲監視装置 | |
JP6321977B2 (ja) | 重機用周辺監視装置 | |
KR101752613B1 (ko) | 작업 기계의 주변 감시 장치 | |
JP6211157B1 (ja) | キャリブレーション装置およびキャリブレーション方法 | |
JP5802476B2 (ja) | 建設機械制御システム | |
JP5052463B2 (ja) | 作業機械のステレオ画像処理装置 | |
EP2413282A1 (en) | Camera calibrator | |
US20080309784A1 (en) | Camera System And Mechanical Apparatus | |
WO2014046213A1 (ja) | 作業車の周囲情報取得装置 | |
CN104584540A (zh) | 作业机械的周围监视装置 | |
JP2005217889A (ja) | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 | |
JP2005106505A (ja) | 画像間対応点検出装置および画像間対応点検出方法 | |
US10721397B2 (en) | Image processing system using predefined stitching configurations | |
JP2010066117A5 (ja) | ||
JP2011500407A (ja) | 少なくとも1つの全方位カメラ及び光学的表示ユニットを備えた装置のキャリブレーション方法 | |
JP4286294B2 (ja) | 運転支援システム | |
JP6097063B2 (ja) | 高さ測定装置及び高さ測定方法 | |
JP6799557B2 (ja) | 作業機械 | |
CN111942391A (zh) | 铰接式工程机械、全景环视系统及其标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6106430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |