JP2016009432A - 画像形成装置、画像形成システム及び画像形成プログラム - Google Patents
画像形成装置、画像形成システム及び画像形成プログラム Download PDFInfo
- Publication number
- JP2016009432A JP2016009432A JP2014131287A JP2014131287A JP2016009432A JP 2016009432 A JP2016009432 A JP 2016009432A JP 2014131287 A JP2014131287 A JP 2014131287A JP 2014131287 A JP2014131287 A JP 2014131287A JP 2016009432 A JP2016009432 A JP 2016009432A
- Authority
- JP
- Japan
- Prior art keywords
- image
- superimposed
- dimensional
- model
- image forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】重畳画像形成処理は、監視カメラシステム制御装置から、監視カメラが撮影した撮影画像を取得する処理S1と、取得した撮影画像に基づいて、監視カメラの位置及び姿勢を算出する処理S2と、ユーザにより入力されたマーカの基準点から設置位置までの最短距離及び方向を取得する処理S3と、算出した監視カメラの位置・姿勢と、取得した基準点から設置位置までの最短距離及び方向とに基づいて、取得した撮影画像における3次元VRモデルを重畳する位置を特定するする処理S4と、ユーザにより指定された3次元VRモデルを記憶部から取得するする処理S5と、特定した重畳位置に取得した3次元VRモデルを重畳する処理S6とを含む。
【選択図】図6
Description
まず、図1を用いて本発明の一実施形態に係る画像形成システムSの構成及び概要機能について、説明する。
図2は、本実施形態に係る画像形成装置1の概要構成例を示すブロック図である。図2に示すように、画像形成装置1は、制御部11、記憶部12、インターフェース部13、表示部14及び操作部15を備えている。
次に、図4及び図5を用いて重畳画像を形成する手法について説明する。但し、従来公知の部分については詳述を省略し、簡略化して説明する。
制御部11が、監視カメラ300が撮影した画像に3次元VRモデル700を重畳させる際には、監視カメラシステム制御装置200から監視カメラ300の撮影した画像を取得した際に、監視カメラ300の撮影時における位置及び姿勢を計測する処理を行い、当該計測した位置及び姿勢と、レンズの歪みや焦点距離などの監視カメラ300の固有パラメータ(予めカメラキャリブレーションにより取得しておく)とに基づいて3次元VRモデル700を重畳させる。監視カメラ300の位置及び姿勢の計測には、監視カメラ300からの撮影画像を利用することができる。撮影画像を利用する位置合わせ方法は、図4に示すように、ホーム上に設けたマーカ500を監視カメラ300で撮影し、マーカ500の撮影画像上での位置と3次元位置との対応をもとに監視カメラ300の位置及び姿勢を算出する。マーカ500は、固有の2次元パターンが内部に描かれた正方形形状のものを用いる。
次に、制御部11が、撮影画像に3次元VRモデル700を重畳させるに当たり、撮影画像の何れの位置に3次元VRモデル700を重畳させるかを特定する必要がある。そこで、図4に示すように、ユーザが現実空間においてホームドアを設置する設置位置502を仮決めし、マーカ500の一の頂点である基準点501から設置位置502までの最短距離を計測する。なお、距離の計測方法としては、基準点501から設置位置502までの距離に代えて、マーカ500を基準とする所定位置(例えば、マーカ500の他の頂点や、マーカ500の中心、又はそれらの点から所定の方向に所定の距離だけ離れた点など)から設置位置502までの距離を計測することとしてもよい。このことは、画像形成装置1がマーカ500を基準に設置位置502を特定できればよいとの意図に基づく。また、ユーザは、基準点501から設置位置502までの距離を計測した際における基準点501から設置位置502への方向も特定しておく。これは、画像形成装置1が基準点501から設置位置502までの距離だけでは、基準点501から見て何れの方向に設置位置502があるかを特定できないため、距離と方向に基づいて設置位置502を特定しようとする意図に基づく。
記憶部12は、複数種類のホームドアの3次元VRモデル700を施工段階・ホームドアパラメータに応じてそれぞれ記憶している。ユーザは、操作部15を介してホームドアの種類、施工段階及びホームドアパラメータを指定する。このとき、制御部11は、ホームドアの種類名、施工段階、選択可能なホームドアパラメータの一覧を表示部14に表示させ、その中からユーザにホームドアの種類、施工段階及びホームドアパラメータを指定させることとしてもよい。また、その際に、最終施工段階(完成時)のホームドアの3次元VRモデル700を合わせて表示部14に表示させると、ホームドアの種類名からその種類のホームドアをイメージできないユーザには有用である。ユーザにより指定されたホームドアの種類、施工段階及びホームドアパラメータに応じた3次元VRモデル700は制御部11により記憶部12から取得され、監視カメラ300によって撮影された画像上に重畳される。なお、ユーザによる3次元VRモデル700の指定(すなわち、ホームドアの種類、施工段階及びホームドアパラメータの指定)は、撮影画像に重畳された後に改めて行うことができ、この場合、制御部11は重畳される3次元VRモデル700を新たに指定された3次元VRモデル700に変更する。これにより、ホームドアの設置に関して検討する際、複数種類のホームドアについて検討することが容易となる。
制御部11は、監視カメラ300の位置及び姿勢と、基準点501から設置位置502までの距離及び方向とに基づいて、監視カメラ300によって撮影された画像上に、ユーザの指定に基づいて取得した3次元VRモデル700を重畳させ、重畳画像を形成して表示部14に表示させる。なお、図5は、島式ホームの両側にホームドアを表す3次元VRモデル700を重畳させた様子を示している。
表示部14に表示された重畳画像において、ホームドアを表す3次元VRモデル700が、ユーザの想定した設置位置502(ホームの縁)に沿って表示されない場合や、ホームドアの開閉部分(乗客が乗り降りする部分)の位置をずらして表示させたい場合がある。このような場合に備えて、画像形成装置1は、重畳させた3次元VRモデル700の位置と角度を調整する機能を有する。具体的には、ユーザが表示部14に表示されている重畳画像を眺めながら、操作部15を介して、3次元VRモデル700の位置又は角度を調整する操作を行える構成を備える。制御部11は、当該操作を受け付けると、操作内容に従って、3次元VRモデル700の位置又は重畳角度を更新する。これにより、ユーザは修正操作により、重畳画像における3次元VRモデルの重畳位置又は重畳角度を修正することができる。
監視カメラ300によって撮影された画像上に3次元VRモデル700を重畳させると、図5の領域601のように、ホームドアの手前にあるべき物体(柱や構造物)が3次元VRモデル700に隠れてしまうことがある。そこで、画像形成装置1は、ユーザにより指定された領域については、3次元VRモデル700を重畳させずに、手前にあるべき物体を表示させるマスク処理機能を備える。このマスク処理により、図5の領域602のように、ホームドアの手前にあるべき物体(柱や構造物)が3次元VRモデル700に隠れてしまうことなく、違和感のない重畳画像を形成することができる。
マーカを最初に設置した位置に基づいてホームドアを重畳させた後、検討の過程で、他の形状や位置(ホームの内側等)でホームドアの配置をすることになった場合に、そのマーカの位置又は上にホームドアがかぶってしまうなど、見た目上の問題が発生することがある。その場合には、マーカの位置を動かして、構造物を見え易い状態にすることがある。このように、マーカの位置を変更した場合には、ユーザは、再度、現実空間における基準点501から設置位置502までの距離及び方向を示す実情報を画像形成装置1に入力する。そして、制御部11は、入力された実情報に基づいてホームドアの3次元VRモデル700を撮影画像の何れの位置に重畳させるかを再度、特定する。このように、マーカの位置を自由に移動させることができるようにしたことで、検討の過程で、ホームドアの形状や位置の変更を繰り返すことができる。
次に、図6を用いて、制御部11による重畳画像形成処理について説明する。図6は、画像形成装置1の制御部11よる重畳画像形成処理を示すフローチャートである。なお、重畳画像形成処理は、ユーザが重畳画像の形成を開始させるための操作を行ったことを受けて開始する。なお、重畳画像形成処理が実行されるまでに、ユーザがホームドアの種類、ホームドアパラメータ及び施工段階を指定することにより、何れの形状をしたホームドアの何れの施工段階の3次元VRモデルを重畳させるかを指定するとともに、マーカ500の基準点501から設置位置502までの最短距離及び方向を示す実情報を入力する操作を行い、画像形成装置1がこれらの操作を受け付けているものとする。
1 画像形成装置
11 制御部
12 記憶部
13 インターフェース部
14 表示部
15 操作部
200 監視カメラシステム制御装置
300 監視カメラ
400 監視モニタ
500 マーカ
501 基準点
502 設置位置
503 距離
700 3次元VRモデル
NW ネットワーク
Claims (8)
- 構造物を表す3次元VR(Virtual Reality)モデルを記憶する記憶手段と、
前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段と、
前記撮影画像に写るマーカを基準として、前記撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段と、
を備えることを特徴とする画像形成装置。 - 請求項1に記載の画像形成装置であって、
現実空間における前記マーカを基準とする所定位置からの方向及び実距離を示す実情報を取得する実情報取得手段と、
前記実情報の示す方向及び実距離に基づいて、前記実距離に対応する前記撮影画像における画像内距離を算出する画像内距離算出手段を更に備え、
前記形成手段は、前記撮影画像内の前記所定位置を基準として、前記実情報の示す方向及び前記画像内距離に基づいて、前記3次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。 - 請求項1又は2に記載の画像形成装置であって、
前記画像取得手段が取得した撮影画像内の前記マーカの形状から3次元位置姿勢を算出する算出手段を更に備え、
前記形成手段は、前記算出手段が算出した算出結果に基づいて、前記撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。 - 請求項1乃至3の何れか一項に記載の画像形成装置であって、
前記重畳画像における前記3次元VRモデルの重畳位置又は重畳角度を修正する修正操作の操作内容を取得する修正操作内容取得手段を更に備え、
前記形成手段は、前記修正操作内容取得手段が取得した操作内容に従って、前記重畳画像における前記3次元VRモデルの重畳位置又は重畳角度を更新することを特徴とする画像形成装置。 - 請求項1乃至4の何れか一項に記載の画像形成装置であって、
前記記憶手段は、複数種類の前記構造物を表す3次元VRモデルを記憶し、
何れかの種類の前記構造物を表す3次元VRモデルを選択するための選択操作の操作内容を取得する選択操作内容取得手段を更に備え、
前記形成手段は、前記選択操作内容取得手段が取得した操作内容により特定される種類の前記構造物を表す3次元VRモデルを重畳させた重畳画像を形成することを特徴とする画像形成装置。 - 請求項1乃至5の何れか一項に記載の画像形成装置であって、
前記構造物はホームドアであり、
前記現場はホームであり、
前記3次元VRモデルは、ホームに関する条件に応じて構築されていることを特徴とする画像形成装置。 - 請求項1乃至6の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラを含むことを特徴とする画像形成システム。
- 構造物を表す3次元VR(Virtual Reality)モデルを記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、
前記構造物を設置する現場とマーカを撮影範囲内に含む撮影画像を取得する画像取得手段、
前記撮影画像に写るマーカを基準として、前記撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段、
として機能させる画像形成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014131287A JP6386263B2 (ja) | 2014-06-26 | 2014-06-26 | 画像形成装置、画像形成システム及び画像形成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014131287A JP6386263B2 (ja) | 2014-06-26 | 2014-06-26 | 画像形成装置、画像形成システム及び画像形成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016009432A true JP2016009432A (ja) | 2016-01-18 |
JP6386263B2 JP6386263B2 (ja) | 2018-09-05 |
Family
ID=55226923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014131287A Active JP6386263B2 (ja) | 2014-06-26 | 2014-06-26 | 画像形成装置、画像形成システム及び画像形成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6386263B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951583A (zh) * | 2017-02-08 | 2017-07-14 | 中国建筑第八工程局有限公司 | 基于bim技术对施工现场监控摄像头虚拟布置的方法 |
WO2017169907A1 (ja) * | 2016-03-29 | 2017-10-05 | 日本電気株式会社 | 作業支援装置、作業支援方法および記録媒体 |
JP2018163652A (ja) * | 2017-03-24 | 2018-10-18 | ナブテスコ株式会社 | 自動ドアの設置状態提示方法、装置およびシステム |
JP2019011564A (ja) * | 2017-06-29 | 2019-01-24 | 鹿島建設株式会社 | 現場画像出力システム |
WO2021145255A1 (ja) * | 2020-01-14 | 2021-07-22 | 株式会社Nttドコモ | 画像表示装置 |
JP2023020469A (ja) * | 2021-07-30 | 2023-02-09 | 株式会社オプティム | 測量システム、測量装置、測量方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013086740A (ja) * | 2011-10-21 | 2013-05-13 | Nabtesco Corp | プラットホームドア用安全装置 |
JP2013092887A (ja) * | 2011-10-25 | 2013-05-16 | Canon Inc | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
WO2014016862A1 (ja) * | 2012-07-23 | 2014-01-30 | 富士通株式会社 | 表示制御プログラム、表示制御方法及び表示制御装置 |
-
2014
- 2014-06-26 JP JP2014131287A patent/JP6386263B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013086740A (ja) * | 2011-10-21 | 2013-05-13 | Nabtesco Corp | プラットホームドア用安全装置 |
JP2013092887A (ja) * | 2011-10-25 | 2013-05-16 | Canon Inc | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
WO2014016862A1 (ja) * | 2012-07-23 | 2014-01-30 | 富士通株式会社 | 表示制御プログラム、表示制御方法及び表示制御装置 |
Non-Patent Citations (2)
Title |
---|
""第2部<活用事例> 各用途でアプリを充実 リアルタイム性で価値を高める"", 日経エレクトロニクス, vol. 第1105号, JPN6018013649, 1 April 2013 (2013-04-01), JP, pages 38 - 44, ISSN: 0003822491 * |
齋藤修, 外2名: ""ホームドア実導入に向けた研究開発"", JR EAST TECHNICAL REVIEW, [ONLINE], vol. 第33号, JPN7018001169, 2010, pages 35 - 38, ISSN: 0003778914 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017169907A1 (ja) * | 2016-03-29 | 2017-10-05 | 日本電気株式会社 | 作業支援装置、作業支援方法および記録媒体 |
CN106951583A (zh) * | 2017-02-08 | 2017-07-14 | 中国建筑第八工程局有限公司 | 基于bim技术对施工现场监控摄像头虚拟布置的方法 |
JP2018163652A (ja) * | 2017-03-24 | 2018-10-18 | ナブテスコ株式会社 | 自動ドアの設置状態提示方法、装置およびシステム |
JP7078423B2 (ja) | 2017-03-24 | 2022-05-31 | ナブテスコ株式会社 | 自動ドアの設置状態提示方法、装置およびシステム |
JP2019011564A (ja) * | 2017-06-29 | 2019-01-24 | 鹿島建設株式会社 | 現場画像出力システム |
WO2021145255A1 (ja) * | 2020-01-14 | 2021-07-22 | 株式会社Nttドコモ | 画像表示装置 |
JP2023020469A (ja) * | 2021-07-30 | 2023-02-09 | 株式会社オプティム | 測量システム、測量装置、測量方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6386263B2 (ja) | 2018-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6386263B2 (ja) | 画像形成装置、画像形成システム及び画像形成プログラム | |
JP6635037B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP4537557B2 (ja) | 情報呈示システム | |
KR101638378B1 (ko) | 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램 | |
EP3550513B1 (en) | Method of generating panorama views on a mobile mapping system | |
EP3055648B1 (en) | Method and system for 3d modeling using feature detection | |
JP6896688B2 (ja) | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム | |
KR100816589B1 (ko) | 화상 처리 장치 | |
WO2016017254A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JP6180647B2 (ja) | クラウドポイントを利用した屋内地図構築装置および方法 | |
KR101938401B1 (ko) | 갱신대상 지역의 부분 도화를 위한 수치도화 수정시스템 | |
JP6489566B2 (ja) | 3次元計測装置及びその計測支援処理方法 | |
KR20170046790A (ko) | 시스루 스마트 안경 및 그 투시 방법 | |
JP2015518138A (ja) | 1つ以上の空間物体に関する情報を抽出するための方法、機器およびコンピュータプログラム | |
US9807310B2 (en) | Field display system, field display method, and field display program | |
JP2011133840A (ja) | 監視カメラ画像を用いた連動表示計測システム | |
JP5079547B2 (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
JP2007243509A (ja) | 画像処理装置 | |
Braun et al. | Process-and computer vision-based detection of as-built components on construction sites | |
JP5602779B2 (ja) | 現場見取図作成システムおよびレーザ計測装置 | |
JP5714960B2 (ja) | 監視範囲検知装置 | |
JP2019027817A (ja) | 施工出来高データ取得システム | |
Yang et al. | Effect of field of view on the accuracy of camera calibration | |
JP7013244B2 (ja) | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 | |
JP2020091590A (ja) | 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6386263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |