JP2016148602A - Angle detection system, program, and angle detection method - Google Patents
Angle detection system, program, and angle detection method Download PDFInfo
- Publication number
- JP2016148602A JP2016148602A JP2015025998A JP2015025998A JP2016148602A JP 2016148602 A JP2016148602 A JP 2016148602A JP 2015025998 A JP2015025998 A JP 2015025998A JP 2015025998 A JP2015025998 A JP 2015025998A JP 2016148602 A JP2016148602 A JP 2016148602A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- boundary
- ceiling
- detected
- horizontal direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、未較正のカメラによって撮像された画像情報における実空間に対する回転角を、当該画像情報に基づいて検出する技術に関する。 The present invention relates to a technique for detecting a rotation angle with respect to a real space in image information captured by an uncalibrated camera based on the image information.
昨今、周囲を撮像するカメラを設置して、周囲を監視する監視システムが広く運用されるようになっている。このような監視システムにおいて、所望の画像情報を撮像するためには、カメラの設置位置や向きなどを正確に調整する必要がある。例えば、ドーム形状（半球形状）の全方位カメラは、壁などに取り付ける設置面の平面視形状が「円」であるために、当該円の中心を中心とした回転位置の正常位置が外見上不明確であり、設置工事担当者は注意深くカメラの姿勢を決定して設置しなければならない。 Nowadays, surveillance systems that monitor the surroundings by installing a camera that captures the surroundings are widely used. In such a monitoring system, in order to capture desired image information, it is necessary to accurately adjust the installation position and orientation of the camera. For example, a dome-shaped (hemispherical) omnidirectional camera has a “circle” as the planar shape of the installation surface to be attached to a wall or the like, so that the normal position of the rotational position around the center of the circle is not visually apparent. It is clear that the installer must carefully determine the camera posture and install it.
したがって、監視システムに用いるカメラにおいて、その形状や取付構造等から設置する際のカメラの姿勢を容易に決定することができないと予想されるときには、当該カメラの上下左右方向などを確認するための指標をカメラの筐体表面などに設ける技術が知られている。このような技術を採用することにより、設置工事担当者は、筐体表面に設けられた指標を参考にしつつ、カメラの姿勢を決定して当該カメラを設置することができる。 Therefore, in the camera used in the surveillance system, when it is expected that the posture of the camera when installed from its shape, mounting structure, etc. cannot be easily determined, an index for confirming the vertical and horizontal directions of the camera There is known a technique for providing a sensor on the surface of a camera casing. By adopting such a technique, the person in charge of installation work can determine the posture of the camera and install the camera while referring to the index provided on the surface of the casing.
しかし、筐体表面に設けられる指標を参考にしたとしても、設置作業は手作業であるために、厳密に姿勢を決定することは困難であり、カメラの撮像領域が実空間に対して傾いた状態で、画像情報が撮像されるという問題があった。したがって、設置工事担当者は、最終的には、撮像された画像情報を参照しつつ、試行錯誤的にカメラの姿勢を調整する必要があった。 However, even with reference to the indicators provided on the housing surface, it is difficult to determine the posture strictly because the installation work is manual work, and the imaging area of the camera is tilted with respect to real space In this state, there is a problem that image information is captured. Therefore, the person in charge of installation work must finally adjust the posture of the camera by trial and error while referring to the captured image information.
従来より、設置されたカメラの姿勢を較正する技術としては、例えば、車の車載カメラについて当該車載カメラの姿勢のズレ（誤差）を検出する技術が提案されている。従来技術を用いれば、試行錯誤的に調整作業を行わなくても、検出されたズレを修正するだけで所望の画像情報を得ることができる。 Conventionally, as a technique for calibrating the attitude of an installed camera, for example, a technique for detecting a deviation (error) of the attitude of an in-vehicle camera for an in-vehicle camera has been proposed. By using the conventional technique, it is possible to obtain desired image information only by correcting the detected deviation without performing adjustment work by trial and error.
ところが、監視システムでは、カメラによって撮像された画像情報を閲覧するための閲覧装置が当該カメラとは離れた場所に設置されるものであり、当該画像情報を当該カメラの設置場所において確認することが困難である。したがって、一旦、カメラが誤った姿勢で設置されると、特許文献１に記載されている技術を用いてその誤差を検出したとしても、その修正作業は膨大になり、設置工事担当者の負担が増大するという問題があった。
However, in the monitoring system, a browsing device for browsing image information captured by the camera is installed at a location away from the camera, and the image information can be confirmed at the installation location of the camera. Have difficulty. Therefore, once the camera is installed in a wrong posture, even if the error is detected using the technique described in
また、そもそも筐体表面に設けられた指標を参照しつつ作業を行うことは、当該指標を意識することを設置工事担当者に強いるものであり、それ自体が設置工事担当者の負担となるという問題もある。 Also, working with reference to the index provided on the surface of the housing in the first place forces the installer in charge to be aware of the index, and that itself is a burden on the installer. There is also a problem.
本発明は、上記課題に鑑みてなされたものであり、カメラを設置する際の設置工事担当者の負担を軽減しつつ、傾きのない見やすい画像情報を閲覧できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of browsing easy-to-read image information without tilting while reducing the burden on a person in charge of installation work when installing a camera. .
上記の課題を解決するため、請求項１の発明は、角度検出システムであって、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する水平方向検出手段と、前記水平方向検出手段により検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する回転角演算手段とを備える。
In order to solve the above-mentioned problem, the invention of
また、請求項２の発明は、請求項１の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報から前記天井が撮像されている天井領域を検出し、検出した前記天井領域の周縁部に応じて前記境界を検出する。
The invention according to
また、請求項３の発明は、請求項２の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報に含まれる各画素の画素値に応じて、照明が撮像されている照明領域を検出することにより、前記天井領域を検出する。
Further, the invention of
また、請求項４の発明は、請求項３の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報において、当該画像情報から検出した照明領域の周囲の領域を所定数の画素を含むブロックに分割し、前記ブロックに含まれる画素の画素値によるヒストグラムを前記ブロックごとに求め、前記ブロックのヒストグラムの類似度に応じて前記天井領域を検出する。
Further, the invention according to claim 4 is the angle detection system according to the invention of
また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る角度検出システムであって、前記回転角演算手段により演算された回転角に応じて、前記画像情報を回転させた修正画像情報を作成する画像修正手段をさらに備える。
The invention according to
また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る角度検出システムであって、前記回転角演算手段により演算された回転角に応じて、前記撮像手段における水平方向を回転させる回転手段をさらに備える。 A sixth aspect of the present invention is the angle detection system according to any one of the first to fifth aspects of the present invention, wherein the horizontal direction of the imaging means is determined in accordance with the rotation angle calculated by the rotation angle calculation means. Rotating means for rotating is further provided.
また、請求項７の発明は、請求項１ないし６のいずれかの発明に係る角度検出システムであって、前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである。
The invention according to claim 7 is the angle detection system according to any one of
また、請求項８の発明は、コンピュータ読み取り可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する水平方向検出手段と、前記水平方向検出手段により検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する回転角演算手段とを備える角度検出システムとして機能させる。
The invention according to
また、請求項９の発明は、角度検出方法であって、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する工程と、撮像された画像情報に撮像されている前記境界を検出する工程と、検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する工程と、検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する工程とを有する。 The invention according to claim 9 is an angle detection method, the step of imaging a boundary between a ceiling and a first wall surface adjacent to the ceiling as image information, and the boundary imaged in the captured image information Detecting the horizontal direction in the image information in which the boundary is detected, and detecting the horizontal direction in the detected image information based on the detected boundary. Calculating a rotation angle.
請求項１ないし９に記載の発明は、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像し、撮像された画像情報に撮像されている境界を検出し、検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出し、検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算することにより、画像情報に基づいて、当該画像情報の実空間に対する回転角を求めることができる。したがって、人手を要することなく、負担を軽減することができる。 According to the first to ninth aspects of the present invention, the boundary between the ceiling and the first wall surface adjacent to the ceiling is captured as image information, the boundary captured in the captured image information is detected, and the detected boundary is detected. Accordingly, the horizontal direction in the image information in which the boundary is detected is detected, and the rotation angle of the image information with respect to the real space is calculated based on the horizontal direction in the detected image information. Thus, the rotation angle of the image information with respect to the real space can be obtained. Therefore, the burden can be reduced without requiring human labor.
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. However, unless otherwise specified in the following description, descriptions of directions and orientations correspond to the drawings for the convenience of the description, and do not limit, for example, a product, a product, or a scope of rights.
＜１． 実施の形態＞
図１は、角度検出システム１を示す図である。
<1. Embodiment>
FIG. 1 is a diagram showing an
角度検出システム１は、ドーム形状の全方位カメラ２と、一般的なパーソナルコンピュータである閲覧装置３とがネットワーク８を介して接続された形態である。角度検出システム１は、全方位カメラ２によって撮像された画像を閲覧装置３において閲覧することにより、監視システムとしての機能を有している。
The
なお、図１に示す部屋９は、角度検出システム１の全方位カメラ２が設置される空間を形成している。部屋９は、天井９０、当該天井９０に隣接する第１壁面９１、第１壁面９１に対向する第２壁面９２、および、天井９０と第１壁面９１との境界９３から形成されている。図１に示す例では、全方位カメラ２は、第２壁面９２に設置される。
1 forms a space in which the
また、図１に示すように、実空間における鉛直方向上向きのＵ軸、Ｕ軸に対して垂直なＶ軸、Ｕ軸およびＶ軸に対して垂直なＷ軸を定義する。これにより、Ｖ軸およびＷ軸は、水平面内に定義される軸となる。 In addition, as shown in FIG. 1, a U-axis that is vertically upward in real space, a V-axis that is perpendicular to the U-axis, and a W-axis that is perpendicular to the U-axis and the V-axis are defined. Thereby, the V-axis and the W-axis become axes defined in the horizontal plane.
また、ネットワーク８は、有線を用いる通信網であってもよいし、無線を用いるものであってもよい。また、ネットワーク８は、全方位カメラ２および閲覧装置３以外の装置を接続する機能を有していてもよい。さらに、角度検出システム１が備える全方位カメラ２および閲覧装置３は、いずれも１台の装置に限定されるものではない。
Further, the
図２は、全方位カメラ２のブロック図である。全方位カメラ２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、撮像部２４および通信部２５を備えている。
FIG. 2 is a block diagram of the
ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、全方位カメラ２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、全方位カメラ２は、一般的なコンピュータとして構成されている。
The
記憶装置２１は、全方位カメラ２において各種データを記憶する機能を提供する。言い換えれば、記憶装置２１が全方位カメラ２において電子的に固定された情報を保存する。
The
記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、専用の読み取り装置に装着される可搬性の記憶媒体（ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である。
As the
また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。図２では、記憶装置２１がプログラム２１０のみを記憶するかのように示している。しかし、例えば、画像情報２４０など他の情報を記憶するために記憶装置２１を使用してもよい。
The
操作部２２は、全方位カメラ２に対してオペレータ等が指示を入力するために操作するハードウェアである。操作部２２としては、例えば、電源ボタン（撮像開始ボタン）などが想定される。ただし、操作部２２は、これに限定されるものではなく、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイスなどであってもよい。
The
表示部２３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部２３としては、例えば、撮像が正常に実行されていることを示すＬＥＤなどが想定される。ただし、表示部２３はＬＥＤに限定されるものではなく、各種ランプや液晶ディスプレイ、液晶パネルなどであってもよい。
The
撮像部２４は、図示しない光電変換素子を備えており、周囲を撮像することにより、画像情報２４０を取得する機能を有している。図示を省略するが、撮像部２４が撮像する画像情報２４０において上向きの軸を「Ｘ軸」、Ｘ軸に垂直な軸を「Ｙ軸」、Ｘ軸およびＹ軸に垂直な軸を「Ｚ軸」と定義する。全方位カメラ２において、Ｘ軸およびＹ軸は全方位カメラ２を取り付けるための平坦な設置面（図示せず。）と平行となり、Ｚ軸は当該設置面と垂直となる。このようなＸ軸、Ｙ軸およびＺ軸は、全方位カメラ２が設計・製造されるときに決定される。
The
撮像部２４は、Ｚ軸を中心とした全方位を撮像する機能を有している。さらに、撮像部２４は、天井９０と天井９０に隣接する第１壁面９１との境界９３を画像情報２４０として撮像する。言い換えれば、オペレータは、撮像部２４が、境界９３を撮像することができるように全方位カメラ２を第２壁面９２に設置する。
The
一般的なオフィスなどでは、部屋９によって形成される空間が略直方体となるように設計されており、第１壁面９１と第２壁面９２とは互いに対向し、第１壁面９１および第２壁面９２はいずれも平坦面である。このように、第１壁面９１が曲面ではなく平坦面であることから、境界９３は直線状となる。また、オペレータが全方位カメラ２を、第１壁面９１に対向する第２壁面９２に設置することにより、全方位カメラ２のＺ軸方向に平行な方向と境界９３とが互いに垂直の位置関係となる。
In a general office or the like, the space formed by the room 9 is designed to be a substantially rectangular parallelepiped. The
通信部２５は、撮像部２４により取得された画像情報２４０をネットワーク８を介して閲覧装置３に向けて送信する機能を有している。なお、通信部２５は、画像情報２４０以外の情報を送信する機能を有していてもよいし、閲覧装置３から送信される各種情報を受信する機能を有していてもよい。
The
図３は、閲覧装置３のブロック図である。閲覧装置３は、ＣＰＵ３０、記憶装置３１、操作部３２、表示部３３および通信部３５を備えている。
FIG. 3 is a block diagram of the
ＣＰＵ３０は、記憶装置３１に格納されているプログラム３１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ３０は、閲覧装置３が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、閲覧装置３は、一般的なコンピュータとして構成されている。
The
記憶装置３１は、閲覧装置３において各種データを記憶する機能を提供する。言い換えれば、記憶装置３１が閲覧装置３において電子的に固定された情報を保存する。
The
記憶装置３１としては、ＣＰＵ３０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量の情報を記憶するハードディスク、専用の読み取り装置に装着される可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図３においては、記憶装置３１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置３１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置３１は、データを記憶する機能を有する装置群の総称である。
As the
また、現実のＣＰＵ３０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ３０が備える記憶装置も、説明の都合上、記憶装置３１に含めて説明する。すなわち、一時的にＣＰＵ３０自体が記憶するデータも、記憶装置３１が記憶するとして説明する。図３に示すように、記憶装置３１は、プログラム３１０、画像情報２４０および修正画像情報３１１を記憶する。ただし、記憶装置３１が記憶する情報は、これらの情報に限定されるものではない。
Further, the
操作部３２は、閲覧装置３に対してオペレータ等が指示を入力するために操作するハードウェアである。操作部３２としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、ジョグダイヤルなどが該当する。
The
表示部３３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。特に、表示部３３は、修正画像情報３１１を表示する。表示部３３としては、例えば、ＣＲＴや液晶ディスプレイ、液晶パネルなどが該当する。ただし、表示部３３は、各種ランプやＬＥＤなどを含んでいてもよい。
The
通信部３５は、全方位カメラ２から送信された画像情報２４０をネットワーク８を介して受信する機能を有している。なお、通信部３５は、画像情報２４０以外の情報を受信する機能を有していてもよいし、閲覧装置３から全方位カメラ２に向けて各種情報を送信する機能を有していてもよい。
The
図４は、閲覧装置３が備える機能ブロックをデータの流れとともに示す図である。図４に示す境界検出部３００、水平方向検出部３０１、回転角演算部３０２、および、画像修正部３０３は、ＣＰＵ３０がプログラム３１０に従って動作することにより実現される機能ブロックである。
FIG. 4 is a diagram illustrating functional blocks included in the
境界検出部３００は、全方位カメラ２の撮像部２４により撮像され、通信部３５により受信された画像情報２４０に撮像されている境界９３を検出する。すなわち、境界検出部３００は、画像処理（詳細は後述する。）によって画像情報２４０に撮像されてい被写体から境界９３を認識し、抽出する機能を有している。このように境界検出部３００によって境界９３として検出された画像（境界９３と推定された画像部分）は、境界情報３１２に記録される。
The
水平方向検出部３０１は、境界検出部３００により検出された境界９３（境界情報３１２）に応じて、当該境界９３が検出された画像情報２４０における水平方向を検出する。水平方向検出部３０１によって検出された水平方向を示す情報は、水平方向情報３１３として記録される。
The horizontal
回転角演算部３０２は、水平方向情報３１３を参照し、水平方向検出部３０１により検出された画像情報２４０における水平方向に基づいて、当該画像情報２４０の実空間に対する回転角（以下、「回転角Δθ」と称する。）を演算により推定する。回転角演算部３０２により求められる回転角（回転角Δθの推定値。以下、「回転角Δω」と称する。）は、回転角情報３１４に記録される。
The rotation
画像修正部３０３は、回転角情報３１４を参照し、回転角演算部３０２により演算された回転角Δωに応じて、画像情報２４０を回転させた修正画像情報３１１を作成する。このように、全方位カメラ２が設置されたときの撮像部２４のズレ角（回転角Δθ）を、画像修正部３０３が較正するのである。
The
以上が、角度検出システム１の構成および機能の説明である。次に、角度検出システム１を用いて回転角Δθを演算する角度検出方法について説明する。
The above is the description of the configuration and function of the
図５は、角度検出システム１の動作を示す流れ図である。なお、図５に示す各工程が開始されるまでに、全方位カメラ２が設置され、全方位カメラ２と閲覧装置３との間のデータ通信が可能な状態にされているものとする。
FIG. 5 is a flowchart showing the operation of the
角度検出システム１は、運用が開始されると、所定の初期設定を実行した後に、撮像タイミングと、動作モードが解析モードであるか否かと、表示タイミングとをそれぞれ監視する状態となる（ステップＳ１１，Ｓ１６，Ｓ２２）。角度検出システム１におけるこの状態を、以下、「待機状態」と称する。
When the operation is started, the
なお、解析モードとは、角度検出システム１に定義される動作モードであって、画像情報２４０を解析して回転角Δωを求めるための動作モードである。また、角度検出システム１において、全方位カメラ２と閲覧装置３との間のデータ通信が確立され最初の画像情報２４０が閲覧装置３に記録されたときに、自動的に動作モードが解析モードに移行するものとする。ただし、解析モードへの移行契機はこれに限定されるものではなく、例えば、オペレータが、全方位カメラ２の操作部２２を操作し、動作モードを解析モードに移行させるための指示を入力した場合などにおいても、動作モードが移行するように構成してもよい。
The analysis mode is an operation mode defined in the
待機状態において、撮像タイミングが到来すると、全方位カメラ２のＣＰＵ２０がステップＳ１１においてＹｅｓと判定し、周囲の被写体を撮像するように撮像部２４を制御する。これにより、撮像部２４が撮像を行い（ステップＳ１２）、画像情報２４０が作成される。
When the imaging timing arrives in the standby state, the
図６は、撮像部２４によって撮像された画像情報２４０ａを例示する図である。なお、一般的な全方位カメラにおいては、魚眼レンズなどを用いることにより、全方位を撮像するように設計されている場合がある。このように魚眼レンズなどを用いた場合、画像情報２４０の画像は歪んだ画像となり、画像情報２４０における水平方向も直線とはならない。しかし、以下では、説明を簡単にするために、図６に示すように、このような歪みのない補正された画像（いわゆるノーマル展開された画像）で説明する。このような補正は、例えば、撮像部２４が備える魚眼レンズの曲率（既知）などに基づいて容易に実行することができるため、ここでは詳細な説明を省略する。
FIG. 6 is a diagram illustrating
全方位カメラ２は、図１に示すように、第２壁面９２に設置され、部屋９内を撮像することによって、天井９０と、第１壁面９１とを撮像する。このように天井９０と、天井９０に隣接する第１壁面９１とが撮像されることにより、天井９０と第１壁面９１との境である境界９３も撮像される。
As shown in FIG. 1, the
言い換えれば、全方位カメラ２の設置工事担当者は、少なくとも天井９０と第１壁面９１とが撮像されるように、全方位カメラ２を設置する。一般的な全方位カメラは、平坦面に取り付ける際に、当該平坦面に対する法線方向を中心とした全方位を撮像するように設計されている。したがって、オペレータは、全方位カメラ２を第２壁面９２に設置さえすれば、特に意識しなくても、図６に示すような画像情報２４０ａ（境界９３を含むように撮像された画像情報２４０）を撮像させることができる。すなわち、全方位カメラ２を設置するときに、境界９３を撮像するように設置することをオペレータに要求したとしても、オペレータの負担は大きなものとはならない。
In other words, the person in charge of the installation work of the
一方で、オペレータは、撮像部２４の回転位置（Ｚ軸を中心軸とした回転位置）については、正確に調整することなく、アバウトに設置する。このように、オペレータが撮像部２４の回転位置について意識することなく適当に設置すると、全方位カメラ２によって撮像される画像は、図６に示す画像情報２４０ａのように、画像情報２４０における水平方向が実空間の水平方向に対して傾いた画像となる。
On the other hand, the operator installs the rotational position of the imaging unit 24 (the rotational position with the Z axis as the central axis) in the about without being adjusted accurately. As described above, when the operator appropriately installs without being aware of the rotational position of the
このようにして画像情報２４０に生じる実空間に対する傾きは、「回転角Δθ」である。すでに説明したように、この「回転角Δθ」は、オペレータが全方位カメラ２を設置した際に生じるズレ（誤差）である。したがって、全方位カメラ２の姿勢が改められない限り（すなわち、全方位カメラ２が設置しなおされない限り）、当該回転角Δθは変化することはなく、一定である。
The inclination with respect to the real space generated in the
さらに、図６から明らかなように、ここに例示する画像情報２４０ａには、床面９５も撮像されており、第１壁面９１と床面９５とによって形成される境界９６も撮像されている。また、天井９０には、複数の照明９４が設置され、撮像されている。
Further, as is apparent from FIG. 6, the
図５に示すステップＳ１２が実行されて、画像情報２４０が取得されると、通信部２５は、取得された画像情報２４０を閲覧装置３に向けて送信する（ステップＳ１３）。
When step S12 shown in FIG. 5 is executed and the
なお、図５に示す例では、画像情報２４０が撮像されると、新たに作成された画像情報２４０が直ちに閲覧装置３に向けて送信される。しかし、ステップＳ１２とステップＳ１３との間にタイムラグがあってもよい。例えば、撮像された画像情報２４０を、一旦、記憶装置２１に格納し、所定の期間が経過し、送信タイミングが到来したときに、記憶装置２１に格納されている画像情報２４０がまとめて送信されるように構成してもよい。
In the example illustrated in FIG. 5, when the
全方位カメラ２から画像情報２４０が送信されると、閲覧装置３の通信部３５がネットワーク８を介して当該画像情報２４０を受信し（ステップＳ１４）、記憶装置３１に記録する（ステップＳ１５）。このようにして、角度検出システム１は、撮像タイミングが到来するたびに、閲覧装置３に新たな画像情報２４０が送信され、順次、蓄積される。なお、ステップＳ１５を実行すると、角度検出システム１は、待機状態に戻る。
When the
待機状態において、動作モードが解析モードになると、閲覧装置３のＣＰＵ３０がステップＳ１６においてＹｅｓと判定し、境界検出処理を実行する（ステップＳ１７）。なお、境界検出処理とは、画像情報２４０から境界９３を検出する処理である。詳細は後述するが、境界検出部３００は、画像情報２４０から、天井９０に相当する画素で構成される領域を検出し、当該領域の周縁部として境界９３に相当する画素を検出する。
In the standby state, when the operation mode becomes the analysis mode, the
図７は、境界検出処理を示す流れ図である。 FIG. 7 is a flowchart showing the boundary detection process.
境界検出処理が開始されると、まず、境界検出部３００は、記憶装置３１に記憶されている画像情報２４０から、演算に使用する画像情報２４０を特定して読み出す（ステップＳ３１）。
When the boundary detection process is started, first, the
なお、ステップＳ３１において読み出される画像情報２４０は、これまでに回転角Δωを演算するための対象となっていなかったものであることが好ましい。また、ステップＳ３１において読み出される画像情報２４０は１つに限定されるものではなく、複数の画像情報２４０に基づいて回転角Δωを演算するように構成してもよい。
In addition, it is preferable that the
次に、境界検出部３００は、画像情報２４０に含まれる複数の画素について、それぞれ輝度値を取得し（ステップＳ３２）、取得した輝度値が閾値（以下、「閾値Ｑ」と称する。）以上の画素を、天井照明領域を示す画素としてラベリングする（ステップＳ３３）。
Next, the
なお、ステップＳ３３において使用する閾値Ｑは、点灯状態の照明に相当する画素を判別するための閾値であり、比較的高い値として設定することが好ましい。この閾値Ｑを高い値として設定することにより、例えば、第１壁面９１に窓などの比較的明るい被写体が存在する場合にも当該窓を天井照明領域と誤認識することを防止することができる。
Note that the threshold value Q used in step S33 is a threshold value for determining a pixel corresponding to the lighting in the lighting state, and is preferably set as a relatively high value. By setting the threshold value Q as a high value, for example, even when a relatively bright subject such as a window exists on the
図８は、図６に示す画像情報２４０ａに対して、天井照明領域をラベリングした状態を概念的に示す図である。ステップＳ３３が実行されたことにより、照明９４に相当する画素の領域は、天井照明領域７０，７１，７２，７３，７４，７５，７６としてラベリングされる。
FIG. 8 is a diagram conceptually showing a state where the ceiling illumination area is labeled with respect to the
一方で、図８に示すように、画像情報２４０ａにおいて人物の白い服を示す画素であった領域も、輝度値が比較的高くなるため、天井照明領域７７としてラベリングされている。この天井照明領域７７は、天井９０に設けられた照明９４を示す画素ではなく、天井照明領域としては誤検出である。
On the other hand, as shown in FIG. 8, an area that is a pixel indicating white clothes of a person in the
このように、画素の輝度値を閾値Ｑと比較するだけでは、例に示すように、白い服を示す画素や机上の照明を示す画素、あるいは、照明光を反射している物体などを天井照明領域として誤って検出してしまう。これらの誤検出に対する対処方法は、後述する。 Thus, by simply comparing the luminance value of the pixel with the threshold value Q, as shown in the example, the pixel indicating white clothes, the pixel indicating desk lighting, or the object reflecting the illumination light is ceiling-lit. It will be detected by mistake as a region. A method for dealing with these erroneous detections will be described later.
図７に戻って、天井照明領域のラベリングが終了すると、境界検出部３００は、検出された各天井照明領域７０ないし７７の面積（画素数）に応じた数の画素を含む統合用ブロックを、各天井照明領域７０ないし７７に対してそれぞれ定義する。そして、定義した当該統合用ブロックを、対応する天井照明領域７０ないし７７の周囲を囲むように配置し、各統合用ブロックに含まれる画素の輝度値のヒストグラムを求める（ステップＳ３４）。
Returning to FIG. 7, when the labeling of the ceiling illumination area is completed, the
さらに、境界検出部３００は、ステップＳ３４において求めたヒストグラムが互いに類似する統合用ブロックに含まれる画素を、１つの天井候補領域を構成する画素として統合する（ステップＳ３５）。なお、ヒストグラムの類似度を判定する手法としては、例えば、バタチャリア距離を演算する手法を用いることができるが、これに限定されるものではない。
Further, the
図９は、図６に示す画像情報２４０に対して、天井候補領域６０，６１を抽出した様子を示す図である。
FIG. 9 is a diagram illustrating a state where the
図９に示すように、天井照明領域７０ないし７６の周囲に配置された統合用ブロックのヒストグラムについて、類似する統合用ブロックに含まれる画素を統合した結果、天井候補領域６０が抽出されている。また、天井照明領域７７の周囲に配置された統合用ブロックのヒストグラムについて、類似する統合用ブロックに含まれる画素を統合した結果、天井候補領域６１が抽出されている。なお、天井候補領域６０と天井候補領域６１との境は、天井候補領域６０の周縁部５として検出されている。
As shown in FIG. 9, as a result of integrating the pixels included in similar integration blocks with respect to the histograms of the integration blocks arranged around the
多数の天井照明領域として検出された天井照明領域７０ないし７６は、いずれも照明９４に相当する画素の領域であり、天井９０に相当する画素が周囲に存在する。したがって、天井照明領域７０ないし７６の周囲に配置された統合用ブロックのヒストグラムは互いに類似し、これらの統合用ブロックを構成する画素が１つの天井候補領域６０に統合される。
The
また、天井照明領域７７は、照明９４に相当する画素ではない画素の領域であるが、たまたま周囲に第１壁面９１に相当する画素が存在している。したがって、天井照明領域７７の周囲に配置された統合用ブロックのヒストグラムは互いに類似し、これらの統合用ブロックを構成する画素が１つの天井候補領域６１に統合される。天井候補領域６１は、天井照明領域７７が誤検出され、かつ、天井照明領域７７の周囲に配置された複数の統合用ブロックのヒストグラムが互いに類似するような被写体（第１壁面９１）が当該天井照明領域７７の周囲に撮像されていたために誤検出されたものである。
The
しかし、例えば、天井照明領域７７以外に誤検出された天井照明領域が存在したとしても、その周囲に配置された複数の統合用ブロックのヒストグラムが互いに類似するような被写体が当該誤検出された天井照明領域の周囲に撮像されていない場合には、誤検出された天井照明領域によって、天井候補領域が誤検出されることはない。
However, for example, even if there is an erroneously detected ceiling illumination area other than the
例えば、机上には卓上の照明装置が設置されることがあり、これが天井照明領域として誤検出される事態は容易に想定される。しかし、一般に、机上には、様々な被写体が混在する。したがって、当該誤検出された天井照明領域の周囲に複数の統合用ブロックを配置した場合、これらのヒストグラムが互いに類似する事態は想定しにくい。すなわち、ステップＳ３４，Ｓ３５を実行することにより、実際の天井９０以外の場所で誤検出された天井照明領域の影響を、かなり排除することができる。
For example, a desk lighting device may be installed on the desk, and it is easily assumed that this is erroneously detected as a ceiling lighting area. However, in general, various subjects are mixed on the desk. Therefore, when a plurality of integration blocks are arranged around the erroneously detected ceiling illumination area, it is difficult to assume a situation where these histograms are similar to each other. That is, by executing steps S34 and S35, the influence of the ceiling illumination area erroneously detected in a place other than the
また、天井９０に相当する画素ではない画素を含む統合用ブロックのヒストグラムと、天井９０に相当する画素を含む統合用ブロックのヒストグラムとは、類似しない蓋然性が高い。すなわち、統合用ブロックのヒストグラムの類似度によって当該統合用ブロックに含まれる画素の統合を行うことにより、天井候補領域６０が天井９０に相当する画素ではない画素の領域まで拡大（統合）されることも防止される。したがって、例えば、図９に示す天井候補領域６１が抽出されない場合でも、天井候補領域６０さえ検出されていれば、当該天井候補領域６０の周縁部５は検出される。
In addition, there is a high probability that the histogram of the integration block including pixels that are not pixels corresponding to the
図７に戻って、ステップＳ３５を実行すると、境界検出部３００は、天井候補領域が複数検出されたか否かを判定する（ステップＳ３６）。
Returning to FIG. 7, when step S35 is executed, the
ステップＳ３５によって検出された天井候補領域が１つの場合（ステップＳ３６においてＮｏ。）、当該天井候補領域を天井領域として決定する（ステップＳ３７）。 If there is one ceiling candidate area detected in step S35 (No in step S36), the ceiling candidate area is determined as the ceiling area (step S37).
一方で、ステップＳ３５によって検出された天井候補領域が複数の場合（ステップＳ３６においてＹｅｓ。）、境界検出部３００は、検出された各天井候補領域をラスタースキャンするためのスキャンブロックを定義する。このとき定義されるスキャンブロックは４以上の画素を含むサイズとして定義され、当該スキャンブロックには縦方向および横方向にそれぞれ２分割された４つの分割領域が定義される。すなわち、４つの分割領域は、それぞれが１以上の画素から成り、スキャンブロック内において２行２列に配置される。
On the other hand, when there are a plurality of ceiling candidate areas detected in step S35 (Yes in step S36), the
次に、境界検出部３００は、定義したスキャンブロックを用いて、各天井候補領域をそれぞれラスタースキャンし（ステップＳ３８）、各天井候補領域にカウント条件を満たす回数をカウントする。ここでは、カウント条件は、スキャンブロック内に定義される４つの分割領域のうち、右下に配置される分割領域のみが天井照明領域（高輝度画素領域）となり、他の３つの分割領域が天井候補領域（低輝度画素領域）となった状態とする。このようなカウント条件を満たす回数は、各天井候補領域内に存在する天井照明領域の数に対応して増加するとみなせる。
Next, the
そこで、境界検出部３００は、検出された複数の天井候補領域のうち、カウントされたカウント条件を満たす回数が最も多かった天井候補領域を天井領域として決定する（ステップＳ３９）。
Therefore, the
一般的なオフィスなどでは、天井には多くの照明が設置される。したがって、照明が多く存在しているとみなせる領域を、より天井らしいとみなし、天井領域として決定することにより、複数の天井候補領域の中から、最も天井領域らしい領域を選択することができる。 In general offices, many lights are installed on the ceiling. Therefore, an area that can be regarded as having a lot of illumination is regarded as more likely to be a ceiling, and by determining the area as a ceiling area, an area that most likely represents a ceiling area can be selected from a plurality of ceiling candidate areas.
図９に示す例では、天井候補領域６０の方が天井候補領域６１よりも天井照明領域を多く内包している。したがって、スキャンブロックによるラスタースキャンの結果、天井候補領域６０の方が天井候補領域６１よりもカウントされる回数が多くなる。これにより、ステップＳ３９において天井候補領域６０が天井領域として決定される。このようにして、境界検出部３００は、複数の天井候補領域６０，６１の中から１つの天井領域を決定し、誤検出された天井候補領域６１を除外する。
In the example shown in FIG. 9, the
なお、画像情報２４０において複数の天井候補領域が検出された場合、いずれの天井候補領域を天井領域として決定するかについては、他の手法を用いることもできる。例えば、画像情報２４０内における各天井候補領域の位置関係や、各天井候補領域の形状などから判定することも想定できる。また、このような複数の手法を重畳的に用いて、最も天井領域らしい天井候補領域を決定してもよい。ただし、回転角Δθの大きさによっては、天地が逆転して撮像されることもあり得るため、単純に位置関係のみで決定すると、誤検出を招くおそれもある。
In addition, when a plurality of ceiling candidate areas are detected in the
また、カウント条件は上記例に示した条件に限定されるものではない。例えば、スキャンブロック内に定義される４つの分割領域のうち、左下に配置される分割領域のみが天井照明領域（高輝度画素領域）となり、他の３つの分割領域が天井候補領域（低輝度画素領域）となった状態をカウント条件とすることもできる。 Further, the count condition is not limited to the condition shown in the above example. For example, among the four divided areas defined in the scan block, only the divided area arranged at the lower left is a ceiling illumination area (high luminance pixel area), and the other three divided areas are ceiling candidate areas (low luminance pixels). The state that has become (region) can also be used as the count condition.
ステップＳ３７またはステップＳ３９が実行され、天井領域を決定すると、境界検出部３００は、画像情報２４０から検出した天井領域に基づいて、当該画像情報２４０から境界９３を検出し、境界情報３１２を作成する（ステップＳ４０）。
When step S37 or step S39 is executed and the ceiling area is determined, the
具体的には、境界検出部３００は、検出した天井領域の周縁部５（画像情報２４０内における、天井領域とその他の領域との境界）と、撮像領域２４１の周縁部との交点（２点存在する。）から、それぞれ仮想の境界線（ただし、周縁部５以外の天井領域内の画素を含まない線）を引き、２本の仮想の境界線のうち、周縁部５と一致する画素の数が多い方を境界９３とみなす。
Specifically, the
図９に示す例は、周縁部５が直線として検出されており、いわば理想的な検出例である。このような場合において、周縁部５と、撮像領域２４１の周縁部との交点からそれぞれ仮想の境界線を引くと、２本の仮想の境界線がいずれも周縁部５に一致する（２本の仮想の境界線の傾きが一致する。）。したがって、図９に示す例では、２本の仮想の境界線がそのまま境界９３として検出される。
The example shown in FIG. 9 is an ideal detection example because the
図１０は、周縁部５が曲線形状として検出された場合の境界９３を決定する様子を示す図である。
FIG. 10 is a diagram illustrating how the
まず、天井領域の周縁部５と、撮像領域２４１の周縁部との交点として、点Ａと点Ｂとを決定する。次に、点Ａから仮想の境界線１００を引くとともに、点Ｂから仮想の境界線１０１を引く。先述のように、このようにして引かれた２本の境界線１００，１０１を比較して、周縁部５と一致する画素の数が多い方を境界９３とみなすので、図１０に示す例では、境界線１０１が境界９３として検出される。
First, point A and point B are determined as intersections between the
なお、図示は省略するが、２本の仮想の境界線の傾きが互いに一致せず、かつ、周縁部５と一致する画素の数が同数であった場合は、２本の仮想の境界線の中間の傾きの仮想の境界線をさらに引き、これを境界９３とする。
Although illustration is omitted, if the inclinations of the two virtual boundary lines do not coincide with each other and the number of pixels matching the
境界情報３１２が作成されると、角度検出システム１は、図７に示す境界検出処理を終了して、図５に示す処理に戻る。
When the
図５に戻って、ステップＳ１７の境界検出処理が終了すると、水平方向検出部３０１が、画像情報２４０における水平方向を検出する（ステップＳ１８）。
Returning to FIG. 5, when the boundary detection process in step S17 is completed, the horizontal
画像情報２４０における水平方向は、当該画像情報２４０から検出された境界９３の傾きと平行な方向である。言い換えれば、そのように画像情報２４０が撮像されている。また、すでに説明したように、画像情報２４０から検出される境界９３は、当該画像情報２４０において必ず直線である。
The horizontal direction in the
したがって、ステップＳ１８において、水平方向検出部３０１は、境界情報３１２を参照することにより、境界検出部３００によって検出された境界９３（厳密には現実の境界９３と一致するとは限らない。）の画像を参照し、当該境界９３の傾きを、画像情報２４０における水平方向として検出する。具体的には、画像情報２４０から検出された境界９３によってＸＹ平面（Ｘ軸およびＹ軸に平行な面）上に描かれる直線の傾きを、画像情報２４０における水平方向として検出し、水平方向情報３１３を作成する。
Therefore, in step S <b> 18, the horizontal
境界９３によって描かれる直線は、例えば、以下に示す式１で表現できる。
The straight line drawn by the
ｙ＝αｘ＋β ・・・ 式１
y = αx +
ただし、式１において、ｘ，ｙはＸ軸およびＹ軸の座標であり、α，βは定数である。
In
境界９３によって描かれる直線が式１で表現される場合、水平方向検出部３０１は、水平方向情報３１３を「α」とする。
When the straight line drawn by the
次に、回転角演算部３０２が、水平方向情報３１３に基づいて、以下に示す式２により回転角Δωを演算する（ステップＳ１９）。
Next, the rotation
Δω＝ａｒｃｔａｎ（α） ・・・ 式２ Δω = arctan (α) (2)
また、回転角Δωが求まると、回転角演算部３０２は、求めた回転角Δωに基づいて回転角情報３１４を作成する（ステップＳ２０）。
When the rotation angle Δω is obtained, the rotation
回転角情報３１４が作成されると、角度検出システム１は、解析モードを終了して（ステップＳ２１）、再び、待機状態に戻る。
When the
待機状態において、表示タイミングが到来すると、ＣＰＵ３０がステップＳ２２においてＹｅｓと判定し、画像修正部３０３が修正画像情報を作成する（ステップＳ２３）。
When the display timing comes in the standby state, the
画像修正部３０３は、記憶装置３１に記憶されている回転角情報３１４を読み出して、当該回転角情報３１４に格納されている回転角Δωを取得する。そして、取得した回転角Δωに応じて、画像情報２４０に含まれる各画素の位置を座標変換して、修正画像情報３１１を作成する。したがって、画像情報２４０の画像が回転角Δωを打ち消すように回転した画像（修正画像情報３１１）が作成される。すでに説明したように、回転角Δωは、回転角Δθとみなせるので、修正画像情報３１１は、全方位カメラ２（撮像部２４）の回転角Δθを較正した画像となる。
The
修正画像情報３１１が作成されると、表示部３３は、修正画像情報３１１を表示する（ステップＳ２４）。これにより、オペレータは、設置時に発生した全方位カメラ２（撮像部２４）の回転角Δθを適切に較正した画像を閲覧することができ、オペレータによる視認性が向上する。
When the corrected
以上のように、角度検出システム１は、天井９０と天井９０に隣接する第１壁面９１との境界９３を画像情報２４０として撮像する撮像部２４と、撮像部２４により撮像された画像情報２４０に撮像されている境界９３を境界情報３１２として検出する境界検出部３００と、境界検出部３００により検出された境界情報３１２に応じて、当該境界９３が検出された画像情報２４０における水平方向を水平方向情報３１３として検出する水平方向検出部３０１と、水平方向検出部３０１により検出された画像情報２４０における水平方向に基づいて、当該画像情報２４０の実空間に対する回転角Δθを演算により推定する回転角演算部３０２とを備える。これにより、画像情報２４０に基づいて、当該画像情報２４０の実空間に対する回転角Δθを求めることができる。したがって、人手を要することなく、負担を軽減することができる。
As described above, the
また、境界検出部３００は、撮像部２４により撮像された画像情報２４０から天井９０が撮像されている天井領域を検出し、検出した当該天井領域の周縁部５に応じて境界９３を検出する。これにより、容易に、かつ、精度よく境界９３を検出することができる。
Further, the
また、境界検出部３００は、撮像部２４により撮像された画像情報２４０に含まれる各画素の画素値（輝度値）に応じて、照明９４が撮像されている天井照明領域を検出することにより、天井領域を検出する。これにより、照明９４を示す蓋然性の高い天井照明領域に基づいて、照明９４が設置されている天井９０を示す天井領域を検出することで、天井領域の検出精度が向上する。
In addition, the
また、境界検出部３００は、撮像部２４により撮像された画像情報２４０において、当該画像情報２４０から検出した天井照明領域の周囲の領域を所定数の画素を含む統合用ブロックに分割し、当該統合用ブロックに含まれる画素の画素値によるヒストグラムを統合用ブロックごとに求め、これら統合用ブロックのヒストグラムの類似度に応じて天井領域を検出する。これにより、誤検出された天井照明領域を排除することができる。
In addition, the
また、回転角演算部３０２により演算された回転角Δθに応じて、画像情報２４０を回転させた修正画像情報３１１を作成する画像修正部３０３をさらに備えることにより、実空間に対して忠実な画像に関する情報を作成することができる。
In addition, the
なお、図６に示す画像情報２４０ａには、第１壁面９１と床面９５との境界９６も撮像されている。そして、境界９６の画像情報２４０ａ内における傾きも境界９３の場合と同様に、回転角Δθを推定するために用いることができる。しかし、通常、部屋９の床面９５には様々な物体が置かれるため、これらの物体によって境界９６が遮られる。すなわち、境界９６は、撮像部２４により確実に撮像されるとは限らない。したがって、境界９６を検出するのではなく、角度検出システム１のように境界９３を検出するように構成することが好ましい。
In the
＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られる範囲内において、適宜、順序や内容が変更されてもよい。 For example, each process shown in the above embodiment is merely an example, and is not limited to the order and contents shown above. That is, the order and contents may be changed as appropriate within a range in which similar effects can be obtained.
また、上記実施の形態に示した機能ブロック（例えば、境界検出部３００や水平方向検出部３０１など）は、ＣＰＵ３０がプログラム３１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
Further, it has been described that the functional blocks (for example, the
また、閲覧装置３が備える機能ブロックのうちの一部が全方位カメラ２に設けられていてもよい。例えば、回転角Δωを全方位カメラ２のＣＰＵ２０が演算するとともに、画像情報２４０を修正した修正画像情報３１１に相当する情報を作成してから、閲覧装置３に向けて当該情報を送信するように構成してもよい。
Moreover, some of the functional blocks included in the
また、全方位カメラ２および閲覧装置３が一体的な装置によって構成されていてもよい。すなわち、角度検出システム１は、必ずしもネットワーク８によって複数の装置が接続される形態に限定されるものではない。
Moreover, the
また、角度検出システム１は、回転角演算部３０２によって演算された回転角情報３１４に応じて、全方位カメラ２の撮像部２４を回転させることにより、撮像部２４の姿勢を較正する回転機構をさらに備えていてもよい。すなわち、回転角情報３１４を全方位カメラ２に向けて送信し、ＣＰＵ２０が当該回転機構を制御して、撮像部２４のＺ軸を中心軸として当該撮像部２４を回転角情報３１４に応じて回転させることにより、撮像部２４の水平方向（姿勢）を較正してもよい。このように構成することにより、調整後は、実空間に対して忠実な画像情報２４０を撮像することができる。
In addition, the
また、閲覧装置３は、所定の時間間隔で回転角Δωを演算し、検出した回転角Δωの絶対値が閾値以下となったときに、較正不要を示す一致情報を全方位カメラ２に向けて送信するようにしてもよい。この場合、全方位カメラ２は、当該一致情報を受信したときに、表示部２３にその旨を示す情報を表示してもよい。表示の仕方としては、例えば、一致情報を受信したときに、表示部２３のランプの光を「赤」から「緑」に変更するなどが想定される。この場合、設置工事担当者は、表示部２３のランプが「緑」になるまでは、全方位カメラ２の姿勢を動かし、当該ランプが「緑」になったことを確認したときに、その姿勢で全方位カメラ２を固定し設置するようにする。このように構成することにより、設置工事担当者は、直接、閲覧装置３の表示部３３を閲覧して画像情報２４０を確認する必要がなく、設置工事担当者の負担が軽減されるとともに、全方位カメラ２に回転機構などを設ける必要もない。
Further, the
１ 角度検出システム
２ 全方位カメラ
２０，３０ ＣＰＵ
２１，３１ 記憶装置
２１０，３１０ プログラム
２２，３２ 操作部
２３，３３ 表示部
２４ 撮像部
２４０，２４０ａ 画像情報
２４１ 撮像領域
２５，３５ 通信部
３ 閲覧装置
３００ 境界検出部
３０１ 水平方向検出部
３０２ 回転角演算部
３０３ 画像修正部
３１１ 修正画像情報
３１２ 境界情報
３１３ 水平方向情報
３１４ 回転角情報
５ 周縁部
６０，６１ 天井候補領域
７０，７１，７２，７３，７４，７５，７６，７７ 天井照明領域
８ ネットワーク
９ 部屋
９０ 天井
９１ 第１壁面
９２ 第２壁面
９３，９６ 境界
９４ 照明
９５ 床面
1
21, 31
Claims (9)
前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、
前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する水平方向検出手段と、
前記水平方向検出手段により検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する回転角演算手段と、
を備える角度検出システム。 Imaging means for imaging the boundary between the ceiling and the first wall surface adjacent to the ceiling as image information;
Boundary detection means for detecting the boundary imaged in the image information imaged by the imaging means;
In accordance with the boundary detected by the boundary detection means, horizontal direction detection means for detecting the horizontal direction in the image information in which the boundary is detected;
Based on the horizontal direction in the image information detected by the horizontal direction detection means, a rotation angle calculation means for calculating the rotation angle of the image information with respect to the real space;
An angle detection system comprising:
前記境界検出手段は、前記撮像手段により撮像された画像情報から前記天井が撮像されている天井領域を検出し、検出した前記天井領域の周縁部に応じて前記境界を検出する角度検出システム。 The angle detection system according to claim 1,
The angle detection system, wherein the boundary detection unit detects a ceiling region where the ceiling is imaged from image information captured by the imaging unit, and detects the boundary according to a detected peripheral edge of the ceiling region.
前記境界検出手段は、前記撮像手段により撮像された画像情報に含まれる各画素の画素値に応じて、照明が撮像されている照明領域を検出することにより、前記天井領域を検出する角度検出システム。 The angle detection system according to claim 2,
The boundary detection unit detects the ceiling region by detecting an illumination region in which illumination is imaged according to a pixel value of each pixel included in image information captured by the imaging unit. .
前記境界検出手段は、前記撮像手段により撮像された画像情報において、当該画像情報から検出した照明領域の周囲の領域を所定数の画素を含むブロックに分割し、前記ブロックに含まれる画素の画素値によるヒストグラムを前記ブロックごとに求め、前記ブロックのヒストグラムの類似度に応じて前記天井領域を検出する角度検出システム。 The angle detection system according to claim 3,
The boundary detection unit divides a region around the illumination region detected from the image information in the image information captured by the imaging unit into blocks including a predetermined number of pixels, and pixel values of the pixels included in the block An angle detection system that obtains the histogram for each block and detects the ceiling area according to the similarity of the histograms of the blocks.
前記回転角演算手段により演算された回転角に応じて、前記画像情報を回転させた修正画像情報を作成する画像修正手段をさらに備える角度検出システム。 The angle detection system according to any one of claims 1 to 4,
An angle detection system further comprising image correction means for creating corrected image information obtained by rotating the image information according to the rotation angle calculated by the rotation angle calculation means.
前記回転角演算手段により演算された回転角に応じて、前記撮像手段における水平方向を回転させる回転手段をさらに備える角度検出システム。 An angle detection system according to any one of claims 1 to 5,
An angle detection system further comprising a rotation unit that rotates a horizontal direction of the imaging unit according to the rotation angle calculated by the rotation angle calculation unit.
前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである角度検出システム。 The angle detection system according to any one of claims 1 to 6,
The angle detection system, wherein the imaging means is an omnidirectional camera installed on a second wall surface facing the first wall surface.
天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、
前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、
前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する水平方向検出手段と、
前記水平方向検出手段により検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する回転角演算手段と、
を備える角度検出システムとして機能させるプログラム。 A computer-readable program, wherein execution of the program by the computer causes the computer to
Imaging means for imaging the boundary between the ceiling and the first wall surface adjacent to the ceiling as image information;
Boundary detection means for detecting the boundary imaged in the image information imaged by the imaging means;
In accordance with the boundary detected by the boundary detection means, horizontal direction detection means for detecting the horizontal direction in the image information in which the boundary is detected;
Based on the horizontal direction in the image information detected by the horizontal direction detection means, a rotation angle calculation means for calculating the rotation angle of the image information with respect to the real space;
A program that functions as an angle detection system.
撮像された画像情報に撮像されている前記境界を検出する工程と、
検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出する工程と、
検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算する工程と、
を有する角度検出方法。 Imaging a boundary between a ceiling and a first wall surface adjacent to the ceiling as image information;
Detecting the boundary imaged in the imaged image information;
Detecting a horizontal direction in the image information in which the boundary is detected according to the detected boundary;
A step of calculating a rotation angle of the image information with respect to a real space based on a horizontal direction in the detected image information;
An angle detection method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015025998A JP6521658B2 (en) | 2015-02-13 | 2015-02-13 | Angle detection system, program and angle detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015025998A JP6521658B2 (en) | 2015-02-13 | 2015-02-13 | Angle detection system, program and angle detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016148602A true JP2016148602A (en) | 2016-08-18 |
| JP6521658B2 JP6521658B2 (en) | 2019-05-29 |
Family
ID=56691173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015025998A Expired - Fee Related JP6521658B2 (en) | 2015-02-13 | 2015-02-13 | Angle detection system, program and angle detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6521658B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236509A (en) * | 2000-02-24 | 2001-08-31 | Minolta Co Ltd | Device and method for detecting inclination of subject |
| JP2013029991A (en) * | 2011-07-28 | 2013-02-07 | Toa Corp | Image processing device, and electronic camera and image reproducing device including the image processing device |
| JP2013524593A (en) * | 2010-03-26 | 2013-06-17 | アルカテル−ルーセント | Methods and configurations for multi-camera calibration |
-
2015
- 2015-02-13 JP JP2015025998A patent/JP6521658B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236509A (en) * | 2000-02-24 | 2001-08-31 | Minolta Co Ltd | Device and method for detecting inclination of subject |
| JP2013524593A (en) * | 2010-03-26 | 2013-06-17 | アルカテル−ルーセント | Methods and configurations for multi-camera calibration |
| JP2013029991A (en) * | 2011-07-28 | 2013-02-07 | Toa Corp | Image processing device, and electronic camera and image reproducing device including the image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6521658B2 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106558026B (en) | Deviating user interface | |
| CN108989777B (en) | Projection apparatus, control method of projection apparatus, and non-transitory storage medium | |
| US9295141B2 (en) | Identification device, method and computer program product | |
| KR101146119B1 (en) | Method and apparatus for determining positions of robot | |
| US20120176303A1 (en) | Gesture recognition apparatus and method of gesture recognition | |
| CN106558027B (en) | Method for estimating deviation error in camera pose | |
| JP7058471B2 (en) | Image processing device, image processing method | |
| US20230040665A1 (en) | Air-conditioning operation terminal, computer-readable medium and air-conditioning system | |
| JP5019478B2 (en) | Marker automatic registration method and system | |
| US9606639B2 (en) | Pointing system and display having improved operable range | |
| US8692879B2 (en) | Image capturing system, image capturing device, information processing device, and image capturing method | |
| US11195328B2 (en) | 3D model generation system and method | |
| JP5631065B2 (en) | Video distribution system, control terminal, network camera, control method and program | |
| JPWO2005096130A1 (en) | Method and apparatus for detecting designated position of imaging apparatus, and program for detecting designated position of imaging apparatus | |
| CN106464823A (en) | Method and apparatus for interacting with display screen | |
| WO2021004413A1 (en) | Handheld input device and blanking control method and apparatus for indication icon of handheld input device | |
| JP2021027584A (en) | Image processing device, image processing method, and program | |
| WO2020066711A1 (en) | Interior finishing material inspection system and interior finishing material inspection method | |
| JP6686319B2 (en) | Image projection device and image display system | |
| JP2016148602A (en) | Angle detection system, program, and angle detection method | |
| JP5960471B2 (en) | Image monitoring device | |
| JP7272118B2 (en) | Intrusion detection devices, programs and intrusion detection systems | |
| JP2018182712A (en) | Monitor system and imaging direction control device | |
| JP6427888B2 (en) | Image display system, image display apparatus, and image display method | |
| US20220030206A1 (en) | Information processing apparatus, information processing method, program, and projection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181114 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |