JP2021081942A - Submergence detection device and submergence detection program - Google Patents
Submergence detection device and submergence detection program Download PDFInfo
- Publication number
- JP2021081942A JP2021081942A JP2019208348A JP2019208348A JP2021081942A JP 2021081942 A JP2021081942 A JP 2021081942A JP 2019208348 A JP2019208348 A JP 2019208348A JP 2019208348 A JP2019208348 A JP 2019208348A JP 2021081942 A JP2021081942 A JP 2021081942A
- Authority
- JP
- Japan
- Prior art keywords
- water surface
- image
- underpass
- unit
- water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 223
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 415
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Abstract
Description
この発明は、アンダーパス構造が適用された道路における冠水を検知する冠水検知装置および冠水検知プログラムに関する。 The present invention relates to a flood detection device and a flood detection program for detecting flooding on a road to which an underpass structure is applied.
アンダーパス構造が適用された道路では、降水等によって当該道路に冠水が発生し、当該冠水の程度によっては、車両が当該道路を走行することが困難になることがある。
道路に冠水が発生している場合に、当該冠水の程度を把握する技術として、例えば、特許文献1には、車両に設置されたカメラが車両の前方を撮像した画像に基づき、冠水部の有無の判定および冠水部の水深の算出を行う情報処理装置が開示されている。
On a road to which an underpass structure is applied, flooding occurs on the road due to precipitation or the like, and depending on the degree of flooding, it may be difficult for a vehicle to travel on the road.
As a technique for grasping the degree of flooding when a road is flooded, for example, Patent Document 1 describes the presence or absence of a flooded portion based on an image taken by a camera installed in the vehicle in front of the vehicle. An information processing device that performs determination of the above and calculation of the water depth of the flooded portion is disclosed.
特許文献1に開示されている従来技術では、車両に設置されたカメラが撮像した画像に基づいて、冠水部の有無の判定および冠水部の水深の算出を行う。そのため、アンダーパス構造が適用された道路において、冠水の程度を検知する際に、特許文献1に開示されている技術を適用させたとしても、車両の走行状態によっては、冠水部の水深を適切に算出することができず、その結果、上記冠水の程度を適切に検知できない場合があるという課題があった。 In the prior art disclosed in Patent Document 1, the presence or absence of a flooded portion and the calculation of the water depth of the flooded portion are performed based on the image captured by the camera installed in the vehicle. Therefore, even if the technique disclosed in Patent Document 1 is applied when detecting the degree of flooding on a road to which the underpass structure is applied, the water depth of the flooded portion is appropriate depending on the traveling state of the vehicle. As a result, there is a problem that the degree of flooding may not be appropriately detected.
この発明は上記のような課題を解決するためになされたもので、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水の程度を検知することが可能な冠水検知装置を提供することを目的とする。 The present invention has been made to solve the above problems, and provides a flood detection device capable of detecting the degree of flooding on a road to which an underpass structure is applied, regardless of the running state of the vehicle. The purpose is to provide.
この発明に係る冠水検知装置は、アンダーパスの少なくとも斜面部を撮像可能な位置に固定的に設置された撮像装置が当該アンダーパスを撮像した撮像画像、を取得する画像取得部と、画像取得部が取得した撮像画像に基づき、当該撮像画像上にて、アンダーパスと当該アンダーパスにおける冠水領域の水面との接点、を結ぶ水面線、を検出する水面検出部と、水面検出部が検出した水面線に基づき、冠水領域の水深を判定する水深判定部とを備えたものである。 The submersion detection device according to the present invention includes an image acquisition unit and an image acquisition unit that acquire an image captured by an image pickup device fixedly installed at a position where at least a slope portion of the underpass can be imaged. On the captured image, the water surface detection unit that detects the water surface line connecting the underpass and the contact point between the water surface of the submerged region in the underpass, and the water surface detected by the water surface detection unit It is provided with a water depth determination unit that determines the water depth of the submerged area based on the line.
この発明によれば、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水の程度を検知することができる。 According to the present invention, it is possible to detect the degree of flooding on a road to which an underpass structure is applied, regardless of the traveling state of the vehicle.
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、実施の形態1に係る冠水検知装置1の構成例を示す図である。
実施の形態1において、冠水検知装置1は、例えば、サーバ(図示省略)に備えられることを想定している。
冠水検知装置1は、ネットワークを介して撮像装置2と接続される。より詳細には、冠水検知装置1は、撮像装置2と、スイッチングハブ(図示省略)を経由して接続される。
冠水検知装置1は、道路において当該道路の高さが前後区間に比べて低くなっている区間を撮像した画像(以下「撮像画像」という。)を取得し、取得した撮像画像に基づき、上記区間における冠水および当該冠水の程度を検知する。以下の説明では、道路において当該道路の高さが前後区間に比べて低くなっている区間を、「アンダーパス」という。実施の形態1において、「冠水を検知する」というとき、冠水が発生しているかを検知することのみならず、冠水が発生している場合の冠水の程度を検知することを含むものとする。「冠水の程度」とは、アンダーパスに冠水した水領域(以下「冠水領域」という。)の水深のこという。
撮像装置2がアンダーパスを撮像する。冠水検知装置1は、撮像装置2から、当該撮像装置2が撮像した撮像画像を取得する。撮像装置2は、例えば、当該撮像装置2が設置されているエリア周辺を監視する監視カメラを想定している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
FIG. 1 is a diagram showing a configuration example of the flood detection device 1 according to the first embodiment.
In the first embodiment, it is assumed that the submersion detection device 1 is provided in, for example, a server (not shown).
The submersion detection device 1 is connected to the
The flood detection device 1 acquires an image (hereinafter referred to as "captured image") of a section of the road where the height of the road is lower than that of the front-rear section, and based on the acquired image, the section is described. And the degree of flooding are detected. In the following description, a section of a road whose height is lower than that of the front and rear sections is referred to as an "underpass". In the first embodiment, the term "detecting flooding" includes not only detecting whether or not flooding has occurred, but also detecting the degree of flooding when flooding has occurred. The "degree of flooding" refers to the water depth of the water area submerged in the underpass (hereinafter referred to as "flooding area").
The
ここで、撮像装置2の設置位置のイメージの一例、および、撮像装置2がアンダーパスを撮像した撮像画像のイメージの一例について、図面を用いて説明する。
図2は、実施の形態1において、撮像装置2の設置位置のイメージの一例を示す図である。図2では、説明の簡単のため、撮像装置2および道路以外の構造物等については、図示を省略している。
撮像装置2は、例えば、アンダーパスの、少なくとも斜面部101を撮像可能な位置に、固定的に設置されている。実施の形態1において、撮像装置2がアンダーパスの少なくとも斜面部を撮像可能な位置に固定的に設置されている、とは、撮像装置2がアンダーパスの少なくとも斜面部101を撮像可能な位置に存在する構造物に取り付けられていることをいう。移動体に搭載されている撮像装置は、固定的に設置されている撮像装置2には含まれない。
実施の形態1において、斜面部101とは、アンダーパスよりも道路の高さが高くなっている当該アンダーパスの前後区間の道路と、アンダーパスの最深点102との間の、当該アンダーパスの一部分をいう。斜面部101は、傾斜になっている。アンダーパスにおいて、道路の高さが最も低い地点を最深点102という。なお、道路の高さは、例えば、標高であらわされるものとする。
図3は、実施の形態1において、撮像装置2がアンダーパスを撮像した撮像画像のイメージの一例を示す図である。図3では、説明の簡単のため、道路、および、道路の両脇の、道路に接する壁面以外の構造物等については、図示を省略している。
Here, an example of an image of the installation position of the
FIG. 2 is a diagram showing an example of an image of an installation position of the
The
In the first embodiment, the
FIG. 3 is a diagram showing an example of an image of a captured image in which the
図1の説明に戻る。
撮像装置2は、撮像画像を、スイッチングハブを経由してストリームレコーダ(図示省略)に記録することができる。冠水検知装置1は、ストリームレコーダに記録された撮像画像を取得するようにしてもよい。
また、撮像装置2は、ネットワークを介して、操作用PC(Personal Computer。図示省略)と接続される。操作用PCは、撮像装置2から、スイッチングハブを経由して撮像画像を取得し、取得した撮像画像の再生を行う。操作用PCは、撮像装置2の制御を行うことができる。
Returning to the description of FIG.
The
Further, the
図1に示すように、冠水検知装置1は、画像取得部11、天候判定部12、水面検出部13、水深判定部14、および、警報出力制御部15を備える。水深判定部14は、比較部141を備える。
画像取得部11は、撮像装置2がアンダーパスを撮像した撮像画像を取得する。
画像取得部11は、取得した撮像画像を水面検出部13に出力する。
As shown in FIG. 1, the flood detection device 1 includes an
The
The
天候判定部12は、アンダーパスを含むエリアの天候に基づき、冠水検知が必要か否かを判定する。具体的には、天候判定部12は、アンダーパスを含むエリアの天候に関する情報に基づいて、当該エリアに降雨があるか否かを判定する。天候判定部12は、アンダーパスを含むエリアに降雨がある場合、冠水検知が必要であると判定する。
天候判定部12は、例えば、周知の技術(例えば、特開2002−157676号公報参考)を用いて、天候に関する情報を取得すればよい。また、例えば、操作用PCが、天候に関する情報を収録している気象サーバ(図示省略)を参照して当該天候に関する情報を取得するようにしてもよい。天候判定部12は、操作用PCから取得した天候に関する情報を取得し、天候を判定すればよい。また、例えば、天候判定部12は、画像取得部11が取得した撮像画像を取得し、周知の画像解析技術を用いて、撮像画像から、天候に関する情報を取得するようにしてもよい。
天候判定部12は、冠水検知が必要であるか否かの情報(以下「検知要否情報」という。)を、水面検出部13に出力する。
The
The
The
水面検出部13は、天候判定部12から冠水検知が必要である旨の検知要否情報が出力された場合、画像取得部11が取得した撮像画像に基づき、当該撮像画像上にて、アンダーパスと当該アンダーパスにおける冠水領域の水面との接点、を結ぶ水面線、を検出する。
図4は、実施の形態1において、水面線の一例を示す図である。図4は、例えば、図3に示した撮像画像に撮像されているアンダーパスにおいて冠水が発生した場合の、当該アンダーパスが撮像された撮像画像のイメージを示している。図4において、水面線は402で示している。また、図4において、撮像画像上の冠水領域を401で示している。
水面検出部13は、例えば、周知の画像解析技術を用いて、撮像画像上のエッジを抽出することで、撮像画像上の水面線を検出する。
水面検出部13は、撮像画像に、検出した水面線に関する情報を付与して、水深判定部14に出力する。水面線に関する情報とは、例えば、水面線をあらわす、撮像画像上の線である。
When the
FIG. 4 is a diagram showing an example of a water surface line in the first embodiment. FIG. 4 shows, for example, an image of an captured image in which the underpass is captured when flooding occurs in the underpass captured in the captured image shown in FIG. In FIG. 4, the water surface line is indicated by 402. Further, in FIG. 4, the submerged region on the captured image is indicated by 401.
The water
The water
水深判定部14は、水面検出部13が検出した水面線に基づき、アンダーパスにおける冠水領域の水深を判定する。
具体的には、水深判定部14の比較部141が、水面検出部13が検出した水面線に関する情報が付与された撮像画像と複数の基準画像とを比較する。水深判定部14は、比較部141が行った比較結果に基づき、アンダーパスにおける冠水領域の水深を判定する。
基準画像は、撮像装置2が当該撮像装置2の設置位置からアンダーパスを撮像した場合と同じ画角でアンダーパスが示された画像であって、アンダーパスにおいて、斜面部101のある高さまで冠水したと仮定した場合の水面線が示された画像である。基準画像には、冠水領域の水深がどれぐらいであるかを特定可能な情報が対応付けられている。例えば、管理者等は、冠水が発生したと仮定し、斜面部101に冠水領域の水面線を示す白線が引かれたアンダーパスを示す基準画像を用意する。管理者等は、用意した基準画像を、冠水領域の水深を示す情報と対応付けて、記憶部(図示省略)に記憶させておく。管理者等は、上述したような基準画像を複数、種々の水深に対応付けて予め生成し、記憶部に記憶させておく。
比較部141は、水面検出部13から出力された撮像画像と複数の基準画像とを比較し、複数の基準画像のうち、撮像画像における水面線の位置と基準画像における白線の位置との類似度が最も高い基準画像(以下「類似基準画像」という。)を特定する。
比較部141は、特定した類似基準画像に関する情報を、水深判定部14に出力する。
水深判定部14は、比較部141によって特定された類似基準画像に対応付けられている水深を、アンダーパスにおける冠水領域の水深と判定する。
The water
Specifically, the
The reference image is an image in which the underpass is shown at the same angle of view as when the
The
The
The water
図5は、実施の形態1において、水深判定部14が、比較部141によって特定された類似基準画像に基づいて、アンダーパスの冠水領域における水深を判定するイメージの一例を説明するための図である。なお、図5では、説明の便宜上、基準画像にて水面線を示している白線を、黒線502で示している。また、図5では、撮像画像上の水面線は、図4同様、402で示している。
図5に示す一例でいうと、撮像画像における水面線の位置と、501で示す基準画像における黒線502の位置との類似度が、最も高い。よって、比較部141は、501で示す基準画像を類似基準画像に特定する。水深判定部14は、501で示す類似基準画像に対応付けられている水深15cmを、撮像画像で撮像されているアンダーパスにおける冠水領域の水深と判定する。
水深判定部14は、判定した、アンダーパスにおける冠水領域の水深を、警報出力制御部15に出力する。
FIG. 5 is a diagram for explaining an example of an image in which the water
In the example shown in FIG. 5, the degree of similarity between the position of the water surface line in the captured image and the position of the
The water
警報出力制御部15は、水深判定部14が判定した水深に基づき、警報の出力を制御する。具体的には、警報出力制御部15は、水深判定部14が判定した水深が、予め設定された閾値(以下「水深判定用閾値」という。)以上である場合、アンダーパスを走行しようとしている車両に対して警報を出力する。
警報出力制御部15は、アンダーパスを走行しようとしている車両の乗員が、アンダーパスに冠水が発生していることを把握できるような警報を、出力するようになっていればよい。例えば、警報出力制御部15は、道路を走行している車両から見てアンダーパスの入り口付近に設置されている表示装置に、「冠水注意」等、冠水している旨の注意喚起を行うメッセージを表示させる。また、例えば、警報出力制御部15は、道路を走行している車両から見てアンダーパスの入り口付近に設置されている音声出力装置から、上述したような、注意喚起を行うメッセージ、または、警報音を出力させるようにしてもよい。
The alarm
The alarm
実施の形態1に係る冠水検知装置1の動作について説明する。
図6は、実施の形態1に係る冠水検知装置1の動作を説明するためのフローチャートである。
画像取得部11は、撮像装置がアンダーパスを撮像した撮像画像を取得する(ステップST601)。
画像取得部11は、取得した撮像画像を水面検出部13に出力する。
The operation of the flood detection device 1 according to the first embodiment will be described.
FIG. 6 is a flowchart for explaining the operation of the flood detection device 1 according to the first embodiment.
The
The
天候判定部12は、アンダーパスを含むエリアの天候に基づき、冠水検知が必要か否かを判定する(ステップST602)。具体的には、天候判定部12は、アンダーパスを含むエリアの天候に関する情報に基づいて、当該エリアに降雨があるか否かを判定する。天候判定部12は、アンダーパスを含むエリアに降雨がある場合、冠水検知が必要であると判定する。
天候判定部12は、検知要否情報を、水面検出部13に出力する。
The
The
水面検出部13は、ステップST602にて天候判定部12から冠水検知が必要である旨の検知要否情報が出力された場合、ステップST601にて画像取得部11が取得した撮像画像に基づき、当該撮像画像上にて、水面線を検出する(ステップST603)。
水面検出部13は、撮像画像に、検出した水面線に関する情報を付与して、水深判定部14に出力する。
ステップST602にて天候判定部12から冠水検知が不要である旨の検知要否情報が出力された場合は、冠水検知装置1は、図6のフローチャートで示す動作を終了する。
When the
The water
When the
水深判定部14は、ステップST603にて水面検出部13が検出した水面線に基づき、アンダーパスにおける冠水領域の水深を判定する(ステップST604)。
The water
ここで、図7は、実施の形態1における、水深判定部14による、図6のステップST604の具体的な動作を説明するためのフローチャートである。
水深判定部14の比較部141は、水面検出部13が検出した水面線に関する情報が付与された撮像画像と複数の基準画像とを比較する(ステップST701)。
そして、比較部141は、複数の基準画像のうち、類似基準画像を特定する(ステップST702)。比較部141は、特定した類似基準画像に関する情報を、水深判定部14に出力する。
水深判定部14は、比較部141が特定した類似基準画像に対応付けられている水深を、アンダーパスにおける冠水領域の水深と判定する(ステップST703)。
水深判定部14は、判定した、アンダーパスにおける冠水領域の水深を、警報出力制御部15に出力する。
Here, FIG. 7 is a flowchart for explaining the specific operation of step ST604 of FIG. 6 by the water
The
Then, the
The water
The water
図6のフローチャートに戻る。
警報出力制御部15は、ステップST604にて水深判定部14が判定した水深に基づき、警報の出力を制御する(ステップST605)。
Return to the flowchart of FIG.
The alarm
実施の形態1では、冠水検知装置1は、ステップST601、ステップST602の順で動作するものとした。しかし、ステップST601の動作およびステップST602の動作の順番は逆でもよいし、ステップST601の動作とステップST602の動作とが並行して行われるようにしてもよい。冠水検知装置1は、ステップST602、ステップST601の順で動作する場合、天候判定部12が冠水検知は不要と判断すると、ステップST601以降の動作を行わないようにしてもよい。
In the first embodiment, the flood detection device 1 operates in the order of step ST601 and step ST602. However, the order of the operation of step ST601 and the operation of step ST602 may be reversed, or the operation of step ST601 and the operation of step ST602 may be performed in parallel. When the flood detection device 1 operates in the order of step ST602 and step ST601, if the
このように、冠水検知装置1は、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて、アンダーパスにおける冠水領域の水深を判定する。
上述したような従来技術では、車両に設置されたカメラが撮像した画像に基づいて、冠水部の有無の判定および冠水部の水深の算出を行う。そのため、アンダーパス構造が適用された道路において冠水を検知する際に、当該従来技術を適用しても、車両の走行状態によっては、冠水部の水深を適切に算出することができず、その結果、冠水を適切に検知できない場合があるという課題があった。具体的には、例えば、路面にがたつきがあることにより車体が振動している場合、車両に設置されたカメラは、アンダーパスを適切に撮像できない。これにより、従来技術を適用しても、冠水部の水深を適切に算出することができない。また、車両が高速で移動している場合、冠水領域を走行するまでに解析結果を得ることが困難になる可能性がある。
As described above, the submersion detection device 1 is based on the image captured by the
In the conventional technique as described above, the presence or absence of the flooded portion is determined and the water depth of the flooded portion is calculated based on the image captured by the camera installed in the vehicle. Therefore, when detecting flooding on a road to which an underpass structure is applied, even if the prior art is applied, the water depth of the flooded portion cannot be calculated appropriately depending on the running condition of the vehicle, and as a result, , There is a problem that flooding may not be detected properly. Specifically, for example, when the vehicle body is vibrating due to rattling on the road surface, the camera installed in the vehicle cannot properly image the underpass. As a result, even if the prior art is applied, the water depth of the flooded portion cannot be calculated appropriately. Further, when the vehicle is moving at high speed, it may be difficult to obtain the analysis result before traveling in the flooded area.
これに対し、実施の形態1に係る冠水検知装置1は、上述のとおり、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて、アンダーパスにおける冠水領域の水深を判定する。そのため、冠水検知装置1は、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
On the other hand, in the submersion detection device 1 according to the first embodiment, as described above, the
また、実施の形態1に係る冠水検知装置1は、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて判定した冠水領域の水深が、水深判定用閾値以上である場合、アンダーパスを走行しようとしている車両に対して警報を出力する。冠水検知装置1は、アンダーパスを走行しようとしている車両に対して、適切に、警告を行うことができる。
Further, the submersion detection device 1 according to the first embodiment determines based on an image captured by the
また、実施の形態1に係る冠水検知装置1は、アンダーパス周辺の天候に基づき、冠水検知が必要か否かを判定する。冠水検知装置1は、冠水検知が必要であると判定した場合に、冠水領域の水深を判定し、判定した水深に基づき、アンダーパスを走行しようとしている車両に対する警報の出力を制御する。これにより、冠水検知装置1は、アンダーパスに生じた影を冠水領域と誤検知してしまうことを防ぐことができる。 Further, the flood detection device 1 according to the first embodiment determines whether or not flood detection is necessary based on the weather around the underpass. When it is determined that the flood detection is necessary, the flood detection device 1 determines the water depth in the flooded region, and controls the output of an alarm to the vehicle trying to travel underpass based on the determined water depth. As a result, the flood detection device 1 can prevent the shadow generated in the underpass from being erroneously detected as the flooded region.
また、冠水領域の水深が変動した場合、アンダーパスの斜面部101上の、冠水領域の水面との境界の変動量は、水深の変動量よりも大きい。実施の形態1に係る冠水検知装置1は、水面線を検出し、水面線に基づいて、冠水領域の水深を判定することで、最深点102から冠水領域の水面までの深さから直接水深を判定する場合よりも、より精度よく、水深を判定することができる。
Further, when the water depth of the submerged region fluctuates, the fluctuation amount of the boundary of the submerged region with the water surface on the
以上の実施の形態1では、冠水検知装置1は、天候判定部12を備えるものとしたが、冠水検知装置1は、天候判定部12を備えることを必須としない。冠水検知装置1は、天候判定部12を備えない構成としてもよい。
また、以上の実施の形態1では、警報出力制御部15は、冠水検知装置1に備えられるものとしたが、これは一例に過ぎない。警報出力制御部15は、冠水検知装置1に備えられるのではなく、当該警報出力制御部15の機能が、例えば、警報出力装置等、冠水検知装置1の外部の装置に備えられるようになっていてもよい。その場合、冠水検知装置1において、水深判定部14は、アンダーパスにおける冠水領域の水深を判定すると、判定した水深に関する情報を、外部の装置に出力する。
In the above-described first embodiment, the flood detection device 1 is provided with the
Further, in the above-described first embodiment, the alarm
以上のように、実施の形態1によれば、冠水検知装置1は、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像、を取得する画像取得部11と、画像取得部11が取得した撮像画像に基づき、当該撮像画像上にて、アンダーパスと当該アンダーパスにおける冠水領域の水面との接点、を結ぶ水面線、を検出する水面検出部13と、水面検出部13が検出した水面線に基づき、冠水領域の水深を判定する水深判定部14とを備えるように構成した。そのため、冠水検知装置1は、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
As described above, according to the first embodiment, the submersion detection device 1 is an image captured by the
具体的には、冠水検知装置1において、水深判定部14は、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が撮像した撮像画像であって、水面検出部13が検出した水面線に関する情報が付与された撮像画像と、アンダーパスにおける冠水領域の水深を特定可能な情報が付与された基準画像とを比較することで、水深を判定する。そのため、冠水検知装置1は、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
Specifically, in the flood detection device 1, the water
また、冠水検知装置1は、アンダーパスを含むエリアの天候に基づき、冠水検知が必要か否かを判定する天候判定部12を備え、水深判定部14は、天候判定部12によって冠水検知が必要と判定された場合に、冠水領域の水深を判定するように構成した。そのため、冠水検知装置1は、アンダーパスに生じた影を冠水領域と誤検知してしまうことを防ぐことができる。
Further, the submersion detection device 1 includes a
また、冠水検知装置1は、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて水深判定部14が判定した水深に基づき、警報を出力する警報出力制御部15を備えるように構成した。そのため、冠水検知装置1は、アンダーパスを走行しようとしている車両に対して、適切に、警告を行うことができる。
Further, the flood detection device 1 is a water depth determined by the water
実施の形態2.
実施の形態1では、冠水検知装置1は、撮像装置2が撮像した撮像画像であって、水面検出部13が検出した水面線に関する情報が付与された撮像画像と、予め生成された複数の基準画像とを比較することで、アンダーパスにおける冠水領域の水深を判定するようにした。
実施の形態2では、冠水検知装置1aが、基準画像を用いず、アンダーパスにおける冠水領域の水深を判定する実施の形態について説明する。
In the first embodiment, the submersion detection device 1 is an image captured by the
In the second embodiment, an embodiment in which the submersion detection device 1a determines the water depth of the submerged region in the underpass without using the reference image will be described.
以下の実施の形態2では、撮像装置2は、例えば、アンダーパスの、少なくとも斜面部101および最深点102を撮像可能な位置に、固定的に設置されているものとする。
図8は、実施の形態2に係る冠水検知装置1aの構成例を示す図である。
実施の形態2において、冠水検知装置1aは、実施の形態1に係る冠水検知装置1同様、例えば、サーバに備えられることを想定している。
冠水検知装置1aにおいて、実施の形態1にて図1を用いて説明した構成と同様の構成については、同じ符号を付して重複した説明を省略する。
In the second embodiment below, it is assumed that the
FIG. 8 is a diagram showing a configuration example of the flood detection device 1a according to the second embodiment.
In the second embodiment, it is assumed that the submersion detection device 1a is provided in, for example, a server, like the submersion detection device 1 according to the first embodiment.
In the submersion detection device 1a, the same reference numerals are given to the same configurations as those described with reference to FIG. 1 in the first embodiment, and duplicate description will be omitted.
実施の形態2に係る冠水検知装置1aは、実施の形態1に係る冠水検知装置1とは、水深判定部14aが、比較部141に代えて測距部142を備えた点が異なる。
水深判定部14aは、水面検出部13が検出した水面線に関する情報が付与された撮像画像に基づき、アンダーパスにおける冠水領域の水深を判定する。
具体的には、水深判定部14aの測距部142が、水面検出部13が検出した水面線上の点と撮像画像におけるアンダーパスの最深点102との距離を測定する。言い換えれば、測距部142は、水面検出部13が検出した水面線上の点と撮像画像におけるアンダーパスの最深点102とを結んだ撮像画像上の線(以下「水深判定用線」という。)の長さを測定する。測距部142が、水面線上のどの位置の点を、水深判定用線の一方の端部とするかは、予め決められているものとする。また、アンダーパスの最深点102が複数存在する場合、どの最深点102を、水深判定用線の他方の端部とするかは、予め決められているものとする。撮像装置2は、水深判定用線の端部として予め決められている最深点102を撮像可能な位置に設置される。
The submersion detection device 1a according to the second embodiment is different from the submersion detection device 1 according to the first embodiment in that the water
The water
Specifically, the
水深判定部14aは、測距部142が測定した水深判定用線の長さに基づいて、アンダーパスにおける冠水領域の水深を判定する。具体的には、予め、水深判定用線の長さと、アンダーパスにおける冠水領域の水深との関係を示す水深情報が、記憶部に記憶されている。水深情報は、例えば、水深判定用線の長さと水深とが対応付けられている情報である。水深判定部14aは、測距部142が測定した水深判定用線の長さに基づき、記憶部に記憶されている水深情報を参照して、アンダーパスにおける冠水領域の水深を判定する。
The water
図9は、実施の形態2において、水深判定部14aが、測距部142によって測定された水深判定用線の長さに基づいて、アンダーパスにおける冠水領域の水深を判定するイメージの一例を説明するための図である。なお、図9では、撮像画像上の水面線は、図4および図5同様、402で示している。
図9に示す一例では、水深判定用線の一方の端部とする水面線上の点は、水面線と、最深点102を通る、道路上を車両が走行する方向と略平行な直線とが交わる点(図9において901で示す)としている。
測距部142は、図9において901で示す点と最深点102とを結ぶ線を水深判定用線(図9において902で示す)とし、当該水深判定用線の長さを測定する。水深判定部14aは、記憶部に記憶されている水深情報を参照して、水深判定用線の長さに対応する水深を判定する。ここでは、例えば、測距部142によって測定された水深判定用線の長さが1cmであったとする。また、水深情報において、水深判定用線1cmと、水深14cmとが対応付けられているとする。この場合、水深判定部14aは、水深14cmを、撮像画像で撮像されているアンダーパスにおける冠水領域の水深と判定する。
水深判定部14aは、判定した、アンダーパスにおける冠水領域の水深を、警報出力制御部15に出力する。
FIG. 9 illustrates an example of an image in which the water
In the example shown in FIG. 9, the point on the water surface line as one end of the water depth determination line intersects the water surface line and a straight line passing through the
The
The water
実施の形態2に係る冠水検知装置1aの動作について説明する。
冠水検知装置1aの動作は、実施の形態1において図6のフローチャートを用いて説明した冠水検知装置1の動作とは、ステップST604における具体的な動作が異なる。その他の、ステップST601〜ステップST603、ステップST605の動作は、実施の形態1にて説明した動作と同様であるため、重複した説明を省略する。
図10は、実施の形態2における、水深判定部14aによる、図6のステップST604の具体的な動作を説明するためのフローチャートである。
実施の形態1では、ステップST604において、水深判定部14が、図7のフローチャートを用いて説明した動作を行っていたのに対し、実施の形態2では、ステップST604において、水深判定部14aが、図10のフローチャートを用いて以下に説明する動作を行う。
The operation of the flood detection device 1a according to the second embodiment will be described.
The operation of the submersion detection device 1a is different from the operation of the submersion detection device 1 described with reference to the flowchart of FIG. 6 in the first embodiment in the specific operation in step ST604. Since the other operations of steps ST601 to ST603 and ST605 are the same as the operations described in the first embodiment, duplicate description will be omitted.
FIG. 10 is a flowchart for explaining the specific operation of step ST604 of FIG. 6 by the water
In the first embodiment, in step ST604, the water
水深判定部14aの測距部142は、水面検出部13が検出した水面線上の点と撮像画像におけるアンダーパスの最深点102とを結んだ水深判定用線の長さを測定する(ステップST1001)。
The ranging
水深判定部14aは、ステップST1001にて測距部142が測定した水深判定用線の長さに基づいて、アンダーパスにおける冠水領域の水深を判定する(ステップST1002)。具体的には、水深判定部14aは、測距部142が測定した水深判定用線の長さに基づき、記憶部に記憶されている水深情報を参照して、水深判定用線に対応する、冠水領域の水深を判定する。
The water
水深判定部14aは、判定した、アンダーパスにおける冠水領域の水深を、警報出力制御部15に出力する。
The water
このように、冠水検知装置1aは、アンダーパスの少なくとも斜面部101および最深点102を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて、アンダーパスにおける冠水領域の水深を判定する。
そのため、実施の形態1に係る冠水検知装置1同様、冠水検知装置1aは、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
なお、実施の形態2に係る冠水検知装置1aは、撮像画像における水面線上の点と、撮像画像におけるアンダーパスの最深点102とを結んだ水深判定用線の長さに基づいて、冠水領域の水深を判定する。冠水検知装置1aは、画像上の水深判定用線の測距によって冠水領域の水深を判定するため、撮像画像と基準画像との画像の比較によって冠水領域の水深を判定していた実施の形態1に係る冠水検知装置1と比べて、水深を判定するための処理負荷を軽減することができる。
As described above, the submersion detection device 1a is underpassed based on the image captured by the
Therefore, like the flood detection device 1 according to the first embodiment, the flood detection device 1a can detect flooding on the road to which the underpass structure is applied, regardless of the traveling state of the vehicle.
The submerged detection device 1a according to the second embodiment has a submerged region based on the length of a water depth determination line connecting a point on the water surface line in the captured image and the
また、実施の形態2に係る冠水検知装置1aは、アンダーパスの少なくとも斜面部101および最深点102を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像に基づいて判定した、冠水領域の水深が、水深判定用閾値以上である場合、アンダーパスを走行しようとしている車両に対して警報を出力する。実施の形態1に係る冠水検知装置1同様、冠水検知装置1aは、アンダーパスを走行しようとしている車両に対して、適切に、警告を行うことができる。
Further, the submersion detection device 1a according to the second embodiment is an image captured by the
また、実施の形態2に係る冠水検知装置1aは、アンダーパス周辺の天候に基づき、冠水検知が必要か否かを判定する。実施の形態1に係る冠水検知装置1同様、冠水検知装置1aは、冠水検知が必要であると判定した場合に、冠水領域の水深を判定し、判定した水深に基づき、アンダーパスを走行しようとしている車両に対する警報の出力を制御する。これにより、冠水検知装置1aは、アンダーパスに生じた影を冠水領域と誤検知してしまうことを防ぐことができる。
また、実施の形態2に係る冠水検知装置1aは、水面線を検出し、水面線に基づいて、冠水領域の水深を判定することで、最深点102から冠水領域の水面までの深さから直接水深を判定する場合よりも、より精度よく、水深を判定することができる。
Further, the flood detection device 1a according to the second embodiment determines whether or not flood detection is necessary based on the weather around the underpass. Similar to the submergence detection device 1 according to the first embodiment, the submersion detection device 1a determines the water depth of the submerged region when it is determined that the submersion detection is necessary, and attempts to travel underpass based on the determined water depth. Controls the output of alarms for vehicles that are in. As a result, the flood detection device 1a can prevent the shadow generated in the underpass from being erroneously detected as the flooded region.
Further, the submersion detection device 1a according to the second embodiment detects the water surface line and determines the water depth of the submerged region based on the water surface line, so that the depth from the
以上の実施の形態2では、冠水検知装置1aは、天候判定部12を備えるものとしたが、冠水検知装置1aは、天候判定部12を備えることを必須としない。冠水検知装置1aは、天候判定部12を備えない構成としてもよい。
また、以上の実施の形態2では、警報出力制御部15は、冠水検知装置1aに備えられるものとしたが、これは一例に過ぎない。警報出力制御部15は、冠水検知装置1aに備えられるのではなく、当該警報出力制御部15の機能が、例えば、警報出力装置等、冠水検知装置1の外部の装置に備えられるようになっていてもよい。その場合、冠水検知装置1aにおいて、水深判定部14aは、アンダーパスにおける冠水領域の水深を判定すると、判定した水深に関する情報を、外部の装置に出力する。
In the above second embodiment, the flood detection device 1a is provided with the
Further, in the above second embodiment, the alarm
以上のように、実施の形態2によれば、冠水検知装置1aは、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が当該アンダーパスを撮像した撮像画像、を取得する画像取得部11と、画像取得部11が取得した撮像画像に基づき、当該撮像画像上にて、アンダーパスと当該アンダーパスにおける冠水領域の水面との接点、を結ぶ水面線、を検出する水面検出部13と、水面検出部13が検出した水面線に基づき、冠水領域の水深を判定する水深判定部14aとを備えるように構成した。そのため、冠水検知装置1aは、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
As described above, according to the second embodiment, the submersion detection device 1a is an image captured by the
具体的には、冠水検知装置1aにおいて、水深判定部14aは、アンダーパスの少なくとも斜面部101を撮像可能な位置に固定的に設置された撮像装置2が撮像した撮像画像において水面検出部13が検出した水面線上の点と、撮像画像におけるアンダーパスの最深点102とを結んだ線(水深判定用線)の長さに基づいて、水深を判定する。そのため、冠水検知装置1aは、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水を検知することができる。
Specifically, in the submersion detection device 1a, the water
実施の形態3.
以上の実施の形態1では、アンダーパスに冠水が発生した際、撮像装置2は、水面線を撮像できていることを前提としていた。
しかし、アンダーパスに冠水が発生した際、撮像装置2の現在の撮像方向によっては、撮像装置2が水面線を撮像できない場合もあり得る。
実施の形態3では、冠水検知装置1bが、撮像装置2の撮像方向を制御可能であるものとする実施の形態について説明する。実施の形態3において、冠水検知装置1bは、撮像装置2をパン方向への動作またはチルト方向への動作を制御することで、撮像装置2の撮像方向を制御する。
Embodiment 3.
In the above-described first embodiment, it is premised that the
However, when the underpass is flooded, the
In the third embodiment, the embodiment in which the submersion detection device 1b can control the image pickup direction of the
図11は、実施の形態3に係る冠水検知装置1bの構成例を示す図である。
実施の形態3において、冠水検知装置1bは、実施の形態1に係る冠水検知装置1同様、例えば、サーバに備えられることを想定している。
図11に示す冠水検知装置1bは、実施の形態1に係る冠水検知装置1とは、水面移動方向判定部16および撮像方向制御部17をさらに備えた点が異なる。
また、実施の形態3に係る冠水検知装置1bでは、水面検出部13は、水面線を検出できた場合は、水面移動方向判定部16に、検出した水面線に関する情報を付与した撮像画像を、出力するものとする。水面検出部13は、水面線を検出できなかった場合は、水面線を検出できなかった旨の情報を、撮像方向制御部17に出力するものとする。
FIG. 11 is a diagram showing a configuration example of the submersion detection device 1b according to the third embodiment.
In the third embodiment, it is assumed that the submersion detection device 1b is provided in, for example, a server, like the submersion detection device 1 according to the first embodiment.
The submersion detection device 1b shown in FIG. 11 is different from the submersion detection device 1 according to the first embodiment in that it further includes a water surface movement
Further, in the submersion detection device 1b according to the third embodiment, when the water
水面移動方向判定部16は、水面検出部13が水面線を検出できた場合、水面検出部13が検出した水面線に基づき、当該水面線の、撮像画像上の移動方向を判定する。
実施の形態3では、水面移動方向判定部16は、水面検出部13から出力された、水面線に関する情報が付与された撮像画像を、記憶部に記憶させているものとする。記憶部に記憶された撮像画像は、例えば、撮像装置2の電源がオフされた場合に、冠水検知装置1bの制御部(図示省略)によってクリアされる。水面移動方向判定部16は、記憶部に記憶されている撮像画像に基づき、現在、水面検出部13が検出した水面線は、直前に水面検出部13が検出した水面線から、撮像画像上で、どの方向に移動したかを判定する。
水面移動方向判定部16は、判定した、水面線の移動方向に関する情報を記憶部に記憶させる。水面移動方向判定部16は、水面線の移動方向を判定する都度、記憶部に記憶させる、水面線の移動方向に関する情報を、書き換えるようにする。
なお、水面移動方向判定部16は、記憶部に撮像画像が記憶されていない場合、水面線の移動方向は判定しないものとする。
When the water
In the third embodiment, it is assumed that the water surface movement
The water surface movement
The water surface movement
撮像方向制御部17は、水面検出部13が水面線を検出できなかった場合、撮像装置2が水面線を撮像するよう、撮像装置2の撮像方向を制御する。
具体的には、撮像方向制御部17は、水面移動方向判定部16が判定した、水面線の移動方向に応じて、撮像装置2の撮像方向を制御する。水面移動方向判定部16が判定した、水面線の移動方向は、記憶部に記憶されている。撮像方向制御部17は、撮像装置2による、パン方向への動作またはチルト方向への動作を制御する。撮像方向制御部17が、一度の制御で、パン方向またはチルト方向へどれぐらい撮像装置2を動かすかは、予め設定されているものとする。
When the water
Specifically, the image pickup
図12は、実施の形態3に係る冠水検知装置1bにおいて、水面移動方向判定部16が水面線の移動方向を判定し、当該水面線の移動方向に応じて、撮像方向制御部17が撮像装置2の撮像方向を制御するイメージの一例を説明するための図である。なお、図12では、撮像画像上の水面線は、図4、図5、および、図9同様、402で示している。
図12に示す例では、例えば、画像取得部11が取得する撮像画像が、図12Aに示すような内容から、図12Bに示す内容、図12Cに示す内容を経て、図12Dに示すような内容に変化するものとしている。
In FIG. 12, in the flood detection device 1b according to the third embodiment, the water surface movement
In the example shown in FIG. 12, for example, the captured image acquired by the
図12Aに示す撮像画像が取得された場合、水面検出部13は、水面線を検出できる。
水面移動方向判定部16は、記憶部に記憶されている水面線に関する情報が付与された撮像画像に基づき、水面線の移動方向を判定する。ここでは、水面移動方向判定部16は、撮像画像上、Y軸方向を、水面線の移動方向と判定する(図12Aの矢印1201参照)。
When the captured image shown in FIG. 12A is acquired, the water
The water surface movement
その後、図12Bに示す撮像画像が取得された場合、水面検出部13は、引き続き、水面線を検出できる。
水面移動方向判定部16は、記憶部に記憶されている水面線に関する情報が付与された撮像画像、言い換えれば、図12Aに示す、水面線に関する情報が付与された撮像画像、に基づき、水面線の移動方向を判定する。ここでは、水面移動方向判定部16は、撮像画像上、Y軸方向を、水面線の移動方向と判定する(図12Bの矢印1202参照)。
After that, when the captured image shown in FIG. 12B is acquired, the water
The water surface movement
図12Cに示す撮像画像が取得された場合、水面検出部13は、水面線を検出することができない。
撮像方向制御部17は、記憶部に記憶されている、水面線の移動方向に応じて、撮像装置2が水面線を撮像するよう、撮像装置2の撮像方向を制御する。ここでは、水平線の移動方向はY軸方向であるため、撮像方向制御部17は、撮像装置2をチルト方向へ、予め設定された分だけ、動かす。
そうすると、図12Dに示す撮像画像のように、水面検出部13は、再び、水面線を検出することができるようになる。
When the captured image shown in FIG. 12C is acquired, the water
The imaging
Then, as shown in the captured image shown in FIG. 12D, the water
このように、冠水検知装置1bは、水面移動方向判定部16および撮像方向制御部17を備えることで、水面線の移動に追従して、当該水面線を撮像できるよう、撮像装置2の撮像方向を制御することができる。
なお、図12を用いて説明した一例では、撮像方向制御部17は、撮像装置2の撮像方向をチルト方向へのみ制御するものとしたが、これは一例に過ぎない。撮像方向制御部17は、水面線の移動方向に応じて、撮像装置2の撮像方向を、パン方向へも制御することができる。
As described above, the submersion detection device 1b includes the water surface movement
In the example described with reference to FIG. 12, the image pickup
図13は、実施の形態3に係る冠水検知装置1bの動作を説明するためのフローチャートである。
図13において、ステップST1301〜ステップST1303、ステップST1307〜ステップST1308の具体的な動作は、それぞれ、実施の形態1において図6を用いて説明した、ステップST601〜ステップST605の具体的な動作と同様であるため、重複した説明を省略する。
FIG. 13 is a flowchart for explaining the operation of the submersion detection device 1b according to the third embodiment.
In FIG. 13, the specific operations of steps ST1301 to ST1303 and steps ST1307 to ST1308 are the same as the specific operations of steps ST601 to ST605 described with reference to FIG. 6 in the first embodiment, respectively. Therefore, duplicate explanations will be omitted.
ステップST1304において、水面検出部13は、水面線を検出できたか否かを判定する。
ステップST1304において、水面線を検出できた場合(ステップST1304の“YES”の場合)、水面検出部13は、検出した水面線に関する情報を付与した撮像画像を、水面移動方向判定部16に出力する。
In step ST1304, the water
When the water surface line can be detected in step ST1304 (when "YES" in step ST1304), the water
水面移動方向判定部16は、ステップST1303にて水面検出部13から出力された撮像画像を記憶部に記憶させるとともに、ステップST1303にて水面検出部13が検出した水面線に基づき、当該水面線の、撮像画像上の移動方向を判定する(ステップST1305)。水面移動方向判定部16は、判定した、水面線の移動方向に関する情報を記憶部に記憶させる。
The water surface movement
一方、ステップST1304において、水面線を検出できなかった場合(ステップST1304の“NO”の場合)、水面検出部13は、水面線を検出できなかった旨の情報を、撮像方向制御部17に出力する。
On the other hand, when the water surface line cannot be detected in step ST1304 (when “NO” in step ST1304), the water
撮像方向制御部17は、水面検出部13が水面線を検出できなかった場合、撮像装置2が水面線を撮像するよう、撮像装置2の撮像方向を制御する。具体的には、撮像方向制御部17は、水面移動方向判定部16が判定した、水面線の移動方向に応じて、撮像装置2の撮像方向を制御する(ステップST1306)。
When the water
このように、冠水検知装置1bは、撮像画像上で水面線が検出できなくなった場合に、当該水面線を撮像するよう、撮像装置2の撮像方向を制御することができる。そのため、冠水検知装置1bは、撮像装置2の撮像方向の制御を行わない場合に比べ、より広範囲での冠水検知が可能となる。
In this way, the submersion detection device 1b can control the imaging direction of the
なお、ここでは、例えば、図12を用いて説明したように、冠水検知装置1bは、検出できていた水面線が、撮像範囲からフレームアウトした場合に、当該水面線の移動方向に追従して、撮像装置2の撮像方向を制御するものとした。
これに限らず、例えば、撮像装置2は監視カメラであって、通常はアンダーパス以外のエリアを監視しているものとし、冠水検知装置1bは、冠水検知が必要と判定した場合に、撮像装置2がアンダーパスを撮像するよう、撮像装置2の撮像方向を制御することもできる。この場合、例えば、撮像装置2がアンダーパス以外のエリアを監視中に、天候判定部12が、冠水検知が必要であると判定すると、冠水検知が必要である旨の情報を、撮像方向制御部17に出力する。撮像装置2がアンダーパス以外のエリアを監視中であるか否かは、例えば、冠水検知装置1bの制御部が、撮像装置2から撮像方向の情報を取得することで判断すればよい。
撮像方向制御部17は、天候判定部12から、冠水検知が必要である旨の情報が出力されると、撮像装置2がアンダーパスを撮像するよう、撮像装置2をパン方向またはチルト方向に動かす。例えば、撮像装置2がアンダーパスを撮像する撮像方向の初期値は予め決められており、撮像方向制御部17は、予め決められている撮像方向の初期値となるよう、撮像装置2をパン方向またはチルト方向に動かす。その後、冠水検知装置1bは、図13のステップST1303以降の動作を行う。
Here, for example, as described with reference to FIG. 12, the submersion detection device 1b follows the moving direction of the water surface line when the detected water surface line is out of the imaging range. , The imaging direction of the
Not limited to this, for example, it is assumed that the
When the
以上の実施の形態3では、冠水検知装置1bは、水面移動方向判定部16を備えるものとしたが、冠水検知装置1bは、水面移動方向判定部16を備えない構成としてもよい。この場合、冠水検知装置1bにおいて、水面検出部13が水面線を検出できなかった場合、撮像方向制御部17は、予め決められた方向へ、予め決められた分だけ、撮像装置2の撮像方向を制御するようにする。
但し、冠水検知装置1bが水面移動方向判定部16を備えるようにすることで、例えば、非冠水時であって水面線を検知できない場合に、不要な撮像装置2の撮像方向の制御を行ってしまうことを防ぐことができる。
In the above-described third embodiment, the flood detection device 1b is provided with the water surface movement
However, by providing the flood detection device 1b with the water surface movement
また、以上の実施の形態3では、実施の形態1に係る冠水検知装置1が、撮像装置2のパン方向への動作またはチルト方向への動作を制御可能とした場合について説明したが、実施の形態2に係る冠水検知装置1aについても、同様の構成とすることができる。すなわち、図8を用いて説明した冠水検知装置1aにおいて、水面移動方向判定部16および撮像方向制御部17を備えるようにすることもできる。水面移動方向判定部16および撮像方向制御部17の具体的な動作については説明済みであるため、重複した説明を省略する。
Further, in the above-described third embodiment, the case where the submersion detection device 1 according to the first embodiment can control the operation of the
以上のように、実施の形態3によれば、冠水検知装置1bは、撮像装置2が水面線を撮像するよう、撮像装置2の撮像方向を制御する撮像方向制御部17を備えるように構成した。そのため、冠水検知装置1bは、撮像装置2の撮像方向の制御を行わない場合に比べ、より広範囲での冠水検知が可能となる。
As described above, according to the third embodiment, the submersion detection device 1b is configured to include an image pickup
また、冠水検知装置1bは、水面検出部13が検出した水面線に基づき、当該水面線の、撮像画像上の移動方向を判定する水面移動方向判定部16を備え、撮像方向制御部17は、水面移動方向判定部16が判定した、水面線の移動方向に応じて、撮像装置2の撮像方向を制御するように構成した。これにより、冠水検知装置1bは、撮像装置2の撮像方向の制御を行わない場合に比べ、より広範囲での冠水検知が可能となるとともに、例えば、非冠水時であって水面線を検知できない場合に、不要な撮像装置2の撮像方向の制御を行ってしまうことを防ぐことができる。
Further, the submersion detection device 1b includes a water surface movement
以上の実施の形態1〜3において、警報出力制御部15は、アンダーパスを走行しようとしている車両の乗員が、アンダーパスに冠水が発生していることを把握できるような警報を、出力するものとした。これは、実際にアンダーパスを走行しようとしている車両がいるか否かを問わず、警報出力制御部15は、水深判定部14が判定した水深が、水深判定用閾値以上であると判定すると、警報を出力することを想定していた。すなわち、仮にアンダーパスを走行しようとしている車両が出現した場合に、当該車両の乗員が、アンダーパスに冠水が発生していることを把握できるよう、警報を出力しておくことを想定していた。しかし、これは一例に過ぎず、警報出力制御部15は、実際にアンダーパスを走行しようとしている車両がいるか否かを判定し、実際にアンダーパスを走行しようとしている車両がいる場合に、警報を出力するようにしてもよい。
以下、警報出力制御部15が実際にアンダーパスを走行しようとしている車両がいると判定した上で警報を出力する場合を、具体例を挙げて説明する。
In the above embodiments 1 to 3, the alarm
Hereinafter, a case where the alarm
警報出力制御部15は、例えば、撮像装置2の撮像領域が一本道を撮像するような撮像領域になっている場合、当該撮像領域内において車両が撮像されると、実際にアンダーパスを走行しようとしている車両がいると判定し、警報を出力するようにしてもよい。
図14は、実施の形態1において、警報出力制御部15が、撮像装置2が撮像した撮像画像に基づき、実際にアンダーパスを走行しようとしている車両がいると判定する方法のイメージを示す図である。なお、説明の便宜上、図14では、アンダーパスにおける、前後区間との道路の高低差は表現していない。
例えば、警報出力制御部15は、撮像装置2から撮像画像を取得するようにし、既存の画像認識技術を用いて、当該撮像画像に車両が撮像されていることを判定すればよい。
For example, when the image pickup area of the
FIG. 14 is a diagram showing an image of a method in which the alarm
For example, the alarm
また、例えば、警報出力制御部15は、例えば、撮像装置2の撮像領域が一本道を撮像するような撮像領域になっている場合、当該撮像装置2以外の撮像装置が撮像した撮像画像に基づき、実際にアンダーパスを走行しようとしている車両がいると判定し、警報を出力するようにしてもよい。
図15は、実施の形態1において、警報出力制御部15が、撮像装置2以外の撮像装置(図15の1501で示す)が撮像した撮像画像に基づき、実際にアンダーパスを走行しようとしている車両がいると判定する方法のイメージを示す図である。なお、説明の便宜上、図15では、アンダーパスにおける、前後区間との道路の高低差は表現していない。
撮像装置2以外の撮像装置は、車両の進行方向に対して、アンダーパスの手前の道路を撮像するように設置される。
警報出力制御部15は、撮像装置2以外の撮像装置によって車両が撮像されると、実際にアンダーパスを走行しようとしている車両がいると判定し、警報を出力するようにしてもよい。例えば、警報出力制御部15は、撮像装置2以外の撮像装置から撮像画像を取得するようにし、既存の画像認識技術を用いて、当該撮像画像に車両が撮像されていることを判定すればよい。
Further, for example, when the image pickup area of the
FIG. 15 shows a vehicle in which the alarm
The image pickup device other than the
When the vehicle is imaged by an imaging device other than the
また、例えば、警報出力制御部15は、例えば、撮像装置2の撮像領域が、十字路等、車両の走行方向が複数想定される道路を撮像する撮像領域になっている場合、撮像装置2が撮像した撮像画像、および、撮像装置2以外の撮像装置が撮像した撮像画像に基づき、実際にアンダーパスを走行しようとしている車両がいると判定し、警報を出力するようにしてもよい。
図16は、実施の形態1において、警報出力制御部15が、撮像装置2が撮像した撮像画像、および、撮像装置2以外の撮像装置(図16の1601〜1603で示す)が撮像した撮像画像に基づき、実際にアンダーパスを走行しようとしている車両がいると判定する方法のイメージを示す図である。なお、説明の便宜上、図16では、アンダーパスにおける、前後区間との道路の高低差は表現していない。また、図16では、撮像装置2は十字路を撮像しており、十字路のうちのある1つの道路がアンダーパス構造となっているものとしている。
撮像装置2以外の撮像装置は、十字路において、撮像装置2が撮像していない道路を撮像するように設置される。
警報出力制御部15は、撮像装置2または撮像装置2以外の撮像装置のいずれかによって車両が撮像されると、実際にアンダーパスを走行しようとしている車両がいると判定し、警報を出力するようにしてもよい。例えば、警報出力制御部15は、撮像装置2および撮像装置2以外の撮像装置から撮像画像を取得するようにし、既存の画像認識技術を用いて、当該撮像画像のいずれかに車両が撮像されていることを判定すればよい。
警報出力制御部15は、警報を出力する際、撮像装置2または撮像装置2以外の撮像装置のうちのどの撮像装置が車両を撮像したかによって、警報の内容を異ならせるようにすることもできる。具体的には、警報出力制御部15は、どの撮像装置が車両を撮像したかによって、左折、右折、または、直進方向のどの方向で冠水が発生しているかを知らせる内容を変えて、警報を出力することもできる。
例えば、図16において、1603で示す撮像装置が車両を撮像した場合、警報出力制御部15は、右折方向で冠水が発生していることを知らせる警報を出力する。なお、このとき、警報を出力する表示装置または音声出力装置は、例えば、十字路を形成する各道路の、十字路への入り口付近にそれぞれ設置されているものとする。
Further, for example, when the image pickup region of the
FIG. 16 shows an image captured by the
An imaging device other than the
When the vehicle is imaged by either the
When the alarm
For example, in FIG. 16, when the imaging device shown by 1603 images a vehicle, the alarm
上述のように、警報出力制御部15が、実際にアンダーパスを走行しようとしている車両がいた場合に警報を出力するようにした場合、警報出力制御部15は、実際にアンダーパスを走行しようとしている車両に搭載されている表示装置または音声出力装置に、警報を出力するようにしてもよい。
As described above, when the alarm
また、以上の実施の形態1〜3では、冠水検知装置1,1a,1bは、サーバに備えられることを想定したが、これは一例に過ぎない。例えば、冠水検知装置1,1a,1bは、撮像装置2に搭載されていてもよい。
Further, in the above-described first to third embodiments, it is assumed that the flood detection devices 1, 1a and 1b are provided in the server, but this is only an example. For example, the submersion detection devices 1, 1a and 1b may be mounted on the
図17A,図17Bは、実施の形態1〜実施の形態3に係る冠水検知装置1,1a,1bのハードウェア構成の一例を示す図である。
実施の形態1〜実施の形態3において、画像取得部11と、天候判定部12と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17の機能は、処理回路1701により実現される。すなわち、冠水検知装置1,1a,1bは、アンダーパスにおける冠水および当該冠水の程度を検知する制御を行うための処理回路1701を備える。
処理回路1701は、図17Aに示すように専用のハードウェアであっても、図17Bに示すようにメモリ1706に格納されるプログラムを実行するCPU(Central Processing Unit)1705であってもよい。
17A and 17B are diagrams showing an example of the hardware configuration of the flood detection devices 1, 1a and 1b according to the first to third embodiments.
In the first to third embodiments, the
The
処理回路1701が専用のハードウェアである場合、処理回路1701は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
When the
処理回路1701がCPU1705の場合、画像取得部11と、天候判定部12と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像取得部11と、天候判定部12と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17は、HDD(Hard Disk Drive)1702、メモリ1706等に記憶されたプログラムを実行するCPU1705、システムLSI(Large−Scale Integration)等の処理回路1701により実現される。また、HDD1702またはメモリ1706等に記憶されたプログラムは、画像取得部11と、天候判定部12と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ1706とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、または、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
When the
なお、画像取得部11と、天候判定部12と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、天候判定部12でその機能を実現し、画像取得部11と、水面検出部13と、水深判定部14,14aと、警報出力制御部15と、水面移動方向判定部16と、撮像方向制御部17については処理回路1701がメモリ1706に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、図示を省略した記憶部は、メモリ1706を使用する。なお、これは一例であって、記憶部は、HDD1702、SSD(Solid State Drive)、または、DVD等によって構成されるものであってもよい。
また、冠水検知装置1,1a,1bは、撮像装置2または操作用PC等の装置と、有線通信または無線通信を行う入力インタフェース装置1703および出力インタフェース装置1704を備える。
Functions of the
A
Further, the submersion detection devices 1, 1a and 1b include a device such as an
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, it is possible to freely combine each embodiment, modify any component of each embodiment, or omit any component in each embodiment. ..
この発明に係る冠水検知装置は、アンダーパス構造が適用された道路において、車両の走行状態によらず、冠水の程度を検知することができるように構成したため、アンダーパス構造が適用された道路における冠水を検知する冠水検知装置に適用することができる。 The flood detection device according to the present invention is configured to be able to detect the degree of flooding on a road to which the underpass structure is applied, regardless of the running state of the vehicle. It can be applied to a flood detection device that detects flooding.
1,1a,1b 冠水検知装置、11 画像取得部、12 天候判定部、13 水面検出部、14,14a 水深判定部、141 比較部、142 測距部、15 警報出力制御部、16 水面移動方向判定部、17 撮像方向制御部、1701 処理回路、1702 HDD、1703 入力インタフェース装置、1704 出力インタフェース装置、1705 CPU、1706 メモリ。 1,1a, 1b Submersion detection device, 11 image acquisition unit, 12 weather determination unit, 13 water surface detection unit, 14,14a water depth determination unit, 141 comparison unit, 142 distance measurement unit, 15 alarm output control unit, 16 water surface movement direction Judgment unit, 17 Imaging direction control unit, 1701 processing circuit, 1702 HDD, 1703 input interface device, 1704 output interface device, 1705 CPU, 1706 memory.
Claims (9)
前記画像取得部が取得した撮像画像に基づき、当該撮像画像上にて、前記アンダーパスと当該アンダーパスにおける冠水領域の水面との接点、を結ぶ水面線、を検出する水面検出部と、
前記水面検出部が検出した水面線に基づき、前記冠水領域の水深を判定する水深判定部
とを備えた冠水検知装置。 An image acquisition unit that acquires an image captured by an image pickup device that is fixedly installed at a position where at least a slope portion of the underpass can be imaged.
Based on the captured image acquired by the image acquisition unit, the water surface detection unit that detects the water surface line connecting the underpass and the contact point between the water surface of the submerged region in the underpass on the captured image, and the water surface detection unit.
A submersion detection device including a water depth determination unit that determines the water depth of the submerged region based on the water surface line detected by the water surface detection unit.
ことを特徴とする請求項1記載の冠水検知装置。 The water depth determination unit compares the captured image to which the information about the water surface line detected by the water surface detection unit is given with the reference image to which the information capable of identifying the water depth of the flooded region is given, thereby flooding the water. The flood detection device according to claim 1, wherein the water depth of the region is determined.
前記水深判定部は、前記撮像画像において前記水面検出部が検出した水面線上の点と、前記撮像画像における前記アンダーパスの前記最深点とを結んだ線の長さに基づいて、前記水深を判定する
ことを特徴とする請求項1記載の冠水検知装置。 The image acquisition unit acquires an image captured by an imaging device fixedly installed at a position where at least a slope portion and the deepest point of the underpass can be imaged.
The water depth determination unit determines the water depth based on the length of a line connecting a point on the water surface line detected by the water surface detection unit in the captured image and the deepest point of the underpass in the captured image. The submersion detection device according to claim 1, wherein the submersion detection device is characterized.
前記水深判定部は、前記天候判定部によって前記冠水検知が必要と判定された場合に、前記冠水領域の水深を判定する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の冠水検知装置。 It is equipped with a weather determination unit that determines whether or not flood detection is necessary based on the weather in the area including the underpass.
Any one of claims 1 to 3, wherein the water depth determination unit determines the water depth of the flooded region when the weather determination unit determines that the flood detection is necessary. The described submersion detector.
ことを特徴とする請求項1から請求項4のうちのいずれか1項記載の冠水検知装置。 The submergence according to any one of claims 1 to 4, wherein the imaging device includes an imaging direction control unit that controls the imaging direction of the imaging device so that the imaging device captures the water surface line. Detection device.
前記撮像方向制御部は、前記水面移動方向判定部が判定した、前記水面線の移動方向に応じて、前記撮像装置の撮像方向を制御する
ことを特徴とする請求項5記載の冠水検知装置。 A water surface moving direction determining unit for determining the moving direction of the water surface line on the captured image based on the water surface line detected by the water surface detecting unit is provided.
The flood detection device according to claim 5, wherein the image pickup direction control unit controls the image pickup direction of the image pickup device according to the movement direction of the water surface line determined by the water surface movement direction determination unit.
ことを特徴とする請求項5または請求項6記載の冠水検知装置。 The flood detection device according to claim 5 or 6, wherein the image pickup direction control unit controls the operation of the image pickup device in the pan direction or the tilt direction.
を備えた請求項1から請求項7のうちのいずれか1項記載の冠水検知装置。 The flood detection device according to any one of claims 1 to 7, further comprising an alarm output control unit that outputs an alarm based on the water depth determined by the water depth determination unit.
アンダーパスの少なくとも斜面部を撮像可能な位置に固定的に設置された撮像装置が当該アンダーパスを撮像した撮像画像、を取得する画像取得部と、
前記画像取得部が取得した撮像画像に基づき、当該撮像画像上にて、前記アンダーパスと、当該アンダーパスに冠水した水面との接点、を結ぶ水面線を検出する水面検出部と、
前記水面検出部が検出した水面線に基づき、前記アンダーパスに冠水した水深を判定する水深判定部
として機能させるための冠水検知プログラム。 Computer,
An image acquisition unit that acquires an image captured by an image pickup device that is fixedly installed at a position where at least a slope portion of the underpass can be imaged.
Based on the captured image acquired by the image acquisition unit, the water surface detection unit that detects the water surface line connecting the underpass and the contact point between the water surface submerged in the underpass on the captured image, and the water surface detection unit.
A submersion detection program for functioning as a water depth determination unit for determining the depth of water submerged in the underpass based on the water surface line detected by the water surface detection unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208348A JP7373974B2 (en) | 2019-11-19 | 2019-11-19 | Flood detection device and flood detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208348A JP7373974B2 (en) | 2019-11-19 | 2019-11-19 | Flood detection device and flood detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081942A true JP2021081942A (en) | 2021-05-27 |
JP7373974B2 JP7373974B2 (en) | 2023-11-06 |
Family
ID=75966317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019208348A Active JP7373974B2 (en) | 2019-11-19 | 2019-11-19 | Flood detection device and flood detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7373974B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023181161A1 (en) * | 2022-03-23 | 2023-09-28 | 三菱電機株式会社 | Information processing device, processing method, and processing program |
JP7482337B2 (en) | 2022-03-23 | 2024-05-13 | 三菱電機株式会社 | Information processing device, processing method, and processing program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156460A (en) * | 2003-11-27 | 2005-06-16 | Mitsubishi Electric Corp | Submersion sensing system |
JP2006234654A (en) * | 2005-02-25 | 2006-09-07 | Hitachi Kokusai Electric Inc | System for providing river information |
JP2016149015A (en) * | 2015-02-12 | 2016-08-18 | 株式会社デンソー | Communication system, on-vehicle device, and information center |
JP2019173530A (en) * | 2018-03-26 | 2019-10-10 | 株式会社アドビック | Expandable/contractible gate device |
-
2019
- 2019-11-19 JP JP2019208348A patent/JP7373974B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156460A (en) * | 2003-11-27 | 2005-06-16 | Mitsubishi Electric Corp | Submersion sensing system |
JP2006234654A (en) * | 2005-02-25 | 2006-09-07 | Hitachi Kokusai Electric Inc | System for providing river information |
JP2016149015A (en) * | 2015-02-12 | 2016-08-18 | 株式会社デンソー | Communication system, on-vehicle device, and information center |
JP2019173530A (en) * | 2018-03-26 | 2019-10-10 | 株式会社アドビック | Expandable/contractible gate device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023181161A1 (en) * | 2022-03-23 | 2023-09-28 | 三菱電機株式会社 | Information processing device, processing method, and processing program |
JP7482337B2 (en) | 2022-03-23 | 2024-05-13 | 三菱電機株式会社 | Information processing device, processing method, and processing program |
Also Published As
Publication number | Publication date |
---|---|
JP7373974B2 (en) | 2023-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102132248B1 (en) | Control apparatus, method of controlling image sensing device, and computer-readable storage medium | |
JP4984575B2 (en) | Intruder detection device by image processing | |
KR100929689B1 (en) | Traffic accident record apparatus using stereo image information and controlling method for the same | |
JP2001216519A (en) | Traffic monitor device | |
US20190230269A1 (en) | Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium | |
CN107111764B (en) | Events triggered by the depth of an object in the field of view of an imaging device | |
JP2007310574A (en) | Collision risk decision system and warning system | |
KR20180065730A (en) | Vehicle speed correcting apparatus and method for speed detection accuracy of video-radar fusion | |
JP4939316B2 (en) | Stop determination device, navigation device, stop determination method, stop determination program, and recording medium | |
JP7373974B2 (en) | Flood detection device and flood detection program | |
JP2009229286A (en) | Object detector | |
JP2006250574A (en) | Rail joint plate fastening bolt fallout detection device | |
KR102547768B1 (en) | Method and Apparatus for Detecting Real-time Anomaly in Video Surveillance System | |
JP6384803B2 (en) | MOBILE BODY DETECTING DEVICE, IMAGE PROCESSING DEVICE, MOBILE BODY DETECTING METHOD, AND INTEGRATED CIRCUIT | |
JP5261752B2 (en) | Drive recorder | |
JP2019179316A (en) | Passage road determination system | |
JP2019040389A (en) | Obstacle detection device, obstacle detection method, and obstacle detection program | |
WO2016147704A1 (en) | Monitoring device, monitoring system, monitoring method, and computer-readable recording medium | |
JP2008114627A (en) | Rear side part monitoring device for vehicle | |
JP2006214903A (en) | Construction gauge obstructing object sensitive device | |
JP2023066483A (en) | Rear image display device and rear image display method | |
JP2019041248A (en) | Obstacle detection device, obstacle detection method, and obstacle detection program | |
JP2009294974A (en) | Intruder detection device by image processing | |
JP5061843B2 (en) | Intruder detection device | |
JP2006317328A (en) | On-vehicle object detection device and object detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221018 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |