JP2020119368A - Video information management system and video information management method - Google Patents
Video information management system and video information management method Download PDFInfo
- Publication number
- JP2020119368A JP2020119368A JP2019011227A JP2019011227A JP2020119368A JP 2020119368 A JP2020119368 A JP 2020119368A JP 2019011227 A JP2019011227 A JP 2019011227A JP 2019011227 A JP2019011227 A JP 2019011227A JP 2020119368 A JP2020119368 A JP 2020119368A
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- shooting target
- video information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像情報管理システムおよび映像情報管理方法に関し、例えば、映像情報を管理する映像情報管理システムおよび映像情報管理方法に適用して好適なものである。 The present invention relates to a video information management system and a video information management method, and is suitable for application to, for example, a video information management system and a video information management method for managing video information.
日本国内では、耐用年数を超過する下水管路施設が今後急増する。この更新、更生の工事計画を策定するため、点検作業が増加すると見込まれる。従来は、下水管内に人が入って点検していたが、作業量の増加にともない、車両型ロボット、船型ロボット、ドローン等のロボット類を管内に入れて内面を撮影する手法も増加する見込みである。その結果、下水管内をロボット類が撮影した映像ファイルの数も大幅に増えると見込まれる。 In Japan, the number of sewer pipeline facilities that exceed their useful lives will increase rapidly. It is expected that the number of inspection works will increase as a result of formulating construction plans for this update and rehabilitation. In the past, people had entered the sewage pipes for inspection, but with the increase in the amount of work, it is expected that the number of robots such as vehicle-type robots, ship-type robots, and drones that will be taken inside the pipes will also increase. is there. As a result, the number of video files taken by robots in the sewer pipe is expected to increase significantly.
点検箇所を撮影する際、市販のカメラを用いると映像ファイルが記録される際に「CAM00123.mp4」のように連続番号を含むファイル名称が自動的に付けられる場合が多い。ファイル名称だけでは、どこの下水管を点検した映像であるか、何の工事で点検したのかなど、内容が全く分からない。 When shooting an inspection location, when a commercially available camera is used, a file name including a serial number such as "CAM00123.mp4" is often automatically given when a video file is recorded. The file name alone does not tell you what the sewer pipe was inspected at, or what construction was inspected.
各点検を実施した都度、映像ファイルの名称を書き換える対応をとる場合、手間がかかる上、ファイル名称に工事名称のみを付けるのか、日時も加えるのか、他の情報も含めるのか、それらの順序はどうするのかなど、作業者によってその都度フォーマットが異なる可能性が高く、管理がし難くなる問題が新たに生じる。 When revising the name of the video file each time each inspection is carried out, it takes time and effort, and whether the file name should be given only the construction name, the date and time added, other information included, etc. It is highly likely that the format will be different depending on the operator each time, and a new problem arises that management becomes difficult.
ここで、点検対象の下水管名称、工事名称、日時など、点検工事に関する一意な情報を記載した工事用黒板を映像の一部に映し込むことで点検内容が分かるようにすることも考えられる。しかしながら、映像ファイルを開いて見るまで中身は分からない。映像ファイルは、一般的に容量が大きいため、すぐには再生が始まらず、工事用黒板が映っている箇所を見るまでに時間を要する。所望の映像ファイルと異なることが分かったらまた同様の作業を繰り返す必要があり、確認したい下水管に対応する内面映像を効率よく確認することができない。 Here, it is conceivable that the contents of the inspection can be understood by projecting a construction blackboard in which a unique information regarding the inspection work, such as the name of the sewer pipe to be inspected, the construction name, the date and time, is recorded, in a part of the image. However, the contents are unknown until the video file is opened and viewed. Since a video file generally has a large capacity, it does not start to be played immediately, and it takes time to see the part where the construction blackboard is reflected. If it is found that the image file is different from the desired image file, it is necessary to repeat the same operation again, and it is not possible to efficiently confirm the inner image corresponding to the sewer pipe to be confirmed.
この点、膨大な情報のなかから個人が個別に必要とする情報を効率よく提供する技術が開示されている（特許文献１参照）。 In this regard, a technique has been disclosed that efficiently provides information individually required by an individual from a vast amount of information (see Patent Document 1).
しかしながら、特許文献１に記載の技術では、位置情報を受動的に取り込むものであり、例えば、単なる下水管内の映像だけしか無い場合、位置情報が無いため適用することができない。よって、特許文献１に記載の技術では、映像（関連情報）に対応する位置情報が得られないこともあり、確認したい下水管に対応する内面映像を効率よく提示できない可能性がある。
However, the technique described in
本発明は以上の点を考慮してなされたもので、確認したい撮影対象の映像情報に容易にアクセスできる映像情報管理システムを提案しようとするものである。 The present invention has been made in consideration of the above points, and an object thereof is to propose a video information management system capable of easily accessing video information of a photographing target to be confirmed.
かかる課題を解決するため本発明においては、撮影対象に係る撮影対象情報を入力する入力部と、前記入力部により入力された撮影対象情報から、撮影が行われる撮影対象を選択し、選択した撮影対象を一意に識別可能な識別情報を前記撮影対象の撮影対象情報から選択する選択部と、前記選択部により選択された撮影対象を一意に識別可能な識別情報を表示装置に表示する表示部と、前記表示装置に表示された識別情報が撮影装置により撮影された映像情報から前記識別情報を抽出する抽出部と、前記抽出部により映像情報から抽出された識別情報により識別される撮影対象の撮影対象情報を特定し、特定した撮影対象情報または前記撮影対象を識別可能な前記撮影対象情報の一部の情報と前記映像情報とを紐付けた紐付情報を生成して出力する紐付部と、を設けるようにした。 In order to solve such a problem, in the present invention, an imaging unit to be imaged is selected from an input unit for inputting imaging target information related to an imaging target and imaging target information input by the input unit, and the selected imaging is performed. A selection unit that selects identification information that can uniquely identify the target from the shooting target information of the shooting target, and a display unit that displays the identification information that uniquely identifies the shooting target selected by the selection unit on a display device. An extraction unit that extracts the identification information from the video information captured by the image capturing device, the identification information displayed on the display device; and a capturing target that is identified by the identification information extracted from the video information by the extraction unit. A linking unit that specifies target information, and generates and outputs linking information that links the specified shooting target information or part of the shooting target information that can identify the shooting target and the video information. I decided to provide it.
上記構成によれば、撮影対象と映像情報とが紐付けられた紐付情報が出力されるので、例えば、ユーザは、多量に撮影された映像情報から所望の撮影対象の映像情報を的確に把握し、短時間で内容を確認することができる。 According to the above configuration, since the linking information in which the shooting target and the video information are linked to each other is output, for example, the user accurately grasps the video information of the desired shooting target from the video information captured in a large amount. You can check the contents in a short time.
本発明によれば、映像情報を適切に管理することができる。 According to the present invention, video information can be appropriately managed.
以下図面について、本発明の一実施の形態を詳述する。本発明は、複数の映像情報を管理する技術に関し、例えば、所定の作業（点検、調査など）を撮影対象とし、作業後に所望の映像を効率よく確認できる技術に関する。映像を撮影する前に撮影対象を一意に識別可能できる情報を含む撮影対象情報と、撮影の結果として得られた複数の映像情報とがあればとくに制限はない。以下では、所定の作業として下水管の点検を例に挙げて説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. The present invention relates to a technique for managing a plurality of pieces of video information, for example, a technique for taking a predetermined work (inspection, survey, etc.) as an imaging target and efficiently confirming a desired video after the work. There is no particular limitation as long as there is shooting target information including information that can uniquely identify a shooting target before shooting a video and a plurality of pieces of video information obtained as a result of shooting. In the following, the inspection of the sewer pipe will be described as an example of the predetermined work.
（１）第１の実施の形態
図１において、１００は全体として第１の実施の形態による映像情報管理システムを示す。
(1) First Embodiment In FIG. 1,
映像情報管理システム１００は、映像紐付装置１１０と映像再生装置１２０とを含んで構成され、撮影装置１３０により撮影された映像情報（例えば、映像ファイル、映像データ）を管理する。
The video
映像紐付装置１１０は、タブレット端末、ノートパソコン、パーソナルコンピュータ、サーバ装置等であり、図示は省略するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信部などを含んで構成される。なお、映像紐付装置１１０は、表示装置を備えていてもよいし、表示装置と通信可能に接続されていてもよい。
The
映像紐付装置１１０の機能（入力部１１１、選択部１１２、表示部１１３、抽出部１１４、紐付部１１５等）は、例えば、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、映像紐付装置１１０の機能の一部は、映像紐付装置１１０と通信可能な他のコンピュータ（計算機）により実現されてもよい。
The functions of the video associating device 110 (the
入力部１１１は、点検計画リスト１４１を読み込む。選択部１１２は、読込まれた点検計画リスト１４１から点検を行う点検計画を選択し、選択した点検計画（点検）に対応する点検情報（点検対象情報の一例であり、例えば、後述の選択点検計画情報１１６）を表示部１１３に与える。表示部１１３は、選択された点検計画（点検計画リスト１４１のうち現場で実施する点検）に対応する一意の識別情報を含む点検計画特徴情報１４２を現場で画面に表示する。抽出部１１４は、撮影装置１３０により現場で撮影された映像情報１４３に含まれる画像から識別情報を抽出する。紐付部１１５は、抽出された識別情報（例えば、後述の個別映像特徴情報１１７）と、点検計画リスト１４１（点検計画特徴情報１４２であってもよい。）とを比較し、選択された点検計画と映像情報１４３とを紐づけた紐付情報（例えば、後述の参照テーブル１４４）を生成して出力する。
The
映像再生装置１２０は、タブレット端末、ノートパソコン、パーソナルコンピュータ、サーバ装置等であり、図示は省略するＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、通信部などを含んで構成される。なお、映像再生装置１２０は、表示装置を備えていてもよいし、表示装置と通信可能に接続されていてもよい。
The
映像再生装置１２０の機能（指定部１２１、再生部１２２など）は、例えば、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、映像再生装置１２０の機能の一部は、映像再生装置１２０と通信可能な他のコンピュータにより実現されてもよい。
The functions of the video reproducing device 120 (designating
指定部１２１は、ユーザが確認したい点検計画１４５の指定を受け付け、参照テーブル１４４に基づいて、指定された点検計画１４５の映像情報１４３（抽出点検映像１２３）を取得する。再生部１２２は、抽出点検映像１２３を点検映像１４６として再生（表示）する。
The
撮影装置１３０は、点検対象を撮影可能な装置であり、撮像装置を備えるロボット（車両型ロボット、船型ロボット、ドローン等）、デジタルカメラ、ビデオカメラなどである。撮影装置１３０については、市販の製品を適宜に採用可能である。
The
なお、図１に示すように、映像紐付装置１１０の機能と映像再生装置１２０の機能とが異なるコンピュータに備えられていてもよいが、これに限られるものではない。例えば、映像紐付装置１１０の機能と映像再生装置１２０の機能とが同じコンピュータ内に備えられていてもよい。
Note that, as shown in FIG. 1, the functions of the
図２は、点検計画リスト１４１の一例を示す図である。点検計画リスト１４１には、点検（点検対象）を識別可能な通し番号２０１と、点検が行われる工事の名称を示す工事名称２０２と、点検が行われる予定日時を示す予定日時２０３と、点検が行われる予定位置を示す予定位置２０４と、点検対象の画面地図上の表示座標２０５とが対応付けられた点検情報が格納されている。複数の点検の点検情報を含む点検計画リスト１４１は、点検に先立ち予め準備される。
FIG. 2 is a diagram showing an example of the
なお、点検情報には、点検計画リスト１４１において点検対象を一意に識別可能な識別情報が含まれているならば、上述したデータ項目２０１〜２０５の一部の情報は含まれてなくてもよいし、上述したデータ項目２０１〜２０５とは異なる情報が含まれていてもよい。
If the inspection information includes identification information that can uniquely identify the inspection target in the
図３は、点検計画特徴情報１４２の撮影態様の一例を示す図である。図３では、映像紐付装置１１０としてタブレット端末が用いられ、点検計画特徴情報１４２が表示され、撮影装置１３０により撮影された画像の一例（画像３００）を示す。点検する現場に、映像紐付装置１１０を置くことで、映像情報１４３の画像３００の中に点検計画特徴情報１４２を容易に含めることが可能となる。
FIG. 3 is a diagram showing an example of a shooting mode of the inspection
ここで、映像に工事用黒板を映り込ませることで位置情報などを映像情報１４３に取り込むことも可能であるが、工事用黒板は、現場で手書きして記載するため、書く人によって短縮表記、書き誤り等も含まれ、記載内容が点検計画と整合しない可能性がある。さらに、画像処理で工事用黒板の文字を認識する場合には、書く人の癖、字体などもさまざまであるため、読み取りミスが発生する可能性がある。
Here, it is possible to incorporate position information and the like into the
この点、点検計画特徴情報１４２には、点検情報から抽出された点検対象を一意に識別可能な識別情報が含まれるので、当該識別情報によれば、上述したような事態を回避することができる。
In this regard, since the inspection plan
図４は、点検計画特徴情報１４２の一例を示す図である。点検計画特徴情報１４２は、点検計画リスト１４１において点検対象を一意に識別可能な一次元バーコード４１０と、一次元バーコードの検出を容易にするための検出マーク４２０と、点検計画リスト１４１において点検対象を一意に識別可能な情報４３０（工事の日時、工事名、施工場所、施工内容、施工会社、これらの組合せなど）とを含んで構成される。
FIG. 4 is a diagram showing an example of the inspection plan
一次元バーコード４１０には、識別情報（例えば、個別映像特徴情報１１７）が含まれている。また、点検対象を一意に識別可能な情報４３０にも、識別情報（例えば、個別映像特徴情報１１７）が含まれている。
The one-
検出マーク４２０は、一次元バーコード４１０の両端に設けられる。検出マーク４２０は、一次元バーコード４１０と同様に縞模様であるが、この形態に限られるものではない。自然界にないまたは殆どない形態（模様、色彩、または形状）を適宜に採用し得る。なお、以下では、検出マーク４２０として所定の色の縞模様のパターンを採用した場合を例に挙げて説明する。
The detection marks 420 are provided on both ends of the one-
上述したように、点検計画特徴情報１４２には、一次元バーコード４１０と点検対象を一意に識別可能な情報４３０とが含まれる。よって、コンピュータにとってみれば、点検対象と映像情報１４３とを紐付ける際、一次元バーコード４１０により点検を容易に把握できるようになる。また、ユーザにとってみれば、映像情報１４３を再生する際、点検対象を一意に識別可能な情報４３０により点検を容易に把握できるようになる。なお、点検計画特徴情報１４２には、一次元バーコード４１０と点検対象を一意に識別可能な情報４３０との両方が含まれる構成に限れるものではなく、何れか一方が含まれる構成であってもよい。
As described above, the inspection plan
図５は、複数の映像情報１４３が映像紐付装置１１０に取り込まれたときの態様の一例（フォルダ５００）を示す図である。
FIG. 5 is a diagram showing an example (folder 500) of a mode in which a plurality of pieces of
図２で示したように、複数の点検が点検計画リスト１４１に含まれている場合、各点検に対応する映像情報１４３が点検後に生成される。点検対象の撮影において、市販のカメラを用いると、多くの場合「CAM00123.mp4」のように、連続番号を含むファイル名称が自動的に付けられる。図５で示すように、ファイル名称だけでは、どこの下水管を点検した映像であるか、何の工事で点検したのかが分からない。したがって、確認したい下水管に対応する内面映像をすぐに再生することができない。
As shown in FIG. 2, when a plurality of inspections are included in the
図６は、映像情報１４３のデータ構造の一例を示す図である。図６に示す横長の棒線６０１は、映像情報１４３の撮影時間または記録量を示している。下水管の点検である場合、吹き出し６０２で示すように、下水管内の映像がほとんどを占めるが、吹き出し６０３に示すように、冒頭の一部に点検計画特徴情報１４２が含まれる。点検計画特徴情報１４２は、冒頭にある必要はないが、冒頭または冒頭から一定の時間内に撮影するように決めておくことで、画像処理の計算量のさらなる低減を実現することができる。
FIG. 6 is a diagram showing an example of the data structure of the
図７は、参照テーブル１４４の一例を示す図である。参照テーブル１４４は、点検計画リスト１４１に列が加わったデータ構造を有している。より具体的には、参照テーブル１４４には、点検情報と、点検対象の撮影が行われた時刻を示す撮影時刻７０１、点検対象の撮影が行われた位置を示すＧＰＳ（Global Positioning System）測定値７０２、および映像情報の名称を示す映像情報名称７０３の情報とが対応付けられて格納されている。
FIG. 7 is a diagram showing an example of the reference table 144. The reference table 144 has a data structure in which columns are added to the
参照テーブル１４４は、上述したデータ構造に限られるものではない。例えば、撮影時刻７０１が設けられていなくてもよいし、ＧＰＳ測定値７０２が設けられていなくてもよい。
The reference table 144 is not limited to the data structure described above. For example, the
図８は、映像情報管理システム１００における処理の一例を示す図である。図８では、映像情報管理システム１００が実際に使われるときに想定される場所、時間的な流れを例示している。図８に示す（１−１）から（３−４）までが映像紐付装置１１０に関する処理、（４−１）から（４−３）までが映像再生装置１２０に関する処理に対応している。
FIG. 8 is a diagram showing an example of processing in the video
ステップＳ８０１では、入力部１１１は、準備された点検計画リスト１４１を入力する。入力部１１１は、入力した点検計画リスト１４１を選択部１１２および紐付部１１５に与える。
In step S801, the
ステップＳ８０２では、選択部１１２は、現場でオペレータの操作に応じて、点検計画リスト１４１から点検を行う点検対象の点検情報（点検計画）を選択する。なお、点検の現場では、オペレータは、点検計画リスト１４１に含まれる点検計画を1つずつ実施することになる。
In step S802, the
選択部１１２は、選択した点検情報（選択点検計画情報１１６）を表示部１１３に与える。選択点検計画情報１１６には、識別情報（重複しない一意の情報）が含まれる。選択点検計画情報１１６は、点検計画リスト１４１に含まれる情報である。例えば、選択点検計画情報１１６は、通し番号２０１、工事名称２０２、予定日時２０３、予定位置２０４、画面地図上の表示座標２０５の何れかであってもよいし、幾つかの組合せであってもよい。
The
ステップＳ８０３では、表示部１１３は、選択点検計画情報１１６を点検計画特徴情報１４２として点検の現場で画面上に表示する。
In step S803, the
ステップＳ８０４では、撮影装置１３０は、現場の点検対象を撮影する。ここでは、点検対象と同じ映像情報１４３内で点検計画特徴情報１４２が映り込むように撮影装置１３０が操作されて撮影が行われる。撮影された映像は、映像情報１４３として記録される。この際、撮影装置１３０は、通し番号などにより映像情報１４３の名称を自動的に付加する。
In step S804, the
なお、上述したように、映像情報１４３の中に点検計画特徴情報１４２を映り込ませるため、表示部１１３は、ノートパソコン、タブレット端末のように、点検する現場において画面表示が可能な装置であることが望ましい。または、点検で用いる移動車両内に画面を備えたコンピュータ（計算機）が備えられていることが望ましい。
As described above, the
ステップＳ８０５では、ステップＳ８０２〜ステップＳ８０４の処理が、点検計画リスト１４１に含まれる点検計画の件数分実施される。なお、映像情報１４３は、所定のタイミングで（例えば、オペレータの操作に応じて、リアルタイムに、定期的に）映像紐付装置１１０に取り込まれ、所定のフォルダに格納される。
In step S805, the processes of steps S802 to S804 are performed for the number of inspection plans included in the
ステップＳ８０６では、抽出部１１４は、フォルダ内の映像情報１４３を1つずつ自動的に全て読み込む。
In step S806, the
ステップＳ８０７では、抽出部１１４は、読み込んだ一の映像情報１４３の映像中に含まれている個別映像特徴情報１１７を画像処理により抽出（認識）する。個別映像特徴情報１１７には、識別情報が含まれる。個別映像特徴情報１１７は、選択点検計画情報１１６と同一であってもよいし、点検計画特徴情報１４２と同一でもよいし、点検計画特徴情報１４２のうち一部の内容（例えば、点検対象を識別可能な一部の内容）であってもよい。ここで施す画像処理は、文字、数字、記号などの自動認識でもよいし、バーコード認識など読み取り時にエラーが生じ難い手法であってもよいし、これらの組合せであってもよい。抽出部１１４は、抽出した個別映像特徴情報１１７を紐付部１１５に与える。なお、紐付部１１５には、個別映像特徴情報１１７のほかに点検計画リスト１４１が与えられる。付言するならば、個別映像特徴情報１１７の抽出例については、図９〜図１２を用いて後述する。
In step S807, the
ステップＳ８０８では、紐付部１１５は、点検計画リスト１４１の中に個別映像特徴情報１１７が含まれているか否かを探索する。点検計画リスト１４１の中に個別映像特徴情報１１７が含まれている場合には、開いた映像情報１４３の名称と点検計画リスト１４１の行（点検情報）との対応を取り、点検計画リスト１４１の行に映像情報１４３の名称を追加する（紐付ける）ことで、参照テーブル１４４を自動で生成する。
In step S808, the associating
付言するならば、点検計画リスト１４１の情報のうちどの情報を用いて識別情報を生成するかについては、予め規定された規定情報が記憶され、紐付部１１５は、記憶されている規定情報を用いて点検計画リスト１４１の中に個別映像特徴情報１１７が含まれているか否かを判定してもよい。選択部１１２が点検計画リスト１４１を参照して一意となる情報の組み合わせを選定し、選定した組合せを示す選定情報を記憶（保持）し、紐付部１１５は、記憶されている選定情報を用いて点検計画リスト１４１の中に個別映像特徴情報１１７が含まれているか否かを判定してもよい。
As a supplementary note, regarding which information of the information in the
なお、同一の点検計画リスト１４１の映像は、１回目、２回目など複数撮影される場合もある。その際には、参照テーブル１４４の映像情報名称７０３の中に複数の映像情報名称を記録してもよいし、参照テーブル１４４の映像情報名称７０３のさらに右側に列を追加して映像情報名称を複数記録してもよい。
It should be noted that the same
ステップＳ８０９では、ステップＳ８０７およびステップＳ８０８の処理が、ステップＳ８０６で読み込まれた各映像情報１４３に対して実施される。なお、紐付部１１５は、生成した参照テーブル１４４を所定のタイミングで（例えば、全ての映像情報１４３について処理が完了したときに、オペレータの操作に応じて、所定の時間に）指定部１２１に送信する。
In step S809, the processes of step S807 and step S808 are performed on each piece of
ステップＳ８１０では、指定部１２１は、映像を確認したい点検計画１４５を受け付ける。映像を確認したい点検計画１４５とは、図７に示す参照テーブル１４４を例に挙げると、例えば、２列目の工事名称２０２、３列目の予定日時２０３などである。参照テーブル１４４によれば、映像を確認したい点検計画１４５に対応する映像情報１４３（抽出点検映像１２３）の名称を決定できる。
In step S810, the
ステップＳ８１１では、指定部１２１は、参照テーブル１４４を用いて、映像を確認したい点検計画１４５に対応する映像情報１４３（抽出点検映像１２３）を特定し、映像紐付装置１１０（フォルダ内）に格納されている映像情報１４３から抽出点検映像１２３を取得し、再生部１２２に出力する。付言するならば、参照テーブル１４４の同一の行に複数の映像情報名称が記録されている場合には、どれを再生するかを選択する選択画面を表示する構成としてもよい。
In step S811, the
なお、図７に示す参照テーブル１４４の例には、工事名称２０２、予定日時２０３のほかにも、さまざまな列を例として示している。映像を確認したい点検計画１４５は、いずれの列の情報として与えてもよい。すなわち、１列目の通し番号２０１、４列目の予定位置２０４（緯度・経度）、６列目の撮影時刻７０１、７列目のＧＰＳ測定値７０２等を点検計画１４５として用いてもよい。
In addition, in the example of the reference table 144 shown in FIG. 7, in addition to the
これらの文字、数値の情報に比べてイメージし易いものの１つとして地図がある。例えば、画面上に下水管の地図が表示されており、その下水管の上を指定（例えば、クリック）することで映像を確認したい点検計画１４５を選ぶことができれば、担当者にとっては手間を軽減できる可能性が高い。このクリックする点の座標のイメージが図７に示す参照テーブル１４４の５列目の画面地図上の表示座標２０５である。ここでは、簡単のためｘ座標１つとｙ座標１つ（すなわち、クリックできるのは１点）しか示していないが、これに限られるものではない。例えば、地図上の下水管の線上どこでも選べるようにする、多少クリックする点がずれても選択できるようにするために、複数のｘ座標とｙ座標の情報を参照テーブル１４４が持つようにしてもよいし、地図上の下水管（点検対象のオブジェクト）を識別可能な情報（例えば、オブジェクト識別子）を参照テーブル１４４が持つようにしてもよい。
Maps are one of the things that are easier to imagine than these characters and numerical information. For example, if a map of a sewer pipe is displayed on the screen and the
ステップＳ８１２では、再生部１２２は、抽出点検映像１２３を点検映像１４６として表示装置に表示（再生）する。このように、いったん参照テーブル１４４が構成されると、その後で映像を確認したい点検計画１４５の情報を与えると、所望の点検映像１４６を見ることができ、業務の効率を大幅に高めることが可能となる。
In step S812, the reproducing
次に、個別映像特徴情報１１７の抽出に関して説明する。
Next, the extraction of the individual
本映像情報管理システム１００では、抽出部１１４は、検出マーク４２０を検出し、検出した検出マーク４２０を用いて個別映像特徴情報１１７を抽出する。
In the video
ここで、検出マーク４２０は、一次元バーコード４１０の読み取りを正確にするために用いることができる。画像処理では、まずこの検出マーク４２０を探索し、検出マーク４２０を見つけることができた場合、その間の画像を一次元バーコード４１０として画像処理することで個別映像特徴情報１１７を抽出する。このように検出マーク４２０を用いれば、一次元バーコード４１０の読み取りに要する画像処理の計算量の低減および精度向上に有用である。
Here, the
また、検出マーク４２０は、以下に示す要件を満足することが好適である。
Moreover, it is preferable that the
（要件Ａ）精度
撮影装置１３０で撮影される映像には、映像紐付装置１１０、下水管内の映像のほかに、地上の建物、車両、木々、草、地面、マンホール壁面など、様々な映像が背景として映りこむが、それらの中から正しく検出マーク４２０を見つけ出せること。
(Requirement A) Accuracy In addition to the image in the
（要件Ｂ）ロバスト性
撮影装置１３０で映像紐付装置１１０を撮影する際、相対的な距離、相対的な傾き、環境光の影響が異なる可能性が高いが、それにもかかわらず一次元バーコード４１０の位置を読み取れること。
(Requirement B) Robustness When photographing the
（要件Ｃ）高速性
映像のフレーム数については、１秒に３０枚、６０枚など枚数が多いため、高速に計算が実行でき画像処理にかかる演算時間が短いこと。
(Requirement C) High-speed performance Since the number of video frames is large, such as 30 or 60 frames per second, high-speed calculation can be performed and the calculation time required for image processing must be short.
以下では、（要件Ａ）〜（要件Ｃ）を満足するための手法の一例について図９を用いて説明する。 Hereinafter, an example of a method for satisfying (Requirement A) to (Requirement C) will be described with reference to FIG. 9.
図９は、検出マーク４２０の探索に係る処理の一例を示す図である。
FIG. 9 is a diagram illustrating an example of processing related to searching for the
ここで、検出マーク４２０として図１０で示すように、複数の縦線１０１１〜１０１９を用いる。これら複数の縦線１０１１〜１０１９は、太さが同じであるが、色は左から青、緑、赤、緑、青、緑、赤、緑、青と異なる。この色の並びについては、任意としてもよいが、地上の建物、車両、木々、草、地面、マンホール壁面など、様々な映像に含まれないパターン（地球上に存在しない、または存在する確率が非常に低い所定の色の組合せのパターン）である必要がある。
Here, as the
まず、抽出部１１４は、ステップＳ９０１およびステップＳ９０２において、４値化処理を施して環境光の色の影響を減らす。
First, in step S901 and step S902, the
ステップＳ９０１では、抽出部１１４は、所定の閾値を設定し、所定の閾値以下の輝度のピクセルの色を黒とする。
In step S901, the
ステップＳ９０２では、抽出部１１４は、所定の閾値以上の輝度のピクセルに対して、ＲＧＢの３つの色情報と比較し、最も値が大きい色の色情報を最大値（通常２５５）、それ以外の色の色情報を最小値（０）とする。
In step S902, the
上述した処理を施すことで、それぞれの画像（フレーム）中のピクセルの色は、黒、赤、青、緑の４色となる。このように処理することにより、環境光の影響を低減することができる。 By performing the above-described processing, the color of the pixel in each image (frame) becomes four colors of black, red, blue, and green. By processing in this way, the influence of ambient light can be reduced.
次に、抽出部１１４は、色パターンマッチングを行う（ステップＳ９０３）。まず、抽出部１１４は、画像（フレーム）を左から右へ水平にスキャンして色情報を読み取る。抽出部１１４は、同色のピクセルが連続した場合、連続したピクセルの数（連続ピクセル数）を記憶する。また、抽出部１１４は、色情報が左から青、緑、赤、緑、青、緑、赤、緑、青と連続し、それぞれの連続ピクセル数が同一である場合、検出マーク４２０が見つかったとみなす。なお、連続ピクセル数は、完全に同一でなくても、多少の差異があってもよい（略同一であってもよい）。
Next, the
かかる処理により、映像紐付装置１１０（電子黒板）からの距離が遠くて撮影した画像中の検出マーク４２０が小さくても（図１１参照）、映像紐付装置１１０と撮影装置１３０との相対位置が傾いていても（図１２参照）、検出マーク４２０の位置を検出することが可能となる。
By this processing, even if the
色パターンマッチングでは、抽出部１１４は、画像（フレーム）内のスキャンを画面の最上段から最下段まで実施する。ただし、この処理に限られるものではない。例えば、検出マーク４２０がフレームの所定の領域（例えば、上半分）にあるとの条件を採用してもよい。この場合、スキャンする範囲は、画面の所定の領域（例えば、上半分）でよく、画像処理に要する時間を半分に短縮できる。また、検出マーク４２０は、縦方向に高さを有しているため、スキャンは、全ての行を対象としなくても１行おき、２行おき、数行おきとしても検出は可能であり、その場合は、さらに画像処理に要する時間を短縮することができる。
In color pattern matching, the
このような処理をとることで、上記の（要件Ａ）、（要件Ｂ）、および（要件Ｃ）を満足することができる。 By performing such processing, it is possible to satisfy the above (Requirement A), (Requirement B), and (Requirement C).
上述のケースでは、前提条件として映像紐付装置１１０を撮影装置１３０で撮影する際に数十センチ以上離れていることを想定しているが、数センチ四方の二次元バーコードをより近い距離で読み取れる撮影装置１３０である場合、映像紐付装置１１０の一部に二次元バーコードを表示し、それを画像処理で読み出す手法であってもよい。
In the case described above, it is assumed that the
図１０は、撮影された点検計画特徴情報１４２（映像情報１４３内の点検計画特徴情報１４２）の一例を示す図である。図１０は、映像紐付装置１１０の正面から正常に撮影されたときの例を示す。
FIG. 10 is a diagram showing an example of the photographed inspection plan characteristic information 142 (the inspection plan
スキャン１００１では、検出マーク４２０が検出され、スキャン１００２では、検出マーク４２０が検出されないことが示されている。より具体的には、スキャン１００１では、青色の縦線１０１１が３ピクセル、緑色の縦線１０１２が３ピクセル、赤色の縦線１０１３が３ピクセル、緑色の縦線１０１４が３ピクセル、青色の縦線１０１５が３ピクセル、緑色の縦線１０１６が３ピクセル、赤色の縦線１０１７が３ピクセル、緑色の縦線１０１８が３ピクセル、青色の縦線１０１９が３ピクセルの組合せ（並び）が２か所あることが判定され、検出マーク４２０が検出される。スキャン１００２では、上述の並びがないことが判定され、検出マーク４２０が検出されない。
It is shown that the
図１１は、撮影された点検計画特徴情報１４２の一例を示す図である。図１１は、映像紐付装置１１０との距離が遠い場所から撮影されたときの例を示す。
FIG. 11 is a diagram showing an example of the photographed inspection plan
スキャン１１０１では、検出マーク４２０が検出される。スキャン１１０１では、青色の縦線１１１１が１ピクセル、緑色の縦線１１１２が１ピクセル、赤色の縦線１１１３が１ピクセル、緑色の縦線１１１４が１ピクセル、青色の縦線１１１５が１ピクセル、緑色の縦線１１１６が１ピクセル、赤色の縦線１１１７が１ピクセル、緑色の縦線１１１８が１ピクセル、青色の縦線１１１９が１ピクセルの組合せ（並び）が２か所あることが判定され、検出マーク４２０が検出される。
In the
図１２は、撮影された点検計画特徴情報１４２の一例を示す図である。図１２は、映像紐付装置１１０に対して傾いて撮影されたときの例を示す。
FIG. 12 is a diagram showing an example of the photographed inspection plan
スキャン１２０１では、検出マーク４２０が検出される。スキャン１２０１では、青色の縦線１２１１が４ピクセル、緑色の縦線１２１２が４ピクセル、赤色の縦線１２１３が４ピクセル、緑色の縦線１２１４が４ピクセル、青色の縦線１２１５が４ピクセル、緑色の縦線１２１６が４ピクセル、赤色の縦線１２１７が４ピクセル、緑色の縦線１２１８が４ピクセル、青色の縦線１２１９が４ピクセルの組合せ（並び）があることが判定され、検出マーク４２０が検出される。
In the
以上、本実施の形態によれば、ユーザは、参照テーブル１４４のレコードを指定することで、撮影された映像情報１４３から所望の撮影対象の映像情報１４３を短時間かつ容易に再生することができる。
As described above, according to the present embodiment, the user can easily reproduce the
（２）第２の実施の形態
図１３は、第２の実施の形態の映像情報管理システム１３００に係る構成の一例を示す図である。本実施の形態は、映像情報１４３の名称が変更される点と、映像再生装置１２０が設けられていない点とが第１の実施の形態と主に異なる。本実施の形態では、第１の実施の形態と異なる構成について主に説明する。
(2) Second Embodiment FIG. 13 is a diagram showing an example of the configuration according to the video
映像情報管理システム１３００は、映像紐付装置１３１０を含んで構成される。映像紐付装置１３１０は、映像紐付装置１１０と基本的に同様であり、入力部１１１、選択部１１２、表示部１１３、抽出部１１４、および紐付部１１５を備える。紐付部１１５は、名称変更部１３０１を備えてもよいし、紐付部１１５とは別に名称変更部１３０１が設けられてもよい。付言するならば、映像紐付装置１３１０の機能（入力部１１１〜紐付部１１５、名称変更部１３０１）は、同じコンピュータで実現されていてもよいし、入力部１１１〜紐付部１１５と名称変更部１３０１とが異なるコンピュータで実現されてもよい。
The video
本実施の形態では、まず、第１の実施の形態で説明した内容と同様の処理が行われ、結果として参照テーブル１４４が得られる。名称変更部１３０１は、参照テーブル１４４に基づいて、複数の映像情報１４３の名称を変更する。
In the present embodiment, first, the same processing as that described in the first embodiment is performed, and as a result, the reference table 144 is obtained. The
第１の実施の形態で説明したように、映像を確認したい点検計画１４５を与えることで対応する抽出点検映像１２３を得て点検映像１４６を見る方法もあるが、図５で示したようなフォルダ内の映像情報１４３を指定（例えば、ダブルクリック）することで内容を見たい場合もある。例えば、映像紐付装置１１０，１３１０の機能が入っていないコンピュータに図５で示したようなフォルダ５００内の映像情報１４３をコピー、移動などしている場合が考えられる。そのような場合、映像情報１４３の名称が「CAM00123.mp4」のようなものであると、内容を見たい点検映像１４６を効率的に選ぶことは難しい。
As described in the first embodiment, there is also a method of viewing the
そこで、名称変更部１３０１は、複数の映像情報１４３の名称を参照テーブル１４４に基づいて変更する。例えば、図７の１行目に示した「通し番号：0000」の工事であれば、もとの映像情報１４３の名称「CAM00123.mp4」を「0000AA幹線1(180101).mp4」のように、参照テーブル１４４に含まれる一意の情報で構成した名称に変更する。当該名称は、点検対象を示す情報であり、識別情報と同じであってもよいし、識別情報と異なっていてもよい。変更後の名称の決め方については、参照テーブル１４４に含まれる情報をどの順番で並べるか等を定義することができるため、参照テーブル１４４がある場合、全ての映像情報１４３の名称を機械的に統一性があり意味のある名称に変更することができる。その結果、例えば、映像紐付装置１１０，１３１０の機能が入っていないコンピュータであっても映像情報１４３の名称を見るだけで中身が分かるため、見たい映像を効率的に選んで内容を見ることが可能になる。
Therefore, the
映像情報１４３の名称を変更することは手作業でも実施できるが、本技術を用いることにより短時間で点検計画リスト１４１と完全に整合した形で名称を付けることができるため、入力ミス、操作ミスによるファイルの重複、欠損など、管理上の課題を減らせるとともに、時間的損失を少なくすることができる。
Although the name of the
以上、本実施の形態によれば、ユーザは、映像情報１４３の名称を見て、所望の撮影対象の映像情報１４３をダブルクリックすることで再生することができる。
As described above, according to the present embodiment, the user can view the name of the
（３）第３の実施の形態
図１４は、第３の実施の形態の映像情報管理システム１４００に係る構成の一例を示す図である。本実施の形態は、映像情報１４３の名称が変更される点が第１の実施の形態と主に異なる。本実施の形態では、第１の実施の形態および第２の実施の形態と異なる構成について主に説明する。
(3) Third Embodiment FIG. 14 is a diagram showing an example of a configuration according to a video
映像情報管理システム１４００は、映像紐付装置１３１０と映像再生装置１２０とを含んで構成される。映像紐付装置１３１０は、入力部１１１、選択部１１２、表示部１１３、撮影装置１３０、抽出部１１４、および紐付部１１５を備える。紐付部１１５は、名称変更部１３０１を備えてもよいし、紐付部１１５とは別に名称変更部１３０１が設けられてもよい。映像再生装置１２０は、指定部１２１と再生部１２２とを備える。映像紐付装置１３１０の機能と映像再生装置１２０の機能とが同じコンピュータで実現されてもよいし、映像紐付装置１３１０の機能と映像再生装置１２０の機能とが異なるコンピュータで実現されてもよい。
The video
本実施の形態は、基本的には、第１の実施の形態と同様であるが、映像紐付装置１１０の中に名称変更部１３０１が含まれている点が異なる。この構成を加えることにより、第２の実施の形態のメリットを取り込んだ映像情報管理システム１４００を実現することができる。その結果として、図７で示したようなデータ項目（通し番号２０１、工事名称２０２、予定日時２０３、予定位置２０４、画面地図上の表示座標２０５、撮影時刻７０１、ＧＰＳ測定値７０２など）で所望の点検計画を選び出して点検映像１４６を表示すると共に、「0000AA幹線1(180101).mp4」のように意味がある名称にすることができるため、例えば、映像紐付装置１１０，１３００，１４００の機能が入っていないコンピュータであっても映像情報１４３の名称を見るだけで中身が分かるため、見たい映像を効率的に選んで内容を見ることが可能になる。
The present embodiment is basically the same as the first embodiment, but is different in that the
また、映像紐付装置１１０，１３００，１４００の機能が入っているコンピュータでも第１の実施の形態と同様のメリットを得るため、図７で示す参照テーブル１４４の右端の映像情報名称７０３の箇所には変更後の映像情報名称を上書きした参照テーブル１４０１を生成する構成でもよいし、参照テーブル１４４に名称変更後映像情報名称の列を加えた参照テーブル１４０１を生成し、そこに変更後の映像情報名称を追加する構成でもよい。
Further, even in a computer having the functions of the
以上、本実施の形態によれば、第１の実施の形態の効果および第２の実施の効果を得ることができる。 As described above, according to this embodiment, the effects of the first embodiment and the effects of the second embodiment can be obtained.
（４）他の実施の形態
なお上述の実施の形態においては、本発明を映像情報管理システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
(4) Other Embodiments In the above embodiment, the case where the present invention is applied to the video information management system has been described, but the present invention is not limited to this, and various other systems, It can be widely applied to devices, methods and programs.
また上述の実施の形態においては、検出マーク４２０は、一次元バーコード４１０の読み取りを正確にするために用いる場合について述べたが、本発明はこれに限らず、検出マーク４２０は、映像情報１４３から点検計画特徴情報１４２が含まれる画像を特定するために用いるようにしてもよいし、両方のために用いるようにしてもよい。
Further, in the above-described embodiment, the case where the
また上述の実施の形態においては、点検計画特徴情報１４２を冒頭または冒頭から一定の時間内に撮影する場合について述べたが、本発明はこれに限らず、点検計画特徴情報１４２を一定の時間撮影するようにしてもよい。この場合、検出マーク４２０の検出を、数フレームおきとすることができ、画像処理に要する時間を短縮することができる。
Further, in the above-described embodiment, the case where the inspection plan
また上述の実施の形態においては、指定部１２１は、映像紐付装置１１０（フォルダ内）に格納されている映像情報１４３から抽出点検映像１２３を取得する場合について述べたが、本発明はこれに限らず、映像情報１４３が適宜のタイミングで映像再生装置１２０に取り込まれ、指定部１２１は、映像再生装置１２０に格納されている映像情報１４３から抽出点検映像１２３を取得するようにしてもよい。
Further, in the above embodiment, the case where the
また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。 Further, in the above-described embodiment, the configuration of each table is an example, and one table may be divided into two or more tables, or all or some of the two or more tables are one table. May be.
また、上述の実施の形態において、説明の便宜上、ＸＸテーブル、ＸＸファイルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報などと表現してもよい。 Further, in the above-described embodiment, various data have been described using the XX table and the XX file for convenience of description, but the data structure is not limited and may be expressed as XX information or the like.
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 In addition, in the above description, information such as programs, tables, and files for realizing each function is stored in a memory, a hard disk, a storage device such as SSD (Solid State Drive), or an IC card, an SD card, a DVD, or the like. Can be placed on media.
以上、映像情報管理システムの一例として下水管の点検を対象として説明したが、対象は、下水管に限定されず、トンネル内点検システム、橋梁点検、水道管点検など、あらかじめ作業計画リスト（例えば、点検計画リスト、調査計画リストなど）が存在し、かつ作業（点検、調査）に映像を用いる業務であれば適用が可能である。作業でなくても、あらかじめ撮影する対象の計画リストが存在し、その計画リストの情報を表示した画面を映り込ませた映像を撮影することができる対象であれば、本発明を適用することが可能である。 As described above, the sewer pipe inspection has been described as an example of the video information management system, but the target is not limited to the sewer pipe, and the work plan list (e.g., the inspection system in the tunnel, the bridge inspection, the water pipe inspection, etc.) is prepared in advance. It can be applied as long as there is an inspection plan list, an investigation plan list, etc.) and the work uses the video for the work (inspection, investigation). The present invention can be applied to any target which has a plan list to be photographed in advance and is capable of photographing an image showing a screen displaying the information of the plan list even if it is not a work. It is possible.
また、本発明は、例えば、下記の特徴を有する。 Further, the present invention has the following features, for example.
例えば、映像情報管理システム（映像情報管理システム１００、映像情報管理システム１３００、映像情報管理システム１４００等）であって、上記映像情報管理システムは、撮影対象（点検、調査など）に係る撮影対象情報（例えば、点検情報、点検計画リスト１４１）を入力する入力部（例えば、入力部１１１）と、上記入力部により入力された撮影対象情報から、撮影が行われる撮影対象を選択し、選択した撮影対象を一意に識別可能な識別情報（例えば、点検計画リスト１４１のうち現場で実施する点検に対応する一意の識別情報、選択点検計画情報１１６、個別映像特徴情報１１７、点検計画特徴情報１４２など）を上記撮影対象の撮影対象情報から選択する選択部（例えば、選択部１１２）と、上記選択部により選択された撮影対象を一意に識別可能な識別情報を表示装置（例えば、表示装置）に表示する表示部（例えば、表示部１１３）と、上記表示装置に表示された識別情報が撮影装置（例えば、撮影装置１３０）により撮影された映像情報（例えば、映像情報１４３）から上記識別情報を抽出する抽出部（例えば、抽出部１１４）と、上記抽出部により映像情報から抽出された識別情報により識別される撮影対象の撮影対象情報を特定し、特定した撮影対象情報または上記撮影対象を識別可能な上記撮影対象情報の一部の情報と上記映像情報とを紐付けた紐付情報（例えば、参照テーブル１４４、点検計画リスト１４１の情報をもとに作成される映像情報名称、図面地図上の表示座標２０５と映像情報１４３とが対応付けられた情報など）を生成して出力する紐付部（例えば、紐付部１１５）と、を備えることを特徴とする。
For example, in a video information management system (video
上記構成によれば、撮影対象と映像情報とが紐付けられた紐付情報が出力されるので、例えば、ユーザは、多量に撮影された映像情報から所望の撮影対象の映像情報を的確に把握し、短時間で内容を確認することができる。その結果として、業務量の低減、業務効率化などを図ることができ、他の業務に割く時間を増やすことができる。 According to the above configuration, since the linking information in which the shooting target and the video information are linked to each other is output, for example, the user accurately grasps the video information of the desired shooting target from the video information captured in a large amount. You can check the contents in a short time. As a result, the amount of work can be reduced, work efficiency can be improved, and the time devoted to other works can be increased.
また、例えば、上記紐付部は、上記撮影対象情報に上記映像情報を特定可能な情報（例えば、映像情報名称７０３）を付加することで、上記紐付情報（例えば、参照テーブル１４４）を生成する、ことを特徴とする。 In addition, for example, the associating unit generates the associating information (for example, the reference table 144) by adding information (for example, the video information name 703) capable of specifying the video information to the image capturing target information. It is characterized by
上記構成によれば、例えば、ユーザは、撮影対象情報に付加されている映像情報を特定可能な情報から、所望の撮影対象の映像情報を特定できるようになる。 According to the above configuration, for example, the user can specify the video information of a desired shooting target from the information that can specify the video information added to the shooting target information.
また、例えば、上記紐付部（例えば、名称変更部１３０１）は、上記映像情報の名称を、上記撮影対象を示す情報（例えば、参照テーブル１４４に含まれる一意の情報で構成した名称）に変更することで、上記紐付情報を生成する、ことを特徴とする。 Further, for example, the associating unit (for example, the name changing unit 1301) changes the name of the video information to information indicating the image capturing target (for example, a name configured by unique information included in the reference table 144). Thus, the linking information is generated.
上記構成によれば、例えば、ユーザは、フォルダ内の映像情報の名称をダブルクリックすることで所望の撮影対象の映像情報を再生できるようになる。 According to the above configuration, for example, the user can double-click the name of the video information in the folder to reproduce the desired video information of the shooting target.
また、例えば、上記紐付部は、上記撮影対象を指定可能なグラフィカルユーザインターフェースの情報（例えば、図面地図上の表示座標２０５）と上記映像情報とを対応付けることで、上記紐付情報を生成し、上記グラフィカルユーザインターフェースを介して撮影対象を指定する指定部（例えば、指定部１２１）と、上記指定部により指定された撮影対象に対応付けられている映像情報を再生する再生部（例えば、再生部１２２）と、を備える、ことを特徴とする。 Further, for example, the associating unit generates the association information by associating the information (for example, the display coordinates 205 on the drawing map) of the graphical user interface capable of designating the photographing target with the video information. A designation unit (for example, designation unit 121) that designates a shooting target via a graphical user interface, and a playback unit (for example, playback unit 122) that plays back the video information associated with the shooting target designated by the designation unit. ) And are provided.
上記構成によれば、例えば、ユーザは、グラフィカルユーザインターフェースとして表示された地図上の下水管をダブルクリックすることで、所望の撮影対象の映像情報を再生できるようになる。 According to the above configuration, for example, the user can double-click the sewer on the map displayed as the graphical user interface to reproduce the desired video information of the shooting target.
また、例えば、上記表示部は、上記識別情報と共に、上記識別情報の検出に用いるパターンを示すパターン情報（例えば、検出マーク４２０）を表示する、ことを特徴とする。 Further, for example, the display unit displays pattern information (for example, a detection mark 420) indicating a pattern used for detecting the identification information, together with the identification information.
上記構成によれば、例えば、撮影装置により撮影された映像情報の画像には、識別情報と共にパターン情報が含まれるので、抽出部は、画一的な処理により画像からパターン情報を検出することができ、当該画像から撮影対象に個別の識別情報を抽出できるようになる。 According to the above configuration, for example, the image of the video information captured by the image capturing device includes the pattern information together with the identification information, so that the extraction unit can detect the pattern information from the image by a uniform process. This makes it possible to extract individual identification information from the image for the shooting target.
また、例えば、上記パターンは、地球上に存在しない、または地球上に存在する確率が非常に低い所定の色の組合せ（例えば、青、緑、赤、緑、青、緑、赤、緑、青）のパターンであり、上記抽出部は、上記所定の色の組合せが含まれる画像から上記識別情報を抽出する、ことを特徴とする。 Further, for example, the pattern is a predetermined color combination that does not exist on the earth or has a very low probability of existing on the earth (for example, blue, green, red, green, blue, green, red, green, blue). ) Pattern, the extraction unit extracts the identification information from an image including the predetermined color combination.
上記構成によれば、例えば、抽出部は、背景が含まれている場合であっても、パターンを精確に検出できるので、識別情報を精度よく抽出できるようになる。 According to the above configuration, for example, the extraction unit can accurately detect the pattern even when the background is included, so that the identification information can be accurately extracted.
また、例えば、上記抽出部は、上記映像情報の画像において、上記所定の色の組合せにおける各色が連続するピクセルの数が同一または略同一であると判定した場合、上記識別情報が含まれると判定する、ことを特徴とする。 Further, for example, when the extraction unit determines that the number of consecutive pixels of each color in the predetermined color combination is the same or substantially the same in the image of the video information, it is determined that the identification information is included. It is characterized by:
上記構成によれば、例えば、抽出部は、撮影時における表示装置と撮影装置との距離が異なる場合であっても、表示装置が正面から撮影されない場合であっても、両者が組み合わされた場合であっても、パターンを検出できるようになる。 According to the above configuration, for example, the extraction unit, even when the distance between the display device and the shooting device at the time of shooting is different, even when the display device is not shot from the front, when the two are combined Even then, the pattern can be detected.
また、例えば、上記識別情報には、撮影対象を一意に識別可能なバーコード（例えば、一次元バーコード４１０）、および／または、撮影対象を一意に識別可能な文字と数字と記号との任意の組合せの情報（例えば、点検対象を一意に識別可能な情報４３０）が含まれる、ことを特徴とする。
Further, for example, the identification information includes, in the identification information, a barcode that can uniquely identify the imaging target (for example, a one-dimensional barcode 410) and/or an arbitrary character, number, or symbol that can uniquely identify the imaging target. Information (for example,
上記構成によれば、例えば、映像情報管理システムに応じて適切な識別情報を採用できるようになる。 According to the above configuration, for example, appropriate identification information can be adopted according to the video information management system.
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。 In addition, the configurations described above may be appropriately changed, rearranged, combined, or omitted without departing from the scope of the present invention.
上述した構成によれば、映像情報を適切に管理することができる。 According to the configuration described above, the video information can be appropriately managed.
１００……映像情報管理システム、１１０……映像紐付装置、１２０……映像再生装置。 100... video information management system, 110... video linking device, 120... video playback device.
Claims (9)
前記入力部により入力された撮影対象情報から、撮影が行われる撮影対象を選択し、選択した撮影対象を一意に識別可能な識別情報を前記撮影対象の撮影対象情報から選択する選択部と、
前記選択部により選択された撮影対象を一意に識別可能な識別情報を表示装置に表示する表示部と、
前記表示装置に表示された識別情報が撮影装置により撮影された映像情報から前記識別情報を抽出する抽出部と、
前記抽出部により映像情報から抽出された識別情報により識別される撮影対象の撮影対象情報を特定し、特定した撮影対象情報または前記撮影対象を識別可能な前記撮影対象情報の一部の情報と前記映像情報とを紐付けた紐付情報を生成して出力する紐付部と、
を備えることを特徴とする映像情報管理システム。 An input unit for inputting shooting target information relating to the shooting target,
A selection unit that selects a shooting target to be shot from the shooting target information input by the input unit, and selects identification information that can uniquely identify the selected shooting target from the shooting target information of the shooting target,
A display unit for displaying on the display device identification information capable of uniquely identifying the imaging target selected by the selection unit;
An extraction unit for extracting the identification information from the video information captured by the image capturing device, the identification information displayed on the display device,
The shooting target information of the shooting target identified by the identification information extracted from the video information by the extraction unit is specified, and the specified shooting target information or part of the shooting target information that can identify the shooting target and the information A linking unit that generates and outputs linking information that links the video information.
A video information management system comprising:
ことを特徴とする請求項１に記載の映像情報管理システム。 The associating unit generates the associating information by adding information capable of specifying the video information to the shooting target information,
The video information management system according to claim 1, wherein:
ことを特徴とする請求項１に記載の映像情報管理システム。 The associating unit generates the associating information by changing the name of the video information to information indicating the shooting target.
The video information management system according to claim 1, wherein:
前記グラフィカルユーザインターフェースを介して撮影対象を指定する指定部と、
前記指定部により指定された撮影対象に対応付けられている映像情報を再生する再生部と、
を備える、
ことを特徴とする請求項１に記載の映像情報管理システム。 The associating unit creates the associating information by associating the information of the graphical user interface capable of designating the photographing target with the video information,
A designation unit for designating a photographing target through the graphical user interface,
A playback unit for playing back video information associated with the shooting target designated by the designation unit;
With
The video information management system according to claim 1, wherein:
ことを特徴とする請求項１に記載の映像情報管理システム。 The display unit displays, together with the identification information, pattern information indicating a pattern used to detect the identification information,
The video information management system according to claim 1, wherein:
前記抽出部は、前記所定の色の組合せが含まれる画像から前記識別情報を抽出する、
ことを特徴とする請求項５に記載の映像情報管理システム。 The pattern is a pattern of a predetermined color combination that does not exist on the earth or has a very low probability of existing on the earth,
The extraction unit extracts the identification information from an image including the predetermined color combination,
The video information management system according to claim 5, wherein
ことを特徴とする請求項６に記載の映像情報管理システム。 In the image of the video information, the extraction unit determines that the identification information is included when it is determined that the number of consecutive pixels of each color in the predetermined color combination is the same or substantially the same.
The video information management system according to claim 6, wherein
ことを特徴とする請求項１に記載の映像情報管理システム。 The identification information includes a barcode that can uniquely identify the shooting target, and/or information on any combination of characters, numbers, and symbols that can uniquely identify the shooting target,
The video information management system according to claim 1, wherein:
選択部が、前記入力部により入力された撮影対象情報から、撮影が行われる撮影対象を選択し、選択した撮影対象を一意に識別可能な識別情報を前記撮影対象の撮影対象情報から選択する第２のステップと、
表示部が、前記選択部により選択された撮影対象を一意に識別可能な識別情報を表示装置に表示する第３のステップと、
抽出部が、前記表示装置に表示された識別情報が撮影装置により撮影された映像情報から前記識別情報を抽出する第４のステップと、
紐付部が、前記抽出部により映像情報から抽出された識別情報により識別される撮影対象の撮影対象情報を特定し、特定した撮影対象情報または前記撮影対象を識別可能な前記撮影対象情報の一部の情報と前記映像情報とを紐付けた紐付情報を生成して出力する第５のステップと、
を備えることを特徴とする映像情報管理方法。 A first step in which the input unit inputs shooting target information relating to the shooting target;
A selecting unit selects a shooting target to be shot from the shooting target information input by the input unit, and selects, from the shooting target information of the shooting target, identification information capable of uniquely identifying the selected shooting target; 2 steps,
A third step in which the display section displays, on the display device, identification information capable of uniquely identifying the imaging target selected by the selection section;
A fourth step in which the extraction unit extracts the identification information from the video information captured by the image capturing device, the identification information displayed on the display device;
The tying unit specifies the shooting target information of the shooting target identified by the identification information extracted from the video information by the extraction unit, and the specified shooting target information or a part of the shooting target information that can identify the shooting target. A fifth step of generating and outputting linking information in which the above information and the video information are linked together,
A video information management method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019011227A JP7132860B2 (en) | 2019-01-25 | 2019-01-25 | VIDEO INFORMATION MANAGEMENT SYSTEM AND VIDEO INFORMATION MANAGEMENT METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019011227A JP7132860B2 (en) | 2019-01-25 | 2019-01-25 | VIDEO INFORMATION MANAGEMENT SYSTEM AND VIDEO INFORMATION MANAGEMENT METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020119368A true JP2020119368A (en) | 2020-08-06 |
| JP7132860B2 JP7132860B2 (en) | 2022-09-07 |
Family
ID=71890913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019011227A Active JP7132860B2 (en) | 2019-01-25 | 2019-01-25 | VIDEO INFORMATION MANAGEMENT SYSTEM AND VIDEO INFORMATION MANAGEMENT METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7132860B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022009719A1 (en) | 2020-07-10 | 2022-01-13 | ダイキン工業株式会社 | Generation method, generation device, program, information processing method, and information processing device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001111810A (en) * | 1999-10-07 | 2001-04-20 | Fuji Photo Film Co Ltd | Image processing device, image processing method and display unit |
| JP2004096438A (en) * | 2002-08-30 | 2004-03-25 | Casio Comput Co Ltd | Photographing device and method, and program |
| JP2014157596A (en) * | 2013-01-21 | 2014-08-28 | Booth Kk | Program for construction site photographing |
-
2019
- 2019-01-25 JP JP2019011227A patent/JP7132860B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001111810A (en) * | 1999-10-07 | 2001-04-20 | Fuji Photo Film Co Ltd | Image processing device, image processing method and display unit |
| JP2004096438A (en) * | 2002-08-30 | 2004-03-25 | Casio Comput Co Ltd | Photographing device and method, and program |
| JP2014157596A (en) * | 2013-01-21 | 2014-08-28 | Booth Kk | Program for construction site photographing |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022009719A1 (en) | 2020-07-10 | 2022-01-13 | ダイキン工業株式会社 | Generation method, generation device, program, information processing method, and information processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7132860B2 (en) | 2022-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10410677B2 (en) | Content management system, management content generating method, management content play back method, and recording medium | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| US9412035B2 (en) | Place-based image organization | |
| US20020126913A1 (en) | Image processing apparatus and method | |
| US8730397B1 (en) | Providing a photobook of video frame images | |
| KR101398700B1 (en) | Annotation system and method for video data | |
| KR102195999B1 (en) | Method, device and system for processing image tagging information | |
| JP2015165379A (en) | Content management system, managed content generation method, managed content reproduction method, program, and recording medium | |
| US20210098026A1 (en) | Providing context aware video searching | |
| US20160140715A1 (en) | Information processing apparatus, information processing system, and information processing method | |
| JP2007318688A (en) | Video information exchange method, server device, and client device | |
| JP7132860B2 (en) | VIDEO INFORMATION MANAGEMENT SYSTEM AND VIDEO INFORMATION MANAGEMENT METHOD | |
| JP2001036840A (en) | Photographed image managing method, photographed image reproducing method using electronic map and device for the same | |
| JP2007316876A (en) | Document retrieval program | |
| JP4334898B2 (en) | Database construction device, database construction program, image retrieval device, image retrieval program, and image recording / reproducing device | |
| JP3511278B2 (en) | Video anchor setting device | |
| CN106354516B (en) | The method and device of tracing equipment | |
| JP5012644B2 (en) | Presentation recording apparatus, presentation playback apparatus, and program | |
| JP2006236135A (en) | Two-dimensional code recognizing device and program for it | |
| JP5846378B2 (en) | Information management method and information management system | |
| JP7537518B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM | |
| JP2005184785A (en) | Image reproducing device and image reproducing method | |
| WO2023053481A1 (en) | Assessment assistance device and assessment assistance method | |
| JP2004110096A (en) | User operation log visualizing method, user operation log visualizing device, program and its recording medium | |
| WO2023053830A1 (en) | Image processing device, image processing method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7132860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |