JP2018116572A - Image management system, image management method, and image management program - Google Patents
Image management system, image management method, and image management program Download PDFInfo
- Publication number
- JP2018116572A JP2018116572A JP2017007862A JP2017007862A JP2018116572A JP 2018116572 A JP2018116572 A JP 2018116572A JP 2017007862 A JP2017007862 A JP 2017007862A JP 2017007862 A JP2017007862 A JP 2017007862A JP 2018116572 A JP2018116572 A JP 2018116572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- storage unit
- information storage
- index information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像を管理する画像管理システム、画像管理方法、及び画像管理プログラムに関する。 The present invention relates to an image management system, an image management method, and an image management program for managing images.
録画の中で、過去の状況を確認したい場合がある。この場合、所望の場面を検索する必要がある。
動画像中の所定の条件を満たす場面のみを簡単に抽出するための技術も検討されている（例えば、特許文献１参照。）。この文献においては、インデクシング制御部は、映像コンテンツデータ内に登場する人物の顔画像を抽出し、タイムスタンプ情報や分類情報等と共にインデックス情報としてデータベースに格納する。スライドショー作成部は、インデックス情報を用いて各人物につき１つずつ顔画像を選択肢として提示し、選択された顔画像と同一の分類情報が付された顔画像が抽出されたフレーム（画像）を、インデックス情報を用いて抽出して静止画像データとしてＨＤＤに格納する。そして、スライドショー表示部は、このＨＤＤに格納された静止画像データを順次に表示する。
You may want to check the past situation during recording. In this case, it is necessary to search for a desired scene.
A technique for easily extracting only scenes satisfying a predetermined condition in a moving image has also been studied (for example, see Patent Document 1). In this document, the indexing control unit extracts a face image of a person appearing in the video content data, and stores it in the database as index information together with time stamp information and classification information. The slide show creation unit presents one face image as an option for each person using the index information, and extracts a frame (image) from which the face image with the same classification information as the selected face image is extracted, Extracted using the index information and stored in the HDD as still image data. The slide show display unit sequentially displays the still image data stored in the HDD.
特許文献１においては、所定人物の顔画像に基づいて画像を抽出している。しかしながら、撮影画像において、形状が同じ被写体（例えば、建築部材）の画像を検索する場合には、特定の部材か否かを判定することは難しい。また、本来、存在すべき部材が、被写体として撮影されていないときには、この部材をインデックス情報として用いることはできない。 In Patent Document 1, an image is extracted based on a face image of a predetermined person. However, when searching for an image of a subject (for example, a building member) having the same shape in a captured image, it is difficult to determine whether or not it is a specific member. In addition, when a member that should be present is not photographed as a subject, this member cannot be used as index information.
本発明は、上述の課題に鑑みてなされ、その目的は、所望の被写体が含まれる画像を効率的に特定するための画像管理システム、画像管理方法及び画像管理プログラムを提供することにある。 SUMMARY An advantage of some aspects of the invention is to provide an image management system, an image management method, and an image management program for efficiently specifying an image including a desired subject.
・上記課題を解決する管理システムは、撮影装置により撮影された画像を記憶する画像情報記憶部と、前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、画像を管理する制御部とを備える。前記制御部は、前記画像、撮影位置情報、撮影時刻を取得して、前記画像情報記憶部に記録し、前記画像に含まれる被写体について、前記画像の撮影位置情報を用いて前記被写体の所在位置を特定し、前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記録された画像に関連付けて前記インデックス情報記憶部に記録し、画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出する。これにより、インデックス情報を用いて、所望の被写体が含まれる画像を効率的に特定することができる。 The management system that solves the above problem includes an image information storage unit that stores an image captured by the imaging device, an index information storage unit that stores index information associated with the image, and a control unit that manages the image. . The control unit acquires the image, shooting position information, and shooting time, records the acquired information in the image information storage unit, and uses the shooting position information of the image for the subject included in the image. And the subject identifier of the subject, the location, and the shooting time are recorded as index information in the index information storage unit in association with the image recorded in the image information storage unit. When the instruction is acquired, the index information corresponding to the search instruction is specified in the index information storage unit, and an image corresponding to the specified index information is extracted in the image information storage unit. Thereby, it is possible to efficiently specify an image including a desired subject using the index information.
・上記管理システムにおいて、前記画像は、時系列に並べられており、前記制御部は、前時刻の画像に対して、画像に含まれる被写体が変化した場合に、その変化した撮影時刻に対して新たなインデックス情報を追加することが好ましい。これにより、画像に対して、被写体の識別情報等のインデックス情報を効率的に関連付けることができる。 In the management system, the images are arranged in time series, and when the subject included in the image is changed with respect to the image at the previous time, the control unit performs the change with respect to the changed shooting time. It is preferable to add new index information. Accordingly, index information such as subject identification information can be efficiently associated with the image.
・上記管理システムにおいて、前記制御部は、前記画像に基づいて、前記被写体の状態を特定し、前記インデックス情報に、前記被写体の状態を含めることが好ましい。これにより、被写体の状態に応じて、所望の被写体を特定することができる。 In the management system, it is preferable that the control unit specifies the state of the subject based on the image, and includes the state of the subject in the index information. Thereby, a desired subject can be specified according to the state of the subject.
・上記管理システムにおいて、建設中の建築物に関する建築総合情報を記憶する建築総合情報記憶部を更に備え、前記制御部は、前記画像の撮影位置情報から撮影範囲を特定し、前記撮影範囲と、前記建築総合情報とから、前記画像に含まれる被写体を予測し、予測した被写体と、前記画像に含まれる被写体とが異なる画像を抽出することが好ましい。これにより、本来、映るべき被写体が含まれていない画像等を抽出することができる。 -In the above management system, it further comprises a general building information storage unit for storing general building information relating to the building under construction, and the control unit specifies a shooting range from the shooting position information of the image, and the shooting range, It is preferable that a subject included in the image is predicted from the architectural comprehensive information, and an image in which the predicted subject is different from the subject included in the image is extracted. Thereby, it is possible to extract an image or the like that originally does not include the subject to be projected.
本発明によれば、所望の被写体が含まれる画像を効率的に特定することができる。 According to the present invention, an image including a desired subject can be efficiently identified.
以下、図１〜図７を用いて、画像を管理する画像管理システム、画像管理方法及び画像管理プログラムを具体化した一実施形態を説明する。本実施形態では、建設現場で撮影した動画を管理する。 Hereinafter, an embodiment that embodies an image management system, an image management method, and an image management program for managing images will be described with reference to FIGS. In this embodiment, a moving image shot at a construction site is managed.
図１に示すように、本実施形態の管理システム１０は、複数の移動体ユニット１１に接続された管理サーバ２０を備えている。
図２に示すように、移動体ユニット１１には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット１１は、建設現場で移動しながら作業を行なう作業者のヘルメットＨ１の横に取り付けられている。
As shown in FIG. 1, the management system 10 of this embodiment includes a management server 20 connected to a plurality of mobile units 11.
As shown in FIG. 2, a wearable terminal that functions as a photographing device is used for the mobile unit 11. This mobile unit 11 is attached to the side of the helmet H1 of the worker who works while moving at the construction site.
図１に示すように、移動体ユニット１１は、撮影部１２、送信部１３及び制御部１４を備えている。撮影部１２は、ＣＣＤカメラ等により構成されている。
撮影部１２は、作業者の前方を撮影して動画（画像）を生成する。
送信部１３は、撮影部１２で撮影した動画を、所定容量毎に、管理サーバ２０に送信する。
As shown in FIG. 1, the mobile unit 11 includes an imaging unit 12, a transmission unit 13, and a control unit 14. The photographing unit 12 is constituted by a CCD camera or the like.
The photographing unit 12 photographs the front of the worker and generates a moving image (image).
The transmission part 13 transmits the moving image image | photographed with the imaging | photography part 12 to the management server 20 for every predetermined capacity | capacitance.
制御部１４は、撮影部１２の撮影開始や撮影停止を制御したり、送信部１３の送信開始や送信停止等を制御したりする。制御部１４は、この移動体ユニット１１を特定する撮影装置識別情報を保持している。 The control unit 14 controls the start and stop of shooting of the shooting unit 12 and controls the start and stop of transmission of the transmission unit 13. The control unit 14 holds imaging device identification information that identifies the mobile unit 11.
管理サーバ２０は、入力部１６及び表示部１７を備えている。入力部１６は、キーボードやポインティングデバイスである。表示部１７は、ディスプレイであって、検索した結果の動画の情報等を表示する。 The management server 20 includes an input unit 16 and a display unit 17. The input unit 16 is a keyboard or a pointing device. The display unit 17 is a display, and displays information on a moving image obtained as a result of the search.
管理サーバ２０は、制御部２１、建築総合情報記憶部２２、特徴点情報記憶部２３、禁止区域情報記憶部２４、被写体情報記憶部２５、動画情報記憶部２６及びインデックス情報記憶部２７を備えている。 The management server 20 includes a control unit 21, a general building information storage unit 22, a feature point information storage unit 23, a prohibited area information storage unit 24, a subject information storage unit 25, a moving image information storage unit 26, and an index information storage unit 27. Yes.
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、後述する処理（管理段階、位置特定段階、被写体特定段階等の各処理）を行なう。そのための管理プログラムを実行することにより、制御部２１は、管理部２１１、位置特定部２１２、被写体特定部２１３、インデクシング部２１４として機能する。 The control unit 21 includes a CPU, a RAM, a ROM, and the like, and performs processes described later (each process such as a management stage, a position specifying stage, and a subject specifying stage). By executing the management program for that purpose, the control unit 21 functions as a management unit 211, a position specifying unit 212, a subject specifying unit 213, and an indexing unit 214.
管理部２１１は、移動体ユニット１１において撮影した動画を取得し、この動画についての管理処理を実行する。
位置特定部２１２は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部２１２は、公知のｖ−ＳＬＡＭ（visual Simultaneous Localization And Mapping）を用いて、撮影位置を特定する。
The management part 211 acquires the moving image image | photographed in the mobile unit 11, and performs the management process about this moving image.
The position specifying unit 212 estimates the shooting position and shooting direction based on the moving image, and executes a process of specifying the shooting field of view. In the present embodiment, the position specifying unit 212 specifies a shooting position using known v-SLAM (visual Simultaneous Localization And Mapping).
被写体特定部２１３は、特定した撮影視野内にある被写体（物）の管理対象と、この被写体の状態とを特定する処理を実行する。本実施形態の被写体特定部２１３は、ディープラーニングの畳み込みニューラルネットワークを用いる。具体的には、被写体特定部２１３は、学習によって生成した学習済み分類モデルに、撮影フレームの分割領域の画像を入力して、管理対象物と状態、又は材料を特定する。この学習のため、被写体特定部２１３は、公知の手法に基づいて、被写体情報記憶部２５に記憶された多量の教師データを用いて、ディープラーニングにより学習した学習済み分類モデルを、被写体情報記憶部２５に記憶する。
インデクシング部２１４は、移動体ユニット１１から取得した画像に対してインデックスを付与するインデクシング処理を実行する。
The subject specifying unit 213 executes processing for specifying the management target of the subject (object) within the specified field of view and the state of the subject. The subject specifying unit 213 of the present embodiment uses a deep learning convolutional neural network. Specifically, the subject specifying unit 213 inputs the image of the divided region of the shooting frame to the learned classification model generated by learning, and specifies the management object and state or material. For this learning, the subject specifying unit 213 uses the large amount of teacher data stored in the subject information storage unit 25 based on a publicly known technique to store the learned classification model learned by deep learning, as a subject information storage unit. 25.
The indexing unit 214 performs an indexing process for assigning an index to the image acquired from the mobile unit 11.
建築総合情報記憶部２２には、建設中の建築物に関する建築総合情報が記録されている。本実施形態では、建築総合情報として、ＢＩＭ（Building Information Modeling）データを用いる。この建築総合情報は、建築物を構成するオブジェクト、属性情報及びロケーション情報を含んで構成されている。オブジェクトには、オブジェクトＩＤが付与された３次元モデルにより構成される。属性情報には、オブジェクトＩＤ、オブジェクト名、オブジェクトのタイプ、面積、材質、製品情報、コスト等の仕様に関する情報が含まれる。ロケーション情報には、このオブジェクトが配置される位置（座標）に関する情報が含まれる。 The general building information storage unit 22 stores general building information related to the building under construction. In this embodiment, BIM (Building Information Modeling) data is used as building general information. This general building information includes an object, attribute information, and location information constituting the building. An object is constituted by a three-dimensional model to which an object ID is assigned. The attribute information includes information regarding specifications such as object ID, object name, object type, area, material, product information, and cost. The location information includes information regarding the position (coordinates) where this object is placed.
オブジェクトＩＤは、オブジェクトを特定するための識別子である。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ（構造種別や建具種別）、面積、材質、製品情報、コストである。
The object ID is an identifier for specifying the object.
The object name is the name of this object.
The type, area, material, product information, and cost are the type (structure type and joinery type), area, material, product information, and cost of this object.
ロケーション情報には、このオブジェクトが配置される場所（工区）を特定する識別子に関するデータが記録される。工区とは、建設物の建設工事を段階的に進めていく上で、建設物に複数ある住戸（室）を空間的（隣接した住戸）及び時間的（作業時間）にまとめたグループであり、例えば、建設物の各階や階の一部の住戸といった工区が決められる。 In the location information, data relating to an identifier for specifying a place (a work area) where this object is placed is recorded. A work zone is a group that summarizes multiple dwelling units (rooms) in a building in terms of space (adjacent dwelling units) and time (working time) when proceeding with the construction work of the building in stages. For example, a work zone such as each floor of a building or a part of a floor of a floor is determined.
特徴点情報記憶部２３には、移動体ユニット１１の所在位置（撮影位置）を特定するための建設現場における特徴点に関する情報が記憶されている。この特徴点情報は、建設中の建築物の内部から撮影した際に画像の特徴となる部分に関する情報である。特徴点情報には、特徴点識別子、この特徴点を特定する画像の特徴量、この特徴点の位置（ｘｙｚ座標）が含まれている。 The feature point information storage unit 23 stores information on feature points at the construction site for specifying the location (imaging position) of the mobile unit 11. This feature point information is information related to a portion that is a feature of an image when taken from the inside of a building under construction. The feature point information includes a feature point identifier, a feature amount of an image that specifies the feature point, and a position (xyz coordinate) of the feature point.
禁止区域情報記憶部２４には、撮影禁止区域を判定するための禁止区域情報が記録されている。この禁止区域情報は、後述する管理処理の実行前に予め登録される。禁止区域情報は、禁止区域についての禁止区域識別子、区域名、位置（座標）に関するデータを含んで構成されている。撮影禁止区域とは、例えば、作業者が使用するトイレ等である。 The prohibited area information storage unit 24 stores prohibited area information for determining a prohibited area for photographing. This prohibited area information is registered in advance before execution of a management process described later. The prohibited area information includes data related to the prohibited area identifier, area name, and position (coordinates) regarding the prohibited area. The photographing prohibited area is, for example, a toilet used by an operator.
被写体情報記憶部２５には、被写体の特定や被写体の状態の判定に用いる情報が記憶されている。これら情報は、後述する管理処理の実行前に予め登録される。
具体的には、図３（ａ）に示すように、被写体情報記憶部２５には、学習済み分類モデル２５１、教師データ２５２及び個体認識データ２５５が記憶されている。
The subject information storage unit 25 stores information used for specifying the subject and determining the state of the subject. These pieces of information are registered in advance before execution of management processing described later.
Specifically, as illustrated in FIG. 3A, the subject information storage unit 25 stores a learned classification model 251, teacher data 252, and individual recognition data 255.
学習済み分類モデル２５１には、教師データ２５２を用いて、管理対象及び状態を特定するためのディープラーニングにより生成した分類モデルが記録される。この学習済み分類モデル２５１は、管理対象識別子及び状態識別子に関連付けられている。 In the learned classification model 251, a classification model generated by deep learning for specifying a management target and a state using the teacher data 252 is recorded. The learned classification model 251 is associated with the management target identifier and the state identifier.
管理対象識別子データ領域には、物の種類を特定するための識別子（ここでは名称）に関するデータが記録される。ここで、物の種類とは、建築に用いられる建築要素（例えば、建築材料や納まり等）や材料、建設現場で用いられる機器（例えば、溶接機やポンプ等）等である。 In the management object identifier data area, data relating to an identifier (here, a name) for specifying the type of an object is recorded. Here, the kind of an object is a building element (for example, building material or accommodation) or material used for construction, or a device (for example, a welding machine or a pump) used at a construction site.
状態識別子データ領域には、管理対象識別子によって特定される被写体の状態を特定するための識別子が記録されている。例えば、被写体が溶接機である場合、使用中、又は停止中等を示す識別子が記録されている。 An identifier for specifying the state of the subject specified by the management target identifier is recorded in the state identifier data area. For example, when the subject is a welder, an identifier indicating use or stop is recorded.
教師データ２５２は、ディープラーニングの学習済み分類モデルを算出するために用いられる教師データである。教師データ２５２は、出力層として用いる管理対象識別子、状態識別子、入力層として用いる学習用画像に関するデータを含んで構成される。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象（物）の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。
The teacher data 252 is teacher data used to calculate a deep learning learned classification model. The teacher data 252 includes data relating to a management target identifier used as an output layer, a state identifier, and a learning image used as an input layer.
In the management object identifier data area and the state identifier data area, data relating to an identifier for identifying the type of the management object (thing) and an identifier for identifying the state of the management object are recorded.
個体認識データ２５５は、被写体を、同種の物（建築要素や機器）と識別するために個体を認識するために用いるデータである。個体認識データ２５５は、管理対象識別子、個体識別子、個体特定情報に関するデータを含んで構成されている。 The individual recognition data 255 is data used for recognizing an individual in order to identify the subject as the same kind of object (building element or equipment). The individual recognition data 255 includes data related to a management target identifier, an individual identifier, and individual identification information.
管理対象識別子データ領域には、この管理対象の物の種類（例えば、溶接機やポンプ等）を特定するための識別子に関するデータが記録される。
個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。
In the management object identifier data area, data relating to an identifier for specifying the type of an object to be managed (for example, a welder or a pump) is recorded.
In the individual identifier data area, data relating to an identifier for specifying each management target is recorded.
個体特定情報データ領域には、画像において、この管理対象を、同じ物の中で他の個体と区別するための情報が記録されている。この個体特定情報は、例えば、この管理対象に付与した色付マーカの色や管理対象における位置等に関する情報である。 In the individual identification information data area, information for distinguishing this management target from other individuals in the same object is recorded in the image. This individual specifying information is, for example, information on the color of the colored marker assigned to the management target, the position in the management target, and the like.
図３（ｂ）に示すように、動画情報記憶部２６には、移動体ユニット１１において撮影された動画に関する動画管理情報２６０が記憶される。この動画管理情報２６０は、動画識別子、動画、撮影装置識別情報、撮影日時、撮影位置、撮影方向に関するデータから構成されている。 As shown in FIG. 3B, the moving image information storage unit 26 stores moving image management information 260 related to moving images taken by the mobile unit 11. This moving image management information 260 is composed of data relating to a moving image identifier, a moving image, shooting device identification information, shooting date and time, shooting position, and shooting direction.
動画識別子データ領域には、各動画を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット１１において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置（移動体ユニット１１）、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。
Data relating to an identifier for identifying each moving image is recorded in the moving image identifier data area.
In the moving image data area, moving images shot by the mobile unit 11 are recorded.
In the photographing device identification information data area, the photographing date / time data area, the photographing position data area, and the photographing direction data area, the device (moving body unit 11) that photographed the moving image, the photographing date / time, the photographing position, and the photographing direction, respectively. Data about is recorded.
図３（ｃ）に示すように、インデックス情報記憶部２７は、画像を検索するために用いるインデックス情報が記憶されている。このインデックス情報２７０は、後述するインデクシング処理が実行された場合に記録される。インデックス情報２７０は、インデックス識別子、動画識別子、開始時間、終了時間、被写体識別情報、撮影箇所、状態に関するデータを含んで構成される。 As shown in FIG. 3C, the index information storage unit 27 stores index information used for searching for images. This index information 270 is recorded when an indexing process described later is executed. The index information 270 includes data relating to an index identifier, a moving image identifier, a start time, an end time, subject identification information, a shooting location, and a state.
インデックス識別子データ領域には、特定の画像を検索するためのインデックスを特定するための識別子に関するデータが記録される。
動画識別子データ領域には、この建設現場で撮影された動画を特定するための識別子に関するデータが記録される。この動画識別子を介して、動画管理情報２６０とインデックス情報２７０とが関連付けられる。
In the index identifier data area, data relating to an identifier for specifying an index for searching for a specific image is recorded.
In the moving image identifier data area, data relating to an identifier for specifying a moving image taken at the construction site is recorded. The moving image management information 260 and the index information 270 are associated with each other through the moving image identifier.
開始時間データ領域、終了時間データ領域には、動画において、このインデックスが付与された期間の開始時間、終了時間に関するデータが記録される。
被写体識別情報データ領域には、このインデックスが付与された画像に含まれる被写体を特定する識別子に関するデータが記録される。ここでは、被写体識別情報として、管理対象識別子、被写体個体情報（オブジェクトＩＤや個体識別子）が記録される。
In the start time data area and the end time data area, data relating to the start time and end time of the period to which the index is assigned is recorded in the moving image.
In the subject identification information data area, data relating to an identifier for identifying a subject included in the image to which this index is assigned is recorded. Here, a management target identifier and subject individual information (object ID and individual identifier) are recorded as subject identification information.
撮影箇所データ領域には、この動画を撮影した建設現場の位置に関するデータが記録される。本実施形態では、このインデックス情報２７０の開始時間に対応するフレームの撮影箇所（撮影位置）に関するデータを記録する。
状態データ領域には、この被写体の状態に関するデータが記録される。
Data relating to the position of the construction site where the moving image is taken is recorded in the shooting location data area. In the present embodiment, data related to the shooting location (shooting position) of the frame corresponding to the start time of the index information 270 is recorded.
Data relating to the state of the subject is recorded in the state data area.
（インデクシング処理）
次に、図４を用いて、以上のように構成された管理システム１０を用いたインデクシング処理について説明する。
(Indexing process)
Next, an indexing process using the management system 10 configured as described above will be described with reference to FIG.
建設現場において作業を開始する際には、作業者はヘルメットＨ１に装着された移動体ユニット１１を起動する。この場合、移動体ユニット１１の制御部１４は、撮影部１２において動画の撮影を開始し、メモリに記録する。この場合、メモリには、動画に関連付けて動画識別子及び撮影日時が記録される。そして、制御部１４は、送信部１３を介して、撮影装置識別情報とともに、メモリに記録された動画を、所定容量毎に管理サーバ２０に送信する。 When starting work at the construction site, the worker activates the mobile unit 11 attached to the helmet H1. In this case, the control unit 14 of the mobile unit 11 starts shooting a moving image in the shooting unit 12 and records it in the memory. In this case, the moving image identifier and the shooting date and time are recorded in the memory in association with the moving image. And the control part 14 transmits the moving image recorded on memory with the imaging device identification information to the management server 20 for every predetermined capacity via the transmission part 13. FIG.
管理サーバ２０の制御部２１は、移動体ユニット１１からの動画の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の管理部２１１は、移動体ユニット１１から、撮影装置識別情報とともに、所定容量の動画を受信する。そして、管理部２１１は、受信した動画、動画識別子、撮影日時及び撮影装置識別情報を含む動画管理情報２６０を生成して、動画情報記憶部２６に記録する。 The control part 21 of the management server 20 performs the acquisition process of the moving image from the mobile body unit 11 (step S1-1). Specifically, the management unit 211 of the control unit 21 receives a moving image having a predetermined capacity from the mobile unit 11 together with the imaging device identification information. And the management part 211 produces | generates the moving image management information 260 containing the received moving image, a moving image identifier, imaging | photography date, and imaging device identification information, and records it on the moving image information storage part 26. FIG.
次に、管理サーバ２０の制御部２１は、位置推定処理を実行する（ステップＳ１−２）。具体的には、制御部２１の位置特定部２１２は、直近の位置の特定で用いた特徴点のうち今回のフレーム内に写る可能性がある特徴点を、候補特徴点として特定する。ここでは、位置特定部２１２は、複数のフレーム情報を用いて、作業者の移動方向、移動速度を予測し、この移動方向、移動速度に基づいて、候補特徴点を特定する。そして、位置特定部２１２は、今回のフレーム（画像）内において、候補特徴点の特徴量と一致する特徴点を検索する。一致する特徴点を特定した場合には、特定した特徴点の位置（ｘｙｚ座標）を用いて、撮影位置及び撮影角度を特定し、動画管理情報２６０に記録する。位置特定部２１２は、これら撮影位置及び撮影角度と画像とから撮影範囲（撮影視野）を特定する。 Next, the control part 21 of the management server 20 performs a position estimation process (step S1-2). Specifically, the position specifying unit 212 of the control unit 21 specifies, as candidate feature points, feature points that may appear in the current frame among the feature points used in specifying the latest position. Here, the position specifying unit 212 predicts the moving direction and moving speed of the worker using a plurality of pieces of frame information, and specifies candidate feature points based on the moving direction and moving speed. Then, the position specifying unit 212 searches for a feature point that matches the feature amount of the candidate feature point in the current frame (image). When a matching feature point is specified, the shooting position and shooting angle are specified using the position (xyz coordinates) of the specified feature point, and recorded in the moving image management information 260. The position specifying unit 212 specifies a shooting range (shooting field of view) from these shooting positions, shooting angles, and images.
次に、管理サーバ２０の制御部２１は、撮影禁止区域かどうかの判定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の管理部２１１は、推定した撮影位置と、禁止区域情報記憶部２４の禁止区域情報の位置（座標）とを比較し、禁止区域に撮影位置が含まれているか否かを判定する。 Next, the control unit 21 of the management server 20 executes a determination process as to whether or not it is a photographing prohibited area (step S1-3). Specifically, the management unit 211 of the control unit 21 compares the estimated shooting position with the position (coordinates) of the prohibited area information in the prohibited area information storage unit 24, and whether the prohibited area includes a shooting position. Determine whether or not.
撮影位置が撮影禁止区域内と判定した場合（ステップＳ１−３において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、移動体ユニット１１から取得した動画を削除する。そして、制御部２１は、次の動画の受信を待機する。 When it is determined that the shooting position is within the shooting prohibited area (“YES” in step S1-3), the control unit 21 of the management server 20 deletes the moving image acquired from the mobile unit 11. Then, the control unit 21 waits for reception of the next moving image.
一方、撮影位置が撮影禁止区域外と判定した場合（ステップＳ１−３において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、被写体認識処理を実行する（ステップＳ１−４）。ここで、制御部２１の被写体特定部２１３は、フレームに含まれる被写体（物）の被写体識別情報（管理対象識別子、被写体の個体情報（オブジェクトＩＤや個体識別子））や被写体の所在位置等を特定する。この被写体認識処理の詳細については、後述する。 On the other hand, when it is determined that the shooting position is outside the shooting prohibited area (“NO” in step S1-3), the control unit 21 of the management server 20 executes subject recognition processing (step S1-4). Here, the subject specifying unit 213 of the control unit 21 specifies subject identification information (management object identifier, individual information of the subject (object ID or individual identifier)) of the subject (object) included in the frame, the location of the subject, and the like. To do. Details of the subject recognition processing will be described later.
次に、管理サーバ２０の制御部２１は、前フレームからの変化の有無を判定する（ステップＳ１−５）。具体的には、制御部２１のインデクシング部２１４は、メモリに記憶している前フレームに関連付けられた被写体識別情報と、今回のフレームに関連付けられた被写体識別情報とが一致していない場合には、前フレームからの変化があると判定する。なお、現場作業開始時の最初のフレームの場合には、前フレームがないため、「前フレームからの変化がある」と判定する。 Next, the control unit 21 of the management server 20 determines whether or not there is a change from the previous frame (step S1-5). Specifically, the indexing unit 214 of the control unit 21 determines that the subject identification information associated with the previous frame stored in the memory does not match the subject identification information associated with the current frame. It is determined that there is a change from the previous frame. In the case of the first frame at the start of field work, since there is no previous frame, it is determined that “there is a change from the previous frame”.
ここで、前フレームからの変化があると判定した場合（ステップＳ１−５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、インデックスの追加処理を実行する（ステップＳ１−６）。具体的には、制御部２１のインデクシング部２１４は、前フレームで検知していていなかった被写体（物）を検知したと判定した場合、新たなインデックス識別子を付与し、このインデックス識別子を含むインデックス情報２７０を生成して、インデックス情報記憶部２７に記録する。このインデックス情報２７０には、今回のフレームの動画識別子、この画像の開始時間及び撮影位置が含まれる。更に、インデクシング部２１４は、このインデックス情報２７０に、ステップＳ１−４において特定した被写体識別情報や被写体の状態を記録する。なお、最初のフレームの場合には、新たに検知したすべての被写体（物）についてインデックス情報２７０を生成する。
一方、インデクシング部２１４は、前フレームで検知していた被写体（物）が消失したと判定した場合、前フレームに関連付けられているインデックス情報２７０に、前フレームの撮影日時を終了時間として記録する。なお、撮影を終了した場合は、すべてのインデックス情報２７０に、終了時間を記録する。
If it is determined that there is a change from the previous frame (“YES” in step S1-5), the control unit 21 of the management server 20 executes an index addition process (step S1-6). Specifically, when the indexing unit 214 of the control unit 21 determines that a subject (object) that has not been detected in the previous frame has been detected, a new index identifier is assigned, and index information including this index identifier is included. 270 is generated and recorded in the index information storage unit 27. The index information 270 includes the moving image identifier of the current frame, the start time of the image, and the shooting position. Further, the indexing unit 214 records the subject identification information identified in step S1-4 and the state of the subject in the index information 270. In the case of the first frame, index information 270 is generated for all newly detected subjects (objects).
On the other hand, when it is determined that the subject (object) detected in the previous frame has disappeared, the indexing unit 214 records the shooting date and time of the previous frame as the end time in the index information 270 associated with the previous frame. Note that when shooting is ended, the end time is recorded in all index information 270.
例えば、図６（ａ）に示す画像５００を撮影し、その後、カメラを右方向に回転しながら、図６（ｂ）に示す画像５１０を撮影した場合を想定する。ここで画像５００には、被写体として、出入口５０１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７が含まれる。画像５１０には、画像５００において特定された被写体（物）に加えて、出入口５１１が被写体として特定されたと想定する。この場合、画像５００に被写体として認識されていなかった出入口５１１についてのインデックス情報２７０が、画像５１０の撮影日時に関連付けられて新たに記録される。
一方、前フレームからの変化がないと判定した場合（ステップＳ１−５において「ＮＯ」の場合）、管理サーバ２０の制御部２１は、ステップＳ１−６の処理をスキップする。
For example, it is assumed that an image 500 shown in FIG. 6A is taken, and then an image 510 shown in FIG. 6B is taken while rotating the camera in the right direction. Here, the image 500 includes an entrance / exit 501, walls 502 and 503, a floor 504, a ceiling 505, and beams 506 and 507 as subjects. In the image 510, it is assumed that the entrance / exit 511 is specified as a subject in addition to the subject (object) specified in the image 500. In this case, the index information 270 for the entrance / exit 511 that has not been recognized as a subject in the image 500 is newly recorded in association with the shooting date / time of the image 510.
On the other hand, when it is determined that there is no change from the previous frame (in the case of “NO” in step S1-5), the control unit 21 of the management server 20 skips the process of step S1-6.
そして、管理サーバ２０の制御部２１は、現場から退場したかどうかの判定処理を実行する（ステップＳ１−７）。作業者が、現場から退場する場合には、移動体ユニット１１に対して退場入力を行なう。この場合、移動体ユニット１１の制御部１４は、現場から退場と判定し、退場情報を管理サーバ２０に送信する。退場情報を受信せず、現場から退場していないと判定した場合（ステップＳ１−７において「ＮＯ」の場合）には、管理サーバ２０の制御部２１は、ステップＳ１−１以降の処理を継続する。
一方、退場情報を受信し、退場と判定した場合（ステップＳ１−７において「ＹＥＳ」の場合）には、制御部２１の管理部２１１は、管理処理を終了する。
And the control part 21 of the management server 20 performs the determination process of whether it left the field (step S1-7). When the worker leaves the site, the exit is input to the mobile unit 11. In this case, the control unit 14 of the mobile unit 11 determines to leave the site, and sends the exit information to the management server 20. When it is determined that the exit information is not received and the exit from the site is not made (in the case of “NO” in step S1-7), the control unit 21 of the management server 20 continues the processing from step S1-1. To do.
On the other hand, if the exit information is received and it is determined that the exit has occurred ("YES" in step S1-7), the management unit 211 of the control unit 21 ends the management process.
（被写体認識処理）
次に、図５を用いて、上述した被写体認識処理（ステップＳ１−４）について説明する。
(Subject recognition processing)
Next, the above-described subject recognition process (step S1-4) will be described with reference to FIG.
まず、管理サーバ２０の制御部２１は、撮影画像について領域分割処理を実行する（ステップＳ２−１）。具体的には、制御部２１の被写体特定部２１３は、公知の方法を用いて、撮影した動画の各フレーム（画像）に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。 First, the control unit 21 of the management server 20 executes region division processing on the captured image (step S2-1). Specifically, the subject specifying unit 213 of the control unit 21 divides a plurality of regions included in each frame (image) of the captured moving image using a known method. For example, the region division is performed using the edge included in the photographed image, the hue information or the saturation information of the pixel.
そして、管理サーバ２０の制御部２１は、各分割領域を順次、処理対象として特定し、次の処理を繰り返す。
管理サーバ２０の制御部２１は、管理対象及び状態の予測処理を実行する（ステップＳ２−２）。具体的には、制御部２１の被写体特定部２１３は、各分割領域の画像を入力値とし、被写体情報記憶部２５に記憶された学習済み分類モデル２５１を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。
And the control part 21 of the management server 20 specifies each division area as a process target sequentially, and repeats the next process.
The control unit 21 of the management server 20 executes management target and state prediction processing (step S2-2). Specifically, the subject specifying unit 213 of the control unit 21 uses the image of each divided region as an input value, and uses the learned classification model 251 stored in the subject information storage unit 25 to manage objects and states or materials. Is calculated. Here, although the management target and state cannot be specified by deep learning, such as a pillar, a wall, and a floor, if the material can be specified, the material is specified.
次に、管理サーバ２０の制御部２１は、各被写体（各管理対象）を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、まず、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理を実行する（ステップＳ２−３）。具体的には、制御部２１の被写体特定部２１３は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部２１のメモリに記録する。そして、制御部２１の被写体特定部２１３は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部２２に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトＩＤを特定して、制御部２１のメモリに記録する。
Next, the control unit 21 of the management server 20 sequentially identifies each subject (each management target) as a processing target, and repeats the following processing.
Here, first, the control unit 21 of the management server 20 executes a location position and individual information specifying process (step S2-3). Specifically, the subject specifying unit 213 of the control unit 21 specifies the location of the subject of the image using the shooting position and shooting direction of the image, and records it in the memory of the control unit 21. Then, the subject specifying unit 213 of the control unit 21 performs a determination process as to whether or not an object corresponding to the subject management target identifier is recorded in the architectural general information storage unit 22 at the location of the subject. Here, when the corresponding object is recorded, the object ID of this object is specified and recorded in the memory of the control unit 21.
一方、該当するオブジェクトが建築総合情報記憶部２２に記録されていない場合、制御部２１の被写体特定部２１３は、被写体の画像において、個体特定情報に対応する画像部分を検索する。画像部分に個体特定情報が含まれている場合、被写体特定部２１３は、個体特定情報が記録された個体認識データ２５５の個体識別子を特定して、制御部２１のメモリに記録する。 On the other hand, when the corresponding object is not recorded in the building general information storage unit 22, the subject specifying unit 213 of the control unit 21 searches the image of the subject for an image portion corresponding to the individual specifying information. When the individual specifying information is included in the image part, the subject specifying unit 213 specifies the individual identifier of the individual recognition data 255 in which the individual specifying information is recorded, and records it in the memory of the control unit 21.
図６（ａ）に示す画像５００を取得した場合を想定する。この場合、制御部２１は、画像中の輪郭線に基づいて複数の分割領域を生成する。そして、各分割領域の画像において、ディープラーニングによって、管理対象及び状態、又は領域内の物体の材料を特定する。更に、この物体の材料と、画像の撮影位置及び撮影方向とを用いて特定した所在位置と、建築総合情報記憶部２２に記録されたオブジェクトとを用いて、出入口５０１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７を特定する。また、図６（ｂ）に示す画像５１０を取得した場合には、制御部２１は、同様にして、出入口５０１，５１１、壁５０２，５０３、床５０４、天井５０５、梁５０６，５０７を特定する。 Assume that the image 500 shown in FIG. In this case, the control unit 21 generates a plurality of divided regions based on the contour lines in the image. Then, in the image of each divided region, the management target and state, or the material of the object in the region is specified by deep learning. Further, using the material of the object, the location position specified using the imaging position and the imaging direction of the image, and the object recorded in the general building information storage unit 22, the entrance / exit 501, walls 502 and 503, floor 504, ceiling 505, beams 506 and 507 are specified. In addition, when the image 510 illustrated in FIG. 6B is acquired, the control unit 21 similarly specifies the entrances 501 and 511, the walls 502 and 503, the floor 504, the ceiling 505, and the beams 506 and 507. .
（画像検索処理）
次に、図７を用いて、画像を検索する処理について説明する。例えば、建設していた建築物が出来上がった後、特定の箇所（例えば、特定のエリア等）の建設中の画像を検索する場合を想定する。
(Image search processing)
Next, processing for searching for an image will be described with reference to FIG. For example, it is assumed that after a building that has been constructed is completed, an image under construction of a specific location (for example, a specific area) is searched.
まず、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報の取得処理を実行する（ステップＳ３−１）。具体的には、制御部２１の管理部２１１は、表示部１７のディスプレイに、検索画面を表示する。この検索画面には、検索を行なう被写体情報を入力する入力欄及び検索実行ボタンが含まれている。ここで、被写体情報として、被写体の所在位置、被写体識別情報（管理対象識別子、オブジェクトＩＤ、個体識別子）、被写体の状態、時間（撮影時期）を用いることができる。例えば、作業者は、入力部１６を用いて、被写体識別情報、撮影箇所及び撮影時期に関する情報を、検索画面の入力欄に入力し、検索実行ボタンを選択する。 First, the control unit 21 of the management server 20 executes subject information acquisition processing included in the image to be searched (step S3-1). Specifically, the management unit 211 of the control unit 21 displays a search screen on the display of the display unit 17. This search screen includes an input field for inputting subject information to be searched and a search execution button. Here, the subject location, subject identification information (management object identifier, object ID, individual identifier), subject state, and time (shooting time) can be used as subject information. For example, the worker uses the input unit 16 to input subject identification information, information about the shooting location and shooting time into the input field of the search screen, and selects a search execution button.
管理サーバ２０の制御部２１は、検索実行処理を実行する（ステップＳ３−２）。具体的には、制御部２１の管理部２１１は、取得した被写体識別情報がオブジェクトＩＤ又は個体識別子の場合には、これに一致するオブジェクトＩＤ又は個体識別子を含むインデックス情報２７０をインデックス情報記憶部２７において検索する。また、管理部２１１は、取得した被写体識別情報と撮影箇所とを取得した場合には、これらを含むインデックス情報２７０をインデックス情報記憶部２７において検索する。 The control unit 21 of the management server 20 executes search execution processing (step S3-2). Specifically, when the acquired subject identification information is an object ID or an individual identifier, the management unit 211 of the control unit 21 displays index information 270 including an object ID or individual identifier that matches the acquired object identification information as an index information storage unit 27. Search in. Further, when the acquired subject identification information and shooting location are acquired, the management unit 211 searches the index information storage unit 27 for index information 270 including these.
そして、該当するインデックス情報２７０を抽出した場合、制御部２１の管理部２１１は、抽出したインデックス情報２７０の動画識別子によって特定される動画を、動画情報記憶部２６において特定する。そして、管理部２１１は、特定した動画から、インデックス情報２７０の開始時間及び終了時間に対応する画像（検索結果動画）を抽出する。 When the corresponding index information 270 is extracted, the management unit 211 of the control unit 21 specifies the moving image specified by the moving image identifier of the extracted index information 270 in the moving image information storage unit 26. And the management part 211 extracts the image (search result moving image) corresponding to the start time and end time of the index information 270 from the identified moving image.
そして、管理サーバ２０の制御部２１は、検索結果動画の出力処理を実行する（ステップＳ３−３）。具体的には、制御部２１の管理部２１１は、抽出した検索結果動画を、表示部１７のディスプレイに表示する。 And the control part 21 of the management server 20 performs the output process of a search result moving image (step S3-3). Specifically, the management unit 211 of the control unit 21 displays the extracted search result moving image on the display of the display unit 17.
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、被写体識別情報と撮影箇所及び時間を含むインデックス情報記憶部２７を備える。これにより、制御部２１は、インデックス情報を用いて、所望の被写体が含まれる画像を効率的に特定して出力することができる。この場合、撮影箇所や撮影時刻等を用いて、画像を検索することができる。
According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the management server 20 includes an index information storage unit 27 that includes subject identification information, a shooting location, and time. Accordingly, the control unit 21 can efficiently identify and output an image including a desired subject using the index information. In this case, an image can be searched using the shooting location, shooting time, and the like.
（２）本実施形態では、管理サーバ２０の制御部２１は、所在位置及び個体情報の特定処理（ステップＳ２−３）において、被写体の管理対象識別子及び所在位置から、建築総合情報記憶部２２に記録されているオブジェクトＩＤを特定する。制御部２１は、インデックスの追加処理（ステップＳ１−６）において、特定したオブジェクトＩＤを、インデックス情報２７０の被写体識別情報として記録する。これにより、オブジェクトＩＤから、所望の被写体を含む画像を効率的に特定することができる。 (2) In this embodiment, the control unit 21 of the management server 20 stores the subject management object identifier and the location in the building general information storage unit 22 in the location and individual information identification process (step S2-3). The recorded object ID is specified. The control unit 21 records the identified object ID as subject identification information of the index information 270 in the index addition process (step S1-6). Thus, an image including a desired subject can be efficiently identified from the object ID.
（３）本実施形態では、管理サーバ２０の制御部２１は、特定した被写体の状態を、インデックス情報２７０に含める。これにより、被写体の状態から、該当する被写体を含む画像を効率的に特定することができる。 (3) In the present embodiment, the control unit 21 of the management server 20 includes the identified subject state in the index information 270. As a result, an image including the subject can be efficiently identified from the state of the subject.
（４）本実施形態では、管理サーバ２０の制御部２１は、前フレームからの変化があると判定した場合（ステップＳ１−５において「ＹＥＳ」の場合）、管理サーバ２０の制御部２１は、インデックスの追加処理を実行する（ステップＳ１−６）。これにより、被写体の変化がある場合に新たなインデックス情報を追加するので、画像に対して、被写体の識別情報等のインデックス情報を効率的に関連付けることができる。 (4) In the present embodiment, when the control unit 21 of the management server 20 determines that there is a change from the previous frame (in the case of “YES” in step S1-5), the control unit 21 of the management server 20 An index addition process is executed (step S1-6). Thus, new index information is added when there is a change in the subject, so that index information such as subject identification information can be efficiently associated with the image.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、管理サーバ２０の制御部２１は、ｖ−ＳＬＡＭを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、ｖ−ＳＬＡＭを用いた処理に限定されるものではない。例えば、ＰＤＲ（Pedestrian Dead Reckoning）を用いてもよい。この場合には、移動体ユニット１１に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット１１に印加される加速度に関する加速度情報（加速度の方向、大きさ等）を、３軸方向で検出する。ジャイロセンサは、移動体ユニット１１に印加される角速度に関する角速度情報（角速度の方向、大きさ等）を、３軸方向で検出する。そして、送信部１３は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ２０に送信する。
Moreover, you may change the said embodiment as follows.
In the above embodiment, the control unit 21 of the management server 20 specifies the image capturing position and angle using v-SLAM. The specification of the image shooting position and angle is not limited to processing using v-SLAM. For example, PDR (Pedestrian Dead Reckoning) may be used. In this case, the mobile unit 11 is provided with an acceleration sensor, a gyro sensor, or the like. Acceleration information (acceleration direction, magnitude, etc.) relating to acceleration applied to the acceleration sensor and the mobile unit 11 is detected in three-axis directions. The gyro sensor detects angular velocity information (angular velocity direction, magnitude, and the like) related to the angular velocity applied to the mobile unit 11 in three axis directions. And the transmission part 13 transmits the detected value of the acceleration sensor and gyro sensor at the time of imaging | photography to the management server 20 with an image.
・上記実施形態においては、管理サーバ２０の制御部２１が、位置推定処理（ステップＳ１−２）及び撮影禁止区域の判定処理（ステップＳ１−３）を実行した。これら処理を、移動体ユニット１１において実行してもよい。この場合、移動体ユニット１１の制御部１４が、撮影禁止区域と判定した場合、撮影を停止してもよい。具体的には、制御部１４が、撮影禁止区域と判定した場合、所定期間、撮影を停止する。 In the above embodiment, the control unit 21 of the management server 20 executes the position estimation process (step S1-2) and the photographing prohibited area determination process (step S1-3). These processes may be executed in the mobile unit 11. In this case, when the control unit 14 of the mobile unit 11 determines that the shooting is prohibited, shooting may be stopped. Specifically, when the control unit 14 determines that it is a shooting prohibited area, shooting is stopped for a predetermined period.
また、撮影禁止区域であることを知らせるアラームを出力してもよい。このアラームにより、作業者が撮影を停止する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット１１の制御部１４は、画像の撮影や、管理サーバ２０への画像の送信を再開する。
また、移動体ユニット１１に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材（例えば、レンズカバー）を設けてもよい。そして、制御部１４は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。
In addition, an alarm may be output that informs that it is a photographing prohibited area. This alarm causes the operator to stop shooting.
Then, when it is determined in the position estimation process that the shooting prohibited area has been left, the control unit 14 of the mobile unit 11 resumes image shooting and image transmission to the management server 20.
In addition, the moving body unit 11 may be provided with a cover member (for example, a lens cover) that opens and closes an opening for taking light into the photographing apparatus in the photographing apparatus. When the control unit 14 determines that it has arrived at the photographing prohibited area, the control unit 14 moves the cover to shield the opening.
・上記実施形態においては、溶接機やポンプ等、建設現場で用いる移動可能な機器を、被写体（管理対象）として説明した。被写体は、このような機器に限定されるものではない。例えば、高所作業車や足場等や、資材にも適用できる。 In the above-described embodiment, the movable equipment used at the construction site such as a welder and a pump has been described as a subject (management target). The subject is not limited to such a device. For example, the present invention can be applied to an aerial work vehicle, a scaffold, and the like.
・上記実施形態においては、管理サーバ２０の制御部２１は、検索を行なう被写体情報の被写体識別情報を含むインデックス情報２７０の動画識別子を特定し、この動画識別子に対応する動画を出力した。これに加えて、本来、その画像に映るべき被写体が映っていない画像や、画像に映るべきでない被写体が映っている画像を出力するようにしてもよい。具体的には、管理サーバ２０の制御部２１は、被写体認識処理（ステップＳ１−４）の前に、被写体予測処理を実行する。この予定被写体処理においては、制御部２１は、建築総合情報記憶部２２に記録された建築総合情報を用いて、現在の現場工事の進捗に応じて、ステップＳ１−２において特定した撮影範囲（撮影視野）で視認可能と予測される部材のオブジェクトＩＤを特定する。そして、制御部２１は、被写体認識処理（ステップＳ１−４）において特定した被写体のオブジェクトＩＤと、被写体予測処理において特定したオブジェクトＩＤとを比較する。被写体予測処理において特定したオブジェクトＩＤと、被写体認識処理において特定した被写体のオブジェクトＩＤと異なるオブジェクトＩＤを検出した場合には、制御部２１は、警告通知を表示部１７に表示する。 In the above embodiment, the control unit 21 of the management server 20 specifies the moving image identifier of the index information 270 including the subject identification information of the subject information to be searched, and outputs the moving image corresponding to the moving image identifier. In addition to this, an image that does not originally show the subject that should appear in the image, or an image that shows the subject that should not appear in the image may be output. Specifically, the control unit 21 of the management server 20 executes subject prediction processing before subject recognition processing (step S1-4). In this scheduled subject process, the control unit 21 uses the building comprehensive information recorded in the building comprehensive information storage unit 22 to determine the shooting range (shooting) specified in step S1-2 according to the progress of the current site construction. The object ID of the member that is predicted to be visible in the field of view) is specified. Then, the control unit 21 compares the object ID of the subject specified in the subject recognition process (step S1-4) with the object ID specified in the subject prediction process. When an object ID that is different from the object ID specified in the subject prediction process and the object ID of the subject specified in the subject recognition process is detected, the control unit 21 displays a warning notification on the display unit 17.
また、被写体予測処理において特定したオブジェクトＩＤと異なるオブジェクトＩＤを、インデックス情報２７０に、不一致被写体識別子として記録してもよい。この場合、検索画面の入力欄において、不一致被写体識別子が入力された場合、制御部２１は、この不一致被写体識別子を含むインデックス情報２７０の動画識別子に対応する動画を特定する。これにより、本来、予測した被写体と異なる被写体を含む画像を抽出することができる。 Further, an object ID different from the object ID specified in the subject prediction process may be recorded in the index information 270 as a mismatched subject identifier. In this case, when a mismatched subject identifier is input in the input field of the search screen, the control unit 21 specifies a movie corresponding to the movie identifier of the index information 270 including the mismatched subject identifier. Thereby, an image including a subject different from the originally predicted subject can be extracted.
・上記実施形態において、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報の取得処理、検索実行処理及び検索結果動画の出力処理を実行する（ステップＳ３−１〜Ｓ３−３）。これに代えて、例えば、マンションの一戸等、特定の場所空間（範囲）を撮影した画像を、インデックス情報２７０を用いて抽出してもよい。この場合、管理サーバ２０の制御部２１は、検索する画像に含まれる被写体情報として、この特定の場所空間を構成する部材のオブジェクトＩＤを、建築総合情報記憶部２２を用いて特定する。そして、制御部２１は、この空間を撮影箇所とするインデックス情報２７０と、特定したオブジェクトＩＤを被写体識別情報に含むインデックス情報２７０とを抽出する。 In the above embodiment, the control unit 21 of the management server 20 executes subject information acquisition processing, search execution processing, and search result video output processing included in the image to be searched (steps S3-1 to S3-3). . Instead of this, for example, an image obtained by photographing a specific place space (range) such as a house in an apartment may be extracted using the index information 270. In this case, the control unit 21 of the management server 20 specifies the object ID of a member constituting the specific place space as subject information included in the image to be searched using the general building information storage unit 22. Then, the control unit 21 extracts index information 270 that uses this space as a shooting location and index information 270 that includes the specified object ID in the subject identification information.
そして、制御部２１は、これらインデックス情報２７０に含まれる動画識別子に対応する動画を出力する。これにより、その場所に関連した被写体が含まれる動画を効率的に抽出することができる。 Then, the control unit 21 outputs a moving image corresponding to the moving image identifier included in the index information 270. Thereby, a moving image including a subject related to the place can be efficiently extracted.
・上記実施形態においては、管理サーバ２０の制御部２１は、インデックス情報２７０の撮影箇所は、撮影現場の位置に関するデータを記録した。インデックス情報２７０に含める撮影箇所は、画像において特定した被写体の所在位置であってもよい。また、撮影範囲を特定する情報を用いることも可能である。これらの場合には、被写体の個体情報（オブジェクトＩＤ）が特定できない場合においても、被写体の管理対象識別子とともに、所在位置又は撮影範囲を用いて、場所に応じた被写体を含む画像を特定することができる。 In the above embodiment, the control unit 21 of the management server 20 records data related to the position of the shooting site as the shooting location of the index information 270. The shooting location included in the index information 270 may be the location of the subject specified in the image. It is also possible to use information for specifying the shooting range. In these cases, even when the individual information (object ID) of the subject cannot be specified, an image including the subject corresponding to the location may be specified using the location or shooting range together with the subject management target identifier. it can.
・上記実施形態の管理対象及び状態の予測処理（ステップＳ２−２）においては、管理サーバ２０の制御部２１は、画像を用いて使用状態を特定した。使用状態の特定方法は、画像を用いる場合に限らない。例えば、動画に含まれている音等のように、画像に付随する情報を用いて、被写体の状態を判定することも可能である。この場合、制御部２１は、管理対象の使用時に発生する音を、ディープラーニングを使用して判定する。この場合には、発生音の周波数特性を用いて、管理対象の状態を学習する。 In the management target and state prediction process (step S2-2) of the above embodiment, the control unit 21 of the management server 20 specifies the use state using an image. The method of specifying the usage state is not limited to using an image. For example, it is possible to determine the state of the subject using information accompanying the image, such as a sound included in a moving image. In this case, the control unit 21 determines a sound generated when the management target is used by using deep learning. In this case, the management target state is learned using the frequency characteristics of the generated sound.
・上記実施形態の被写体認識処理において、制御部２１の被写体特定部２１３は、撮影画像について領域分割処理（ステップＳ２−１）を実行し、この分割領域毎に、管理対象及び状態の予測処理（ステップＳ２−２）を実行した。管理対象及び状態の予測処理は、領域分割毎に行なう場合に限らず、物体検出による領域抽出によって行ってもよい。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のＳＩＦＴ（Scale-Invariant Feature Transform）法等を用いて実行してもよい。
In the subject recognition processing of the above-described embodiment, the subject specifying unit 213 of the control unit 21 performs region division processing (step S2-1) on the captured image, and management target and state prediction processing (for each divided region) Step S2-2) was performed. The management target and state prediction process is not limited to each area division, but may be performed by area extraction by object detection.
Moreover, the management target and state prediction processing was executed using deep learning. The management target and state prediction processing may be performed using a known SIFT (Scale-Invariant Feature Transform) method or the like as long as it can be specified using an image.
・上記実施形態においては、制御部２１は、画像から撮影位置を特定した。画像の撮影位置を特定する撮影位置情報は、画像情報に限らず、例えば、全地球測位システム（ＧＰＳ：Global Positioning System）等の情報を用いてもよい。 In the above embodiment, the control unit 21 specifies the shooting position from the image. The shooting position information for specifying the shooting position of the image is not limited to the image information, and for example, information such as a global positioning system (GPS) may be used.
・上記実施形態においては、画像は、作業者のヘルメットＨ１に取り付けた移動体ユニット１１の撮影部１２において撮影した。検索する対象の画像を撮影する撮影装置は、移動して撮影する装置に限られず、固定された撮影装置であってもよい。 In the above embodiment, the image is taken by the imaging unit 12 of the moving body unit 11 attached to the worker's helmet H1. The imaging device that captures an image to be searched is not limited to a device that moves and captures images, but may be a fixed imaging device.
・上記実施形態においては、管理サーバ２０の制御部２１は、撮影された動画を検索した。検索対象の画像は、動画に限られず、所定の時間間隔で撮影した静止画であってもよい。 In the above embodiment, the control unit 21 of the management server 20 searches for a captured video. The search target image is not limited to a moving image, and may be a still image taken at a predetermined time interval.
・上記実施形態においては、建設工事の現場を撮影する動画において、管理対象の被写体を抽出する場合について説明した。撮影する動画は、工事現場に限られず、例えば、防犯カメラ等で撮影した動画等でもよい。ここでも、被写体の管理対象識別子と、被写体の所在位置、撮影時刻をインデックス情報として用いて抽出する。この場合、顔認識を行なって、被写体（顔）を含む画像を抽出することができる。
更に、顔認証により特定した顔が、既知の人物か否かの顔認証処理を行なってもよい。この場合、既知の人物の顔画像情報を登録しておく。そして、顔認識により特定した顔画像情報と、登録されている既知の人物の顔画像情報とを用いて、既知の人物と未知の人物とを識別する。これにより、顔認証できない未知の人物（顔画像が登録されていない人物）が含まれる画像を抽出することができる。
In the above-described embodiment, a case has been described in which a subject to be managed is extracted from a moving image capturing a construction site. The moving image to be photographed is not limited to the construction site, and may be, for example, a moving image photographed by a security camera or the like. In this case as well, the subject management target identifier, the location of the subject, and the shooting time are extracted as index information. In this case, face recognition can be performed to extract an image including the subject (face).
Furthermore, face authentication processing may be performed to determine whether or not the face identified by face authentication is a known person. In this case, face image information of a known person is registered. Then, the known person and the unknown person are identified using the face image information specified by the face recognition and the registered face image information of the known person. As a result, it is possible to extract an image including an unknown person who cannot perform face authentication (a person for which no face image is registered).
Ｈ１…ヘルメット、１０…管理システム、１１…移動体ユニット、１２…撮影部、１３…送信部、１４，２１…制御部、１６…入力部、１７…表示部、２０…管理サーバ、２２…建築総合情報記憶部、２３…特徴点情報記憶部、２４…禁止区域情報記憶部、２５…被写体情報記憶部、２６…動画情報記憶部、２７…インデックス情報記憶部、２１１…管理部、２１２…位置特定部、２１３…被写体特定部、２１４…インデクシング部、２５１…学習済み分類モデル、２５２…教師データ、２５５…個体認識データ、２６０…動画管理情報、２７０…インデックス情報、５００，５１０…画像、５０１，５１１…出入口、５０２，５０３…壁、５０４…床、５０５…天井、５０６，５０７…梁。 H1 ... Helmet, 10 ... Management system, 11 ... Mobile unit, 12 ... Shooting unit, 13 ... Transmission unit, 14, 21 ... Control unit, 16 ... Input unit, 17 ... Display unit, 20 ... Management server, 22 ... Architecture General information storage unit, 23 ... Feature point information storage unit, 24 ... Prohibited area information storage unit, 25 ... Subject information storage unit, 26 ... Movie information storage unit, 27 ... Index information storage unit, 211 ... Management unit, 212 ... Position Identifying unit, 213 ... Subject identifying unit, 214 ... Indexing unit, 251 ... Learned classification model, 252 ... Teacher data, 255 ... Individual recognition data, 260 ... Movie management information, 270 ... Index information, 500,510 ... Image, 501 , 511 ... gateway, 502, 503 ... wall, 504 ... floor, 505 ... ceiling, 506, 507 ... beam.
Claims (6)
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
画像を管理する制御部とを備えた管理システムであって、
前記制御部は、
前記画像、撮影位置情報、撮影時刻を取得して、前記画像情報記憶部に記録し、
前記画像に含まれる被写体について、前記画像の撮影位置情報を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記録された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理システム。 An image information storage unit for storing an image photographed by the photographing device;
An index information storage unit for storing index information associated with the image;
A management system including a control unit for managing images,
The controller is
Acquire the image, shooting position information, shooting time, and record in the image information storage unit,
For the subject included in the image, the location of the subject is identified using the shooting position information of the image,
The subject identifier of the subject, the location, and the shooting time are recorded as index information in the index information storage unit in association with the image recorded in the image information storage unit,
When an image search instruction is acquired, the index information corresponding to the search instruction is specified in the index information storage unit, and an image corresponding to the specified index information is extracted in the image information storage unit. Image management system.
前記制御部は、前時刻の画像に対して、画像に含まれる被写体が変化した場合に、その変化した撮影時刻に対して新たなインデックス情報を追加することを特徴とする請求項１に記載の画像管理システム。 The images are arranged in time series,
2. The control unit according to claim 1, wherein when the subject included in the image changes with respect to the image at the previous time, the control unit adds new index information to the changed shooting time. Image management system.
前記画像に基づいて、前記被写体の状態を特定し、
前記インデックス情報に、前記被写体の状態を含めることを特徴とする請求項１又は２に記載の画像管理システム。 The controller is
Based on the image, the state of the subject is identified,
The image management system according to claim 1, wherein the index information includes a state of the subject.
前記制御部は、
前記画像の撮影位置情報から撮影範囲を特定し、
前記撮影範囲と、前記建築総合情報とから、前記画像に含まれる被写体を予測し、
予測した被写体と、前記画像に含まれる被写体とが異なる画像を抽出することを特徴とする請求項１〜３の何れか１項に記載の画像管理システム。 It further includes a general building information storage unit that stores general building information related to the building under construction,
The controller is
Identify the shooting range from the shooting position information of the image,
Predict the subject included in the image from the shooting range and the architectural comprehensive information,
The image management system according to claim 1, wherein an image in which the predicted subject is different from the subject included in the image is extracted.
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理方法であって、
前記制御部は、
前記画像、撮影位置情報、撮影時刻を取得して、前記画像情報記憶部に記録し、
前記画像に含まれる被写体について、前記画像の撮影位置情報を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記録された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出することを特徴とする画像管理方法。 An image information storage unit for storing an image photographed by the photographing device;
An index information storage unit for storing index information associated with the image;
An image management method for managing an image using a management system including a control unit,
The controller is
Acquire the image, shooting position information, shooting time, and record in the image information storage unit,
For the subject included in the image, the location of the subject is identified using the shooting position information of the image,
The subject identifier of the subject, the location, and the shooting time are recorded as index information in the index information storage unit in association with the image recorded in the image information storage unit,
When an image search instruction is acquired, the index information corresponding to the search instruction is specified in the index information storage unit, and an image corresponding to the specified index information is extracted in the image information storage unit. Image management method.
前記画像に関連付けるインデックス情報を記憶するインデックス情報記憶部と、
制御部とを備えた管理システムを用いて、画像を管理する画像管理プログラムであって、
前記制御部を、
前記画像、撮影位置情報、撮影時刻を取得して、前記画像情報記憶部に記録し、
前記画像に含まれる被写体について、前記画像の撮影位置情報を用いて前記被写体の所在位置を特定し、
前記被写体の対象識別子と、前記所在位置と、前記撮影時刻とをインデックス情報として、前記画像情報記憶部に記録された画像に関連付けて前記インデックス情報記憶部に記録し、
画像の検索指示を取得した場合、前記検索指示に対応する前記インデックス情報を前記インデックス情報記憶部において特定し、特定したインデックス情報に対応する画像を前記画像情報記憶部において抽出する手段として機能させることを特徴とする画像管理プログラム。 An image information storage unit for storing an image photographed by the photographing device;
An index information storage unit for storing index information associated with the image;
An image management program for managing images using a management system including a control unit,
The control unit
Acquire the image, shooting position information, shooting time, and record in the image information storage unit,
For the subject included in the image, the location of the subject is identified using the shooting position information of the image,
The subject identifier of the subject, the location, and the shooting time are recorded as index information in the index information storage unit in association with the image recorded in the image information storage unit,
When an image search instruction is acquired, the index information corresponding to the search instruction is specified in the index information storage unit, and an image corresponding to the specified index information is extracted in the image information storage unit. An image management program characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007862A JP7095953B2 (en) | 2017-01-19 | 2017-01-19 | Image management system, image management method, and image management program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007862A JP7095953B2 (en) | 2017-01-19 | 2017-01-19 | Image management system, image management method, and image management program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018116572A true JP2018116572A (en) | 2018-07-26 |
| JP7095953B2 JP7095953B2 (en) | 2022-07-05 |
Family
ID=62985236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017007862A Active JP7095953B2 (en) | 2017-01-19 | 2017-01-19 | Image management system, image management method, and image management program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7095953B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020042528A (en) * | 2018-09-10 | 2020-03-19 | 公立大学法人岩手県立大学 | Object identification system, model learning system, object identification method, model learning method, and program |
| JP2021111209A (en) * | 2020-01-14 | 2021-08-02 | 株式会社梓設計 | Information display device, information display method, and program |
| JPWO2020138345A1 (en) * | 2018-12-27 | 2021-11-04 | 日本電気通信システム株式会社 | Article position management device, article position management system, article position management method and program |
| US11393169B2 (en) | 2020-03-05 | 2022-07-19 | Topcon Corporation | Photogrammetry of building using machine learning based inference |
| JP2022541832A (en) * | 2019-07-23 | 2022-09-27 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | Method and apparatus for retrieving images |
| JP7445653B2 (en) | 2018-11-09 | 2024-03-07 | ベックマン コールター， インコーポレイテッド | Repair glasses with selective data provision |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002218433A (en) * | 2001-01-15 | 2002-08-02 | Yoshiki Koura | Digital video system, method for acquiring information linked with video image, two-way viewing system and device, decoder, transfer medium, and recording medium |
| JP2004363871A (en) * | 2003-06-04 | 2004-12-24 | Nippon Telegr & Teleph Corp <Ntt> | Data storage device, its method and its program, and recording medium recording program |
| JP2005276004A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Image information processing system |
| JP2008078845A (en) * | 2006-09-20 | 2008-04-03 | Casio Comput Co Ltd | Information recording apparatus and information recording control program |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2010161562A (en) * | 2009-01-07 | 2010-07-22 | Canon Inc | Image processing apparatus, method of controlling the same, program, and recording medium |
| JP2013156784A (en) * | 2012-01-28 | 2013-08-15 | Yasuaki Iwai | Image collection system, image pickup device and image storage device |
| US20140022372A1 (en) * | 2012-07-23 | 2014-01-23 | Sony Mobile Communications Ab | Method and system for monitoring state of an object |
| JP2015056152A (en) * | 2013-09-13 | 2015-03-23 | キヤノン株式会社 | Display control device and method for controlling display control device |
| JP2015142183A (en) * | 2014-01-27 | 2015-08-03 | オリンパス株式会社 | Controller, imaging system, imaging control method, and program |
| WO2016025691A1 (en) * | 2014-08-15 | 2016-02-18 | Daqri, Llc | Remote expert system |
| US20160192009A1 (en) * | 2014-12-25 | 2016-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
-
2017
- 2017-01-19 JP JP2017007862A patent/JP7095953B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002218433A (en) * | 2001-01-15 | 2002-08-02 | Yoshiki Koura | Digital video system, method for acquiring information linked with video image, two-way viewing system and device, decoder, transfer medium, and recording medium |
| JP2004363871A (en) * | 2003-06-04 | 2004-12-24 | Nippon Telegr & Teleph Corp <Ntt> | Data storage device, its method and its program, and recording medium recording program |
| JP2005276004A (en) * | 2004-03-26 | 2005-10-06 | Hitachi Ltd | Image information processing system |
| JP2008078845A (en) * | 2006-09-20 | 2008-04-03 | Casio Comput Co Ltd | Information recording apparatus and information recording control program |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2010161562A (en) * | 2009-01-07 | 2010-07-22 | Canon Inc | Image processing apparatus, method of controlling the same, program, and recording medium |
| JP2013156784A (en) * | 2012-01-28 | 2013-08-15 | Yasuaki Iwai | Image collection system, image pickup device and image storage device |
| US20140022372A1 (en) * | 2012-07-23 | 2014-01-23 | Sony Mobile Communications Ab | Method and system for monitoring state of an object |
| JP2015056152A (en) * | 2013-09-13 | 2015-03-23 | キヤノン株式会社 | Display control device and method for controlling display control device |
| JP2015142183A (en) * | 2014-01-27 | 2015-08-03 | オリンパス株式会社 | Controller, imaging system, imaging control method, and program |
| WO2016025691A1 (en) * | 2014-08-15 | 2016-02-18 | Daqri, Llc | Remote expert system |
| US20160192009A1 (en) * | 2014-12-25 | 2016-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020042528A (en) * | 2018-09-10 | 2020-03-19 | 公立大学法人岩手県立大学 | Object identification system, model learning system, object identification method, model learning method, and program |
| JP7222519B2 (en) | 2018-09-10 | 2023-02-15 | 公立大学法人岩手県立大学 | Object identification system, model learning system, object identification method, model learning method, program |
| JP7445653B2 (en) | 2018-11-09 | 2024-03-07 | ベックマン コールター， インコーポレイテッド | Repair glasses with selective data provision |
| US12001600B2 (en) | 2018-11-09 | 2024-06-04 | Beckman Coulter, Inc. | Service glasses with selective data provision |
| JPWO2020138345A1 (en) * | 2018-12-27 | 2021-11-04 | 日本電気通信システム株式会社 | Article position management device, article position management system, article position management method and program |
| JP2022541832A (en) * | 2019-07-23 | 2022-09-27 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | Method and apparatus for retrieving images |
| JP7504192B2 (en) | 2019-07-23 | 2024-06-21 | ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド | Method and apparatus for searching images - Patents.com |
| JP2021111209A (en) * | 2020-01-14 | 2021-08-02 | 株式会社梓設計 | Information display device, information display method, and program |
| US11393169B2 (en) | 2020-03-05 | 2022-07-19 | Topcon Corporation | Photogrammetry of building using machine learning based inference |
| US11880943B2 (en) | 2020-03-05 | 2024-01-23 | Topcon Corporation | Photogrammetry of building using machine learning based inference |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7095953B2 (en) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7095953B2 (en) | Image management system, image management method, and image management program | |
| CN107093171B (en) | Image processing method, device and system | |
| JP7282851B2 (en) | Apparatus, method and program | |
| JP5976237B2 (en) | Video search system and video search method | |
| KR102096926B1 (en) | Method and system for detecting change point of interest | |
| CN111815675A (en) | Target object tracking method and device, electronic equipment and storage medium | |
| US11258985B2 (en) | Target tracking in a multi-camera surveillance system | |
| JP6503079B2 (en) | Specific person detection system, specific person detection method and detection device | |
| JP6013923B2 (en) | System and method for browsing and searching for video episodes | |
| JP7484985B2 (en) | Authentication system, authentication method, and program | |
| JP2019029935A (en) | Image processing system and control method thereof | |
| Braun et al. | Process-and computer vision-based detection of as-built components on construction sites | |
| US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
| KR20200037168A (en) | Method and system for detecting change point of interest | |
| JP7004131B2 (en) | Management system, management method and management program | |
| JP2015230616A (en) | Image processing method and image processor | |
| CN107615297A (en) | Portable identification and data presentation device and system and its application method | |
| JP6725736B1 (en) | Image specifying system and image specifying method | |
| JPH11339139A (en) | Monitoring device | |
| CN114827553B (en) | Video patrol control method, device, equipment and storage medium | |
| US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
| CN114565849B (en) | Asset AI (artificial intelligence) identification and positioning method and system based on digital twin | |
| US11108974B2 (en) | Supplementing video material | |
| JP7467206B2 (en) | Video management support system and video management support method | |
| KR102081517B1 (en) | Intelligent integration control system and intelligent integration control method for linkage tracing of goal target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210521 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210531 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210601 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210709 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210713 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211102 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220315 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
| C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20220512 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220524 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220621 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7095953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |