JP2020057298A - Determination device, determination method, and determination program - Google Patents

Determination device, determination method, and determination program Download PDF

Info

Publication number
JP2020057298A
JP2020057298A JP2018188842A JP2018188842A JP2020057298A JP 2020057298 A JP2020057298 A JP 2020057298A JP 2018188842 A JP2018188842 A JP 2018188842A JP 2018188842 A JP2018188842 A JP 2018188842A JP 2020057298 A JP2020057298 A JP 2020057298A
Authority
JP
Japan
Prior art keywords
image
determination
unit
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018188842A
Other languages
Japanese (ja)
Inventor
秉哲 ▲裴▼
秉哲 ▲裴▼
Byung-Chull Bae
翔太 斎藤
Shota Saito
翔太 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018188842A priority Critical patent/JP2020057298A/en
Publication of JP2020057298A publication Critical patent/JP2020057298A/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

To allow for automatically and accurately checking whether a device or the like was operated properly.SOLUTION: A determination device 10 provided herein is configured to: identify a predetermined area within a captured image based on a marker in the captured image; identify the attitude of a camera and make ortho-correction of the image of the area based on the identified attitude; and compare the corrected image of the area with a correct image to determine if the appearance of an object in the image of the area is in a predetermined condition. For example, the determination device 10 determines if the appearance of the object matches the way the object should look like if operated correctly.SELECTED DRAWING: Figure 2

Description

本発明は、判定装置、判定方法及び判定プログラムに関する。   The present invention relates to a determination device, a determination method, and a determination program.

従来、作業の成果物の画像を基に、当該作業が正しく行われたか否かを確認する技術が知られている。例えば、作業者が作業を行った設備等の画像を基に、データベースに記憶された当該設備等の情報を特定し、当該画像及び特定した情報を基に、作業が適切に行われたか否かを判断する手法が知られている(例えば、特許文献1を参照)。また、検査対象物の画像を外部装置に送信し、検査者が当該画像を基に判断した検査の合否を外部装置から受信し、表示する手法が知られている(例えば、特許文献2を参照)。   2. Description of the Related Art Conventionally, a technique for confirming whether or not the work has been correctly performed based on an image of a work product has been known. For example, based on an image of the facility or the like on which the worker has performed the work, the information on the facility or the like stored in the database is specified, and based on the image and the specified information, whether or not the work has been appropriately performed. Is known (for example, see Patent Document 1). In addition, there is known a method of transmitting an image of an inspection target to an external device, receiving a pass / fail result of the inspection determined by the inspector based on the image from the external device, and displaying the result (for example, see Patent Document 2). ).

特開2001−282349号公報JP 2001-282349 A 国際公開第2017/033571号International Publication No. WO 2017/033571

しかしながら、従来の技術には、機器等の操作が正しく行われたか否かを、自動的かつ正確に確認することが困難な場合があるという問題がある。例えば、特許文献1に記載の手法では、設備等の画像が傾いていたり歪んでいたりする場合、データベースの情報を正確に特定できないことが考えられる。また、例えば、特許文献2の手法では、検査の合否の判断が自動化されていない。   However, the conventional technology has a problem that it is sometimes difficult to automatically and accurately check whether or not the operation of the device or the like has been performed correctly. For example, in the method described in Patent Literature 1, when an image of a facility or the like is inclined or distorted, information in a database may not be able to be specified accurately. Further, for example, in the method of Patent Document 2, the determination of pass / fail of the inspection is not automated.

実施形態の判定装置は、特定部と、補正部と、判定部とを有する。特定部は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。補正部は、領域の画像の正対補正を行う。判定部は、補正部によって補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。   The determination device according to the embodiment includes a specifying unit, a correction unit, and a determination unit. The specifying unit specifies a predetermined region in the captured image based on a marker in the captured image. The correction unit corrects the image of the area. The determining unit determines whether the appearance of the object in the image of the area is in a predetermined state based on the image of the area corrected by the correcting unit.

図1は、第1の実施形態に係るARマニュアルについて説明するための図である。FIG. 1 is a diagram for describing an AR manual according to the first embodiment. 図2は、第1の実施形態に係る判定装置の構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a configuration of the determination device according to the first embodiment. 図3は、第1の実施形態に係る正対補正について説明するための図である。FIG. 3 is a diagram for describing facing correction according to the first embodiment. 図4は、第1の実施形態に係る判定について説明するための図である。FIG. 4 is a diagram for explaining the determination according to the first embodiment. 図5は、第1の実施形態に係る判定結果の表示方法の一例を示す図である。FIG. 5 is a diagram illustrating an example of a method of displaying a determination result according to the first embodiment. 図6は、第1の実施形態に係るARマニュアルの作成画面の一例を示す図である。FIG. 6 is a diagram illustrating an example of an AR manual creation screen according to the first embodiment. 図7は、第1の実施形態に係る判定装置の処理の流れを示すフローチャートである。FIG. 7 is a flowchart illustrating a flow of a process of the determination device according to the first embodiment.

以下に、本願に係る判定装置、判定方法及び判定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。   Hereinafter, embodiments of a determination device, a determination method, and a determination program according to the present application will be described in detail with reference to the drawings. Note that the present invention is not limited by the embodiments described below.

(第1の実施形態)
第1の実施形態では、判定装置はAR(Augmented Reality)マニュアルを実行するものとする。ここで、ARマニュアルは、ARコンテンツとして提供される機器等のマニュアルである。例えば、ARマニュアルは、操作対象の機器等の画像に、操作方法が記載されたアノテーションを重畳表示させる。また、ARマニュアルには、マーカARが用いられてもよいし、マーカレスARが用いられてもよい。本実施形態のARマニュアルは、機器等の操作が正しく完了したか否かを判定し、判定結果を表示することができる。
(First embodiment)
In the first embodiment, the determination device executes an AR (Augmented Reality) manual. Here, the AR manual is a manual for a device or the like provided as AR content. For example, the AR manual superimposes and displays an annotation in which an operation method is described on an image of a device or the like to be operated. Further, the AR manual may use a marker AR or a markerless AR. The AR manual according to the present embodiment can determine whether or not the operation of the device or the like has been correctly completed, and can display the determination result.

図1は、第1の実施形態に係るARマニュアルについて説明するための図である。ARマニュアルは、判定装置10によって提供される。例えば、判定装置10は、カメラを備えたタブレット端末及びスマートフォン等である。   FIG. 1 is a diagram for describing an AR manual according to the first embodiment. The AR manual is provided by the determination device 10. For example, the determination device 10 is a tablet terminal equipped with a camera, a smartphone, or the like.

図1に示すように、ユーザは、判定装置10を手に持ち、機器の方向に向ける。このとき、判定装置10は、カメラ等を使って機器の画像を撮像する。そして、判定装置10は、撮像した画像に所定の情報を重畳させて表示する。なお、判定装置10は、領域12aに撮像した画像を表示する。   As shown in FIG. 1, the user holds the determination device 10 in his hand and turns it toward the device. At this time, the determination device 10 captures an image of the device using a camera or the like. Then, the determination device 10 displays the captured image with the predetermined information superimposed thereon. Note that the determination device 10 displays the captured image in the area 12a.

ここで、ARマニュアルにおいて重畳表示される情報は、作業の進行状況に応じて設定されている。例えば、判定装置10は、作業開始時には、操作対象のオブジェクトが映っている画像内の領域に、操作方法を示すアノテーションや、操作対象であることを示すアイコンを表示する。ここで、オブジェクトとは、レバー、スイッチ及びダイヤル等の操作対象の機器そのものや、メータやランプ等の機器の操作に応じて外見が変化する装置等である。   Here, the information superimposed and displayed in the AR manual is set according to the progress of the work. For example, at the start of the work, the determination device 10 displays an annotation indicating the operation method and an icon indicating the operation target in an area in the image where the operation target object is displayed. Here, the object is a device itself such as a lever, a switch, and a dial, or a device whose appearance changes according to operation of a device such as a meter or a lamp.

例えば、オブジェクトがアナログメータである場合、操作の前後で針の位置が変化する。また、オブジェクトがランプである場合、操作後に点灯又は消灯する。また、オブジェクトがレバーである場合、操作前後で操作部の位置が変化する。   For example, when the object is an analog meter, the position of the needle changes before and after the operation. When the object is a lamp, the object is turned on or off after the operation. When the object is a lever, the position of the operation unit changes before and after the operation.

また、図1に示すように、判定装置10は、作業完了時には、操作結果を示すオブジェクトの画像とともに、操作が正常に完了したか否かを示す情報を領域12bに表示する。例えば、判定装置10は、図1の領域121bに、領域121aに映っているメータの画像とともに、当該メータに関する操作が正常に行われなかったことを示す文字列「NG」を表示する。   Further, as shown in FIG. 1, when the operation is completed, the determination device 10 displays, in the area 12b, information indicating whether or not the operation has been normally completed, together with an image of the object indicating the operation result. For example, the determination device 10 displays, in the area 121b of FIG. 1, a character string “NG” indicating that the operation related to the meter has not been performed normally, together with the image of the meter shown in the area 121a.

同様に、判定装置10は、領域122b、領域123b、領域124b、及び領域125bに、それぞれ領域122a、領域123a、領域124a、及び領域125aに映っているオブジェクトの画像とともに、各オブジェクトに関する操作が正常に行われたか否かを示す文字列を表示する。なお、文字列「OK」は、オブジェクトに関する操作が正常に行われたことを示す。   Similarly, the determination apparatus 10 determines that the operation on each object is normal in the region 122b, the region 123b, the region 124b, and the region 125b along with the image of the object reflected in the region 122a, the region 123a, the region 124a, and the region 125a. A character string indicating whether or not the operation has been performed is displayed. Note that the character string “OK” indicates that the operation regarding the object has been performed normally.

(第1の実施形態の判定装置の構成)
図2を用いて、判定装置10の構成について説明する。図2は、第1の実施形態に係る判定装置の構成の一例を示す図である。図2に示すように、判定装置10は、入力部11、表示部12、撮像部13、記憶部14及び制御部15を有する。
(Configuration of the determination device of the first embodiment)
The configuration of the determination device 10 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a configuration of the determination device according to the first embodiment. As shown in FIG. 2, the determination device 10 includes an input unit 11, a display unit 12, an imaging unit 13, a storage unit 14, and a control unit 15.

入力部11は、ユーザからのデータの入力を受け付ける。また、表示部12は、画面の表示を行う。例えば、入力部11及び表示部12は、タッチパネルディスプレイである。撮像部13は、画像を撮像する。例えば、撮像部13はカメラである。   The input unit 11 receives input of data from a user. The display unit 12 displays a screen. For example, the input unit 11 and the display unit 12 are touch panel displays. The imaging unit 13 captures an image. For example, the imaging unit 13 is a camera.

記憶部14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等の記憶装置である。記憶部14は、判定装置10で実行されるOS(Operating System)やプログラムを記憶する。さらに、記憶部14は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部14は、AR情報141及び判定情報142を記憶する。   The storage unit 14 is a storage device such as a hard disk drive (HDD), a solid state drive (SSD), an optical disk, a random access memory (RAM), a flash memory, and a non-volatile random access memory (NVSRAM). The storage unit 14 stores an OS (Operating System) and a program executed by the determination device 10. Further, the storage unit 14 stores various information used in executing the program. Further, the storage unit 14 stores the AR information 141 and the determination information 142.

AR情報141は、ARマニュアルを実行するための情報である。AR情報141には、マーカ120の画像、マーカ120と各オブジェクトの領域の相対的な位置関係等が含まれる。例えば、AR情報141には、各オブジェクトの矩形領域の各頂点を表す空間座標が含まれる。   The AR information 141 is information for executing the AR manual. The AR information 141 includes the image of the marker 120, the relative positional relationship between the marker 120 and the area of each object, and the like. For example, the AR information 141 includes spatial coordinates representing each vertex of the rectangular area of each object.

また、例えば、AR情報141には、ARマニュアルにアイコンとして表示される2Dの画像、及び3DCAD(Computer Aided Design)データ等が含まれる。また、AR情報141には、アノテーションとして表示するメッセージや静止画及び動画等のコンテンツが含まれていてもよい。   For example, the AR information 141 includes a 2D image displayed as an icon in the AR manual, 3D CAD (Computer Aided Design) data, and the like. Further, the AR information 141 may include a message to be displayed as an annotation and content such as a still image and a moving image.

判定情報142は、各オブジェクトの外見が、あらかじめ定められた状態であるか否かを判定するための情報である。例えば、判定情報142は、正解画像としてあらかじめ用意された画像であって、操作が正常に行われた直後のオブジェクトの画像である。また、判定情報142は、正解画像の所定の特徴量であってもよい。   The determination information 142 is information for determining whether the appearance of each object is in a predetermined state. For example, the determination information 142 is an image prepared in advance as a correct answer image, and is an image of an object immediately after a normal operation. The determination information 142 may be a predetermined feature amount of the correct image.

制御部15は、判定装置10を制御する。制御部15は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等である。例えば、制御部15は、特定部151、補正部152、判定部153及び表示制御部154として機能する。   The control unit 15 controls the determination device 10. The control unit 15 is a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like. For example, the control unit 15 functions as the specifying unit 151, the correction unit 152, the determination unit 153, and the display control unit 154.

特定部151は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。特定部151は、撮像部13によって撮像された画像内の、AR情報141から取得したマーカ120の画像と合致する領域を特定する。さらに、特定部151は、特定した領域におけるマーカ120の大きさ及び傾き等を基に、撮像された画像の撮像時の撮像部13、すなわちカメラの姿勢を特定する。   The specifying unit 151 specifies a predetermined region in the captured image based on a marker in the captured image. The specifying unit 151 specifies an area in the image captured by the imaging unit 13 that matches the image of the marker 120 acquired from the AR information 141. Further, the specifying unit 151 specifies the posture of the image capturing unit 13, that is, the attitude of the camera when capturing the captured image, based on the size and inclination of the marker 120 in the specified area.

補正部152は、領域の画像の正対補正を行う。このとき、補正部152は、特定部151によって特定されたカメラの姿勢を基に領域の画像の正対補正を行う。図3は、第1の実施形態に係る正対補正について説明するための図である。図3は、補正部152が、領域121aの画像を正対補正する場合の例である。正対補正とは、撮像された対象領域の画像を正対画像に変換する処理である。また、正対画像とは、正面として定められた平面と撮像面とを正対させて撮像を行ったと仮定した場合の、対象領域の画像である。   The correction unit 152 corrects the image of the area. At this time, the correction unit 152 corrects the image of the region directly based on the posture of the camera specified by the specifying unit 151. FIG. 3 is a diagram for describing facing correction according to the first embodiment. FIG. 3 is an example of a case where the correction unit 152 corrects the image of the area 121a directly. The facing correction is a process of converting a captured image of the target region into a facing image. The directly-facing image is an image of the target region when it is assumed that the imaging is performed with the plane defined as the front face facing the imaging surface.

例えば、領域121aのメータを含む各オブジェクト及びマーカ120は、いずれも地面に対して垂直な平面の盤上に備えられているものとする。補正部152は、特定部151によって特定されたカメラの姿勢から、当該盤と各領域の画像の撮像面との間の各軸の角度を計算する。そして、補正部152は、計算した角度を基に画像の正対補正を行う。例えば、補正部152は、アフィン変換により各領域の各頂点の座標を変換することで画像を写像し正対補正を行う。   For example, it is assumed that each of the objects including the meter in the area 121a and the marker 120 are provided on a flat board perpendicular to the ground. The correction unit 152 calculates the angle of each axis between the board and the imaging surface of the image of each area from the posture of the camera specified by the specifying unit 151. Then, the correction unit 152 corrects the face of the image based on the calculated angle. For example, the correction unit 152 maps the image by performing affine transformation to convert the coordinates of each vertex of each region, and performs facing correction.

判定部153は、補正部152によって補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。例えば、判定部153は、補正部152によって補正された領域の画像と、あらかじめ判定情報142として用意された正解画像との合致度が所定値以上であるか否かに基づいて、外見があらかじめ定められた状態であるか否かを判定する。なお、合致度の計算は、既知の画像認識処理の手法によって行われるものであってよい。   The determination unit 153 determines whether the appearance of the object in the image of the region is in a predetermined state, based on the image of the region corrected by the correction unit 152. For example, the determination unit 153 determines the appearance in advance based on whether the degree of matching between the image of the area corrected by the correction unit 152 and the correct image prepared as the determination information 142 is equal to or greater than a predetermined value. It is determined whether or not the state has been performed. The calculation of the matching degree may be performed by a known image recognition processing technique.

正解画像は、操作が正常に行われた直後のオブジェクトの画像であって、各オブジェクト及びマーカ120が備えられた盤と撮像面とを正対させて撮像した正対画像である。このため、図4に示すように、判定部153は、正対画像同士を比較し判定を行うことができる。図4は、第1の実施形態に係る判定について説明するための図である。   The correct answer image is an image of the object immediately after the operation has been performed normally, and is a directly-acquired image obtained by directly facing the imaging surface with the board provided with each object and the marker 120. For this reason, as shown in FIG. 4, the determination unit 153 can make a determination by comparing the directly-facing images. FIG. 4 is a diagram for explaining the determination according to the first embodiment.

なお、図4の例では、正対補正した判定対象の画像と正解画像とでは、メータの針の位置が異なるため、判定部153は、メータの状態が正しい状態にないという判定をすることができると考えられる。一方で、画像の正対補正をしていない場合、判定対象の画像と正解画像とでメータの針の位置が偶然一致し、判定部153が、メータの状態が正しい状態にあるという誤判定をすることが考えられる。   In the example of FIG. 4, since the position of the hand of the meter is different between the image of the determination target that has been directly corrected and the correct image, the determination unit 153 may determine that the state of the meter is not correct. It is considered possible. On the other hand, if the correct correction of the image is not performed, the positions of the hands of the meter coincide with each other between the image to be determined and the correct image, and the determination unit 153 makes an erroneous determination that the state of the meter is correct. It is possible to do.

表示制御部154は、表示部12に、判定部153によるオブジェクトの外見に対する判定結果を、オブジェクトの画像とともに表示させる。例えば、図1に示すように、表示制御部154は、領域12bに、操作結果を示すオブジェクトの画像とともに判定結果を表示させる。   The display control unit 154 causes the display unit 12 to display the determination result on the appearance of the object by the determination unit 153 together with the image of the object. For example, as shown in FIG. 1, the display control unit 154 causes the area 12b to display the determination result together with the image of the object indicating the operation result.

また、図5に示すように、表示制御部154は、判定部153による領域の画像内のオブジェクトの外見に対する判定結果を、撮像された画像の領域に重畳させて表示部12に表示させてもよい。図5は、第1の実施形態に係る判定結果の表示方法の一例を示す図である。図5の例では、表示制御部154は、領域12aの撮像された画像の各領域に、判定結果を直接重畳表示させる。   Also, as shown in FIG. 5, the display control unit 154 may display the determination result for the appearance of the object in the image of the region by the determination unit 153 on the display unit 12 so as to be superimposed on the region of the captured image. Good. FIG. 5 is a diagram illustrating an example of a method of displaying a determination result according to the first embodiment. In the example of FIG. 5, the display control unit 154 directly superimposes and displays the determination result on each area of the captured image of the area 12a.

ここで、図6を用いて、ARマニュアルの作成方法について説明する。図6は、第1の実施形態に係るARマニュアルの作成画面の一例を示す図である。図6に示すように、ARマニュアルは、生成装置20によって生成される。生成装置20は、判定装置10と同一の装置であってもよいし、異なる装置であってもよい。   Here, a method of creating an AR manual will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of an AR manual creation screen according to the first embodiment. As shown in FIG. 6, the AR manual is generated by the generation device 20. The generation device 20 may be the same device as the determination device 10 or may be a different device.

図6に示すように、生成装置20は、ARマニュアルの対象の機器の画像を表示し、マーカ120及び各領域の設定を受け付ける。このとき、生成装置20は、領域ごとに、判定部153による判定のタイプの選択を受け付ける。   As illustrated in FIG. 6, the generation device 20 displays an image of a target device of the AR manual, and receives the setting of the marker 120 and each area. At this time, the generation device 20 accepts the selection of the type of determination by the determination unit 153 for each region.

判定のタイプには、メータ状態判定、スイッチ状態判定、色状態判定、インジケータランプ点灯判定、文字認識等がある。選択された判定のタイプに応じて、判定部153は、あらかじめ決められた判定方法により判定を行う。例えば、判定タイプがメータ状態判定の場合、判定部153は、前述の通り、正対補正済みの画像と正解画像を比較し判定を行う。一方、判定タイプが文字認識の場合、判定部153は、OCR(Optical Character Recognition)等の機能により判定対象の画像から抽出した文字列が、あらかじめ決められた正解文字列と合致するか否かを判定する。   The types of determination include meter state determination, switch state determination, color state determination, indicator lamp lighting determination, character recognition, and the like. In accordance with the type of the selected determination, the determination unit 153 performs the determination according to a predetermined determination method. For example, when the determination type is the meter state determination, the determination unit 153 performs the determination by comparing the directly corrected image with the correct image as described above. On the other hand, when the determination type is character recognition, the determination unit 153 determines whether a character string extracted from an image to be determined by a function such as OCR (Optical Character Recognition) matches a predetermined correct character string. judge.

また、ARマニュアルはステップごとに設定される。図6の例では、「STEP2」というステップのARマニュアルの設定が行われている。ここで、表示制御部154は、各ステップに設定された領域に対する判定部153の判定結果が全て正常になるまで、次のステップのARマニュアルを表示しないようにすることができる。また、表示制御部154は、各ステップに設定された領域に対する判定部153の判定結果が全て正常になった場合、自動的に次のステップのARマニュアルを表示してもよい。   The AR manual is set for each step. In the example of FIG. 6, the setting of the AR manual of the step “STEP 2” is performed. Here, the display control unit 154 can prevent the AR manual of the next step from being displayed until all the determination results of the determination unit 153 for the region set in each step become normal. In addition, the display control unit 154 may automatically display the AR manual of the next step when all the determination results of the determination unit 153 for the region set in each step become normal.

なお、表示制御部154は、各ステップに設定された領域に対する判定部153の判定結果が全て正常になっていなくても、次のステップのARマニュアルを表示してもよい。例えば、表示制御部154は、判定結果にかかわらずユーザの操作に応じて次のステップのARマニュアルを表示してもよい。   Note that the display control unit 154 may display the AR manual of the next step even if the determination results of the determination unit 153 for the area set in each step are not all normal. For example, the display control unit 154 may display the AR manual of the next step according to the operation of the user regardless of the determination result.

つまり、特定部151は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、操作により外見が変化するオブジェクトを含む領域を、判定部153による判定対象の領域として特定する。また、判定装置10は、第1のステップに関する情報をARにより表示し、判定開始の操作を受け付けると、判定対象領域の正対補正及び判定を行い、全ての操作が正常に完了したと判定した場合、第1のステップの次のステップである第2のステップに関する情報をARにより表示する。また、判定装置10は、第1のステップで全ての操作が正常に完了したと判定しなかった場合、第2のステップに関する情報を表示しない。なお、各ステップに関する情報は、ARで表示されるアノテーション及びアイコン等である。   In other words, the identifying unit 151 determines the area that includes the object whose appearance changes due to the operation, which is the area that is associated in advance with the step being executed among the plurality of steps related to the operation of the device, by the determination unit 153. Area. In addition, the determination device 10 displays the information related to the first step by AR, and when accepting the operation of starting the determination, corrects the facing of the determination target area and makes a determination, and determines that all the operations have been completed normally. In this case, information on the second step, which is the next step after the first step, is displayed by AR. If the determination device 10 does not determine that all operations have been completed normally in the first step, the determination device 10 does not display information on the second step. The information on each step is an annotation, an icon, and the like displayed in AR.

(第1の実施形態の処理)
図7を用いて、判定装置10の処理について説明する。図7は、第1の実施形態に係る判定装置の処理の流れを示すフローチャートである。まず、判定装置10は、判定開始の操作を受け付ける(ステップS101)。判定開始の操作は、ARマニュアルの表示している表示部12の特定のアイコンをタップすることであってもよいし、撮像部13を用いてマーカ120を撮像することであってもよい。
(Process of First Embodiment)
The processing of the determination device 10 will be described with reference to FIG. FIG. 7 is a flowchart illustrating a flow of a process of the determination device according to the first embodiment. First, the determination device 10 receives a determination start operation (step S101). The operation of starting the determination may be a tap on a specific icon on the display unit 12 displayed by the AR manual, or an image of the marker 120 using the imaging unit 13.

ここで、判定装置10は、撮像された画像内のマーカ120の位置及び撮像しているカメラ(撮像部13)の姿勢を特定する(ステップS102)。これにより、判定装置10は、マーカ120を基準としたARコンテンツの提供が可能になる。そして、判定装置10は、マーカ120を基に判定対象の領域を特定する(ステップS103)。   Here, the determination device 10 specifies the position of the marker 120 in the captured image and the attitude of the camera (the imaging unit 13) capturing the image (Step S102). Accordingly, the determination device 10 can provide AR content based on the marker 120. Then, the determination device 10 specifies an area to be determined based on the marker 120 (Step S103).

次に、判定装置10は、カメラの姿勢を基に、特定した領域の正対補正を行う(ステップS104)。ここで、判定装置10は、正対補正を行った画像と正解画像とを比較し状態判定を行う(ステップS105)。そして、判定装置10は、判定結果を表示する(ステップS106)。   Next, the determination device 10 performs facing correction of the specified area based on the posture of the camera (step S104). Here, the determination device 10 performs state determination by comparing the correctly corrected image with the correct image (step S105). Then, the determination device 10 displays the determination result (Step S106).

ここで、判定装置10は、全ての機器の操作が正しく完了したと判定した場合(ステップS107、Yes)、次のステップがあるか否かを確認する(ステップS108)。一方、判定装置10は、全ての機器の操作が正しく完了したと判定しなかった場合(ステップS107、No)、ステップS101に戻り、処理を繰り返す。   Here, when it is determined that the operations of all the devices have been correctly completed (Yes at Step S107), the determination device 10 checks whether there is a next step (Step S108). On the other hand, when it is not determined that the operations of all the devices have been correctly completed (No at Step S107), the determining device 10 returns to Step S101 and repeats the processing.

さらに、次のステップがある場合(ステップS108、Yes)、判定装置10は、次のステップのARマニュアルを表示し、ステップS101に戻り、当該次のステップの判定開始操作の受け付けを待機する。   Further, when there is a next step (Step S108, Yes), the determination device 10 displays the AR manual of the next step, returns to Step S101, and waits for reception of the determination start operation of the next step.

(第1の実施形態の効果)
これまで説明してきたように、判定装置10は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。また、判定装置10は、領域の画像の正対補正を行う。また、判定装置10は、補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。このように、判定装置10は、判定対象の領域の画像を正対補正することで、画像内のオブジェクトの外見の状態を正確に判定することができる。また、判定装置10は、ARを用いて、判定対象領域の画像の歪みや傾きを自動的に取得し正対補正を行うことができる。このため、本実施形態によれば、機器等の操作が正しく行われたか否かを、自動的かつ正確に確認することが可能になる。
(Effect of First Embodiment)
As described above, the determination device 10 specifies a predetermined area in the captured image based on the marker in the captured image. In addition, the determination device 10 performs the facing correction of the image of the area. In addition, the determination device 10 determines whether the appearance of the object in the image of the region is in a predetermined state based on the image of the corrected region. As described above, the determination device 10 can accurately determine the appearance state of the object in the image by directly correcting the image of the determination target area. Further, the determination device 10 can automatically obtain the distortion and the inclination of the image of the determination target region using the AR, and perform the facing correction. Therefore, according to the present embodiment, it is possible to automatically and accurately check whether or not the operation of the device or the like has been performed correctly.

判定装置10は、撮像された画像の撮像時のカメラの姿勢をさらに特定する。このとき、判定装置10は、カメラの姿勢を基に領域の画像の正対補正を行う。これにより、ARを用いた正対補正を行うことが可能になる。   The determination device 10 further specifies the attitude of the camera at the time of capturing the captured image. At this time, the determination device 10 corrects the image of the area directly based on the posture of the camera. This makes it possible to perform facing correction using the AR.

判定装置10は、補正された領域の画像と、あらかじめ用意された正解画像との合致度が所定値以上であるか否かに基づいて、外見があらかじめ定められた状態であるか否かを判定する。このように、正対補正済みの画像を比較に用いることで、正確な判定が可能になる。   The determination device 10 determines whether or not the appearance is in a predetermined state based on whether or not the degree of matching between the image of the corrected area and a previously prepared correct image is equal to or greater than a predetermined value. I do. As described above, accurate determination can be performed by using the directly corrected image for comparison.

判定装置10は、オブジェクトの外見に対する判定結果を、オブジェクトの画像とともに表示する。これにより、ユーザは、オブジェクトごとの判定結果を容易に把握することができる。   The determination device 10 displays the determination result for the appearance of the object together with the image of the object. Thereby, the user can easily grasp the determination result for each object.

判定装置10は、領域の画像内のオブジェクトの外見に対する判定結果を、撮像された画像の領域に重畳させて表示する。これにより、ユーザは、判定対象のオブジェクトの場所を容易に特定することができる。   The determination device 10 displays the determination result for the appearance of the object in the image of the region in a manner superimposed on the region of the captured image. Thereby, the user can easily specify the location of the object to be determined.

特定部151は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、操作により外見が変化するオブジェクトを含む領域を特定する。これにより、各ステップにおける確認箇所を明確にすることができる。   The specifying unit 151 specifies an area that includes an object whose appearance changes due to the operation, which is an area that is associated in advance with the step being executed among a plurality of steps related to the operation of the device. This makes it possible to clarify the confirmation location in each step.

表示部12は、機器の操作に関する複数のステップのうちの第1のステップに関する情報をARにより表示し、判定部によって、第1のステップにあらかじめ対応付けられた領域のオブジェクトの外見があらかじめ定められた状態であると判定された場合、第1のステップの次のステップである第2のステップに関する情報をARにより表示する。これにより、前のステップが完了する前に次のステップの操作が進められることを防止することができる。   The display unit 12 displays information on the first step of the plurality of steps related to the operation of the device by AR, and the determination unit determines in advance the appearance of the object in the area corresponding to the first step in advance. If it is determined that the user is in a state in which the user is in the state, information on the second step, which is the step following the first step, is displayed by AR. Thereby, it is possible to prevent the operation of the next step from proceeding before the previous step is completed.

なお、本実施形態の判定装置10で実行されるプログラムは、ROM等にあらかじめ組み込まれて提供される。本実施形態の判定装置10で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。   The program executed by the determination device 10 of the present embodiment is provided by being incorporated in a ROM or the like in advance. The program executed by the determination device 10 of the present embodiment may be configured to be provided by being recorded in a computer-readable recording medium in an installable or executable file.

さらに、本実施形態の判定装置10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の判定装置10で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。   Furthermore, the program executed by the determination device 10 of the present embodiment may be stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. Further, the program executed by the determination device 10 of the present embodiment may be provided or distributed via a network such as the Internet.

本実施形態の判定装置10で実行されるプログラムは、上述した各部(特定部151、補正部152、判定部153及び表示制御部154)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特定部151、補正部152、判定部153及び表示制御部154が主記憶装置上に生成されるようになっている。   The program executed by the determination device 10 of the present embodiment has a module configuration including the above-described units (identification unit 151, correction unit 152, determination unit 153, and display control unit 154). When the CPU reads out the program from the ROM and executes the program, the respective units are loaded on the main storage device, and the specifying unit 151, the correction unit 152, the determination unit 153, and the display control unit 154 are generated on the main storage device. It has become.

本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although embodiments of the present invention have been described, the embodiments are presented by way of example and are not intended to limit the scope of the invention. The embodiment can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. The embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

10 判定装置
11 入力部
12 表示部
12a、12b、121a、122a、123a、124a、125a、121b、122b、123b、124b、125b 領域
13 撮像部
14 記憶部
15 制御部
20 生成装置
120 マーカ
141 AR情報
142 判定情報
151 特定部
152 補正部
153 判定部
154 表示制御部
Reference Signs List 10 judgment device 11 input unit 12 display unit 12a, 12b, 121a, 122a, 123a, 124a, 125a, 121b, 122b, 123b, 124b, 125b region 13 imaging unit 14 storage unit 15 control unit 20 generation device 120 marker 141 AR information 142 Judgment information 151 Identification unit 152 Correction unit 153 Judgment unit 154 Display control unit

Claims (9)

撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定部と、
前記領域の画像の正対補正を行う補正部と、
前記補正部によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定部と、
を有することを特徴とする判定装置。
A specifying unit that specifies a predetermined region in the captured image based on a marker in the captured image,
A correction unit that performs direct correction of the image of the region,
Based on the image of the area corrected by the correction unit, based on the appearance of the object in the image of the area, a determination unit that determines whether or not a predetermined state,
A determination device comprising:
前記特定部は、前記撮像された画像の撮像時のカメラの姿勢をさらに特定し、
前記補正部は、前記姿勢を基に前記領域の画像の正対補正を行うことを特徴とする請求項1に記載の判定装置。
The specifying unit further specifies the posture of the camera at the time of capturing the captured image,
The apparatus according to claim 1, wherein the correction unit corrects an image of the area in the area based on the posture.
前記判定部は、前記補正部によって補正された前記領域の画像と、あらかじめ用意された正解画像との合致度が所定値以上であるか否かに基づいて、前記外見があらかじめ定められた状態であるか否かを判定することを特徴とする請求項1又は2に記載の判定装置。   In the state where the appearance is determined in advance based on whether or not the degree of matching between the image of the area corrected by the correction unit and the previously prepared correct image is equal to or greater than a predetermined value. The determination device according to claim 1, wherein the determination device determines whether or not there is any information. 前記特定部は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、前記操作により外見が変化するオブジェクトを含む領域を特定することを特徴とする請求項1から3のいずれか1項に記載の判定装置。   The said specification part specifies the area | region containing the object whose external appearance changes by the said operation | movement among the area | regions related to the operation currently performed among the several steps regarding operation of apparatus previously. Item 4. The determination device according to any one of Items 1 to 3. 前記判定部による前記オブジェクトの外見に対する判定結果を、前記オブジェクトの画像とともに表示する表示部をさらに有することを特徴とする請求項1から4のいずれか1項に記載の判定装置。   5. The determination device according to claim 1, further comprising a display unit that displays a determination result on the appearance of the object by the determination unit together with an image of the object. 前記表示部は、前記判定部による前記領域の画像内のオブジェクトの外見に対する判定結果を、前記撮像された画像の前記領域に重畳させて表示することを特徴とする請求項5に記載の判定装置。   The determination device according to claim 5, wherein the display unit displays a determination result of the appearance of an object in the image of the region by the determination unit in a manner superimposed on the region of the captured image. . 前記表示部は、機器の操作に関する複数のステップのうちの第1のステップに関する情報をARにより表示し、前記判定部によって、前記第1のステップにあらかじめ対応付けられた領域のオブジェクトの外見があらかじめ定められた状態であると判定された場合、前記第1のステップの次のステップである第2のステップに関する情報をARにより表示することを特徴とする請求項5又は6に記載の判定装置。   The display unit displays, by AR, information on a first step of a plurality of steps relating to device operation, and the determination unit determines in advance the appearance of an object in an area corresponding to the first step in advance. 7. The determination device according to claim 5, wherein when it is determined that the state is a predetermined state, information on a second step that is a step next to the first step is displayed by AR. 8. コンピュータによって実行される判定方法であって、
撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定工程と、
前記領域の画像の正対補正を行う補正工程と、
前記補正工程によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定工程と、
を含むことを特徴とする判定方法。
A determination method performed by a computer,
A specifying step of specifying a predetermined region in the captured image based on a marker in the captured image,
A correction step of performing a direct correction of the image of the region,
Based on the image of the area corrected by the correction step, based on the appearance of the object in the image of the area, a determination step of determining whether or not in a predetermined state,
A determination method characterized by including:
コンピュータを、
撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定手段と、
前記領域の画像の正対補正を行う補正手段と、
前記補正手段によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定手段と、
として機能させることを特徴とする判定プログラム。
Computer
Specifying means for specifying a predetermined region in the captured image based on a marker in the captured image;
Correction means for performing direct correction of the image of the area,
Based on the image of the region corrected by the correction unit, a determination unit that determines whether the appearance of an object in the image of the region is in a predetermined state,
A determination program characterized by functioning as:
JP2018188842A 2018-10-04 2018-10-04 Determination device, determination method, and determination program Pending JP2020057298A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018188842A JP2020057298A (en) 2018-10-04 2018-10-04 Determination device, determination method, and determination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188842A JP2020057298A (en) 2018-10-04 2018-10-04 Determination device, determination method, and determination program

Publications (1)

Publication Number Publication Date
JP2020057298A true JP2020057298A (en) 2020-04-09

Family

ID=70107382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188842A Pending JP2020057298A (en) 2018-10-04 2018-10-04 Determination device, determination method, and determination program

Country Status (1)

Country Link
JP (1) JP2020057298A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023045749A (en) * 2021-09-22 2023-04-03 東芝インフォメーションシステムズ株式会社 Information processing apparatus, information processing method, and information processing program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134751A (en) * 1999-08-26 2001-05-18 Ricoh Co Ltd Method and device for processing image, digital camera, image processing system and recording medium with image processing program recorded thereon
JP2012128796A (en) * 2010-12-17 2012-07-05 Ntt Docomo Inc Server, remote assist system, and method
JP2015158880A (en) * 2014-02-25 2015-09-03 Kddi株式会社 Change detection device, method and program
JP2017069963A (en) * 2015-09-30 2017-04-06 株式会社ソフィックス Data collection system of display panel and operation panel, device, method, program and recording medium
US20180278769A1 (en) * 2017-03-23 2018-09-27 Kyocera Document Solutions Inc. Display device and display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134751A (en) * 1999-08-26 2001-05-18 Ricoh Co Ltd Method and device for processing image, digital camera, image processing system and recording medium with image processing program recorded thereon
JP2012128796A (en) * 2010-12-17 2012-07-05 Ntt Docomo Inc Server, remote assist system, and method
JP2015158880A (en) * 2014-02-25 2015-09-03 Kddi株式会社 Change detection device, method and program
JP2017069963A (en) * 2015-09-30 2017-04-06 株式会社ソフィックス Data collection system of display panel and operation panel, device, method, program and recording medium
US20180278769A1 (en) * 2017-03-23 2018-09-27 Kyocera Document Solutions Inc. Display device and display system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023045749A (en) * 2021-09-22 2023-04-03 東芝インフォメーションシステムズ株式会社 Information processing apparatus, information processing method, and information processing program
JP7317913B2 (en) 2021-09-22 2023-07-31 東芝インフォメーションシステムズ株式会社 Information processing device, information processing method and information processing program

Similar Documents

Publication Publication Date Title
KR101187500B1 (en) Light projection device and illumination device
JP7197971B2 (en) Information processing device, control method and program for information processing device
JP4137078B2 (en) Mixed reality information generating apparatus and method
JP5480777B2 (en) Object display device and object display method
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
US20110129154A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program
JP6144364B2 (en) Work support data creation program
WO2014045508A1 (en) Inspection device, inspection method, and inspection program
CN109804730B (en) Substrate inspection apparatus and substrate distortion compensation method using the same
JP6514390B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
CN113269728B (en) Visual edge-tracking method, device, readable storage medium and program product
JP2020057298A (en) Determination device, determination method, and determination program
US11989928B2 (en) Image processing system
WO2021186672A1 (en) Image processing method
US11074718B2 (en) Image processing device
JP7336253B2 (en) Installation method
JP6262610B2 (en) Information registration device, information continuation registration device, method and program
JP2024049893A (en) Meter reading apparatus, meter reading method, and meter reading program
JP6694907B2 (en) Judgment device, judgment method and judgment program
JP6388744B1 (en) Ranging device and ranging method
KR101954711B1 (en) Modification Method Of Building Image
JP2016170495A (en) Inspection support device, method for controlling inspection support device, program and inspection support system
CN113167568A (en) Coordinate calculation device, coordinate calculation method, and computer-readable recording medium
JP2021103426A (en) Image processing system, image processing method, and program
JP6399808B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210224