CN107003658A - 作业辅助系统、作业辅助装置以及作业辅助方法 - Google Patents
作业辅助系统、作业辅助装置以及作业辅助方法 Download PDFInfo
- Publication number
- CN107003658A CN107003658A CN201480083559.3A CN201480083559A CN107003658A CN 107003658 A CN107003658 A CN 107003658A CN 201480083559 A CN201480083559 A CN 201480083559A CN 107003658 A CN107003658 A CN 107003658A
- Authority
- CN
- China
- Prior art keywords
- image
- projected
- auxiliary information
- product
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000010899 nucleation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims 1
- 239000000047 product Substances 0.000 description 83
- 238000001514 detection method Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- General Factory Administration (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Automatic Assembly (AREA)
- Image Analysis (AREA)
Abstract
本发明的作业辅助系统、作业辅助装置以及作业辅助方法包括：特征图像登录部(31)，该特征图像登录部(31)将能识别产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；辅助信息登录部(32)，该辅助信息登录部(32)对针对产品的作业辅助信息的显示位置进行登录；图像获取部(33)，该图像获取部(33)获取由拍摄装置(1)拍摄到的拍摄图像；位置确定部(34)，该位置确定部(34)对拍摄图像和特征图像进行比对，根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像上的产品位置；投影位置计算部(35)，该投影位置计算部(35)根据由位置确定部(34)确定出的产品的位置以及登录在辅助信息登录部(32)中的作业辅助信息的显示位置来计算该作业辅助信息的投影位置；投影图像生成部(36)，该投影图像生成部(36)生成将作业辅助信息配置到由投影位置计算部(35)算出的投影位置得到的投影图像；以及投影图像输出部(37)，该投影图像输出部(37)将由投影图像生成部(36)生成的投影图像输出到投影机(2)。
Description
技术领域
本发明涉及一种辅助作业人员对产品进行作业的作业辅助系统、作业辅助装置以及作业辅助方法。
背景技术
以往，在作业人员对产品进行组装作业等作业的情况下，使用作业程序手册、检查表等文件来进行作业。然而，该情况下，需要按照各个产品放置文件的场所。此外，还存在作业人员需要翻到文件的相应页面，还可能因此将文件弄脏的问题。而且可能丢失文件。
此外，对于对产品进行组装作业等作业的作业人员，已知有在监视器中显示作业内容的装置(例如参照专利文献1)。作业人员按照显示在监视器中的作业内容来进行组装作业，在作业完成后按下作业完成开关。由此，在装置侧判断为正常完成了依照作业内容的组装作业，切换到下一作业内容的显示。
现有技术文献
专利文献
专利文献1：日本专利特开2010－61566号公报
专利文献2：日本专利特开2013－230547号公报
发明内容
发明所要解决的技术问题
然而，在专利文献1所公开的现有结构中，由于在设置于与产品不同的场所(例如背面)的监视器中显示作业内容，因此作业人员可能会看错作业内容，或忘记作业内容。此外，熟练作业的作业人员可能在不确认监视器的作业内容的情况下进行组装作业并按下作业完成开关。其结果，存在可能产生作业错误的问题。
另外，专利文献2示出了通过向产品照射激光来直接表示元器件的设置位置的装置。然而，在专利文献2所公开的装置中，是以产品的设置位置固定为前提，因此无法应对进行作业的产品的设置位置每次会有不同的情况。
本发明为了解决上述问题而完成，其目的在于提供一种作业辅助装置以及作业辅助方法，即使作业人员进行作业的产品的设置位置发生改变，与现有结构相比也能减少作业错误。
解决技术问题所采用的技术方案
本发明的作业辅助装置包括：特征图像登录部，该特征图像登录部将能识别产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；辅助信息登录部，该辅助信息登录部对针对产品的作业辅助信息的显示位置进行登录；图像获取部，该图像获取部获取拍摄装置所拍摄到的拍摄图像；位置确定部，该位置确定部基于登录在特征图像登录部中的信息来对图像获取部获取到的拍摄图像与特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像中产品的位置；投影位置计算部，该投影位置计算部根据由位置确定部确定的产品的位置以及登录在辅助信息登录部中的作业辅助信息的显示位置来计算该作业辅助信息的投影位置；投影图像生成部，该投影图像生成部生成将作业辅助信息配置在由投影位置计算部算出的投影位置得到的投影图像；以及投影图像输出部，该投影图像输出部将由投影图像生成部生成的投影图像输出到投影机。
本发明的作业辅助方法具有：特征图像登录步骤，该特征图像登录步骤中，由特征图像登录部将能识别产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；辅助信息登录步骤，该辅助信息登录步骤中，由辅助信息登录部对针对产品的作业辅助信息的显示位置进行登录；图像获取步骤，该图像获取步骤中，由图像获取部获取拍摄装置所拍摄到的拍摄图像；位置确定步骤，该位置确定步骤中，由位置确定部基于登录在特征图像登录部中的信息来对图像获取部获取到的拍摄图像与特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像中产品的位置；投影位置计算步骤，该投影位置计算步骤中，由投影位置计算部根据由位置确定部确定的产品的位置以及登录在辅助信息登录部中的作业辅助信息的显示位置来计算该作业辅助信息的投影位置；投影图像生成步骤，该投影图像生成步骤中，由投影图像生成部生成将作业辅助信息配置在由投影位置计算部算出的投影位置得到的投影图像；以及投影图像输出步骤，该投影图像输出步骤中，由投影图像输出部将由投影图像生成部生成的投影图像输出到投影机。
发明效果
根据本发明，由于采用上述结构，因此即使在作业人员进行作业的产品的设置位置发生变化的情况下，与现有结构相比，也能减少作业错误。
附图说明
图1是表示本发明实施方式1的作业辅助系统的结构的图。
图2是表示本发明实施方式1的作业辅助装置的结构的图。
图3是表示本发明实施方式1的作业辅助装置的动作的流程图。
图4是表示本发明实施方式1的特征图像登录部所登录的特征图像的一个示例的图。
图5是表示本发明实施方式1的辅助信息登录部所登录的表格的一个示例的图。
图6是表示本发明实施方式1的作业辅助装置将作业辅助信息投影到产品的投影例的图。
图7是表示本发明实施方式1的作业辅助装置将作业辅助信息投影到产品的投影例的图。
图8是表示本发明实施方式1的作业辅助装置将作业辅助信息投影到产品的投影例的图。
图9是表示本发明实施方式2的作业辅助系统的结构的图。
图10是表示本发明实施方式2的作业辅助装置的结构的图。
图11是表示本发明实施方式2的辅助信息登录部所登录的表格的一个示例的图。
图12是表示本发明实施方式2中的平板终端的显示例的图。
具体实施方式
以下，参照附图对本发明实施方式进行详细说明。
实施方式1.
图1是表示本发明实施方式1所涉及的作业辅助系统的结构的图。作业辅助系统如图1所示，由拍摄装置1、投影机(投影仪)2以及作业辅助装置3构成。
拍摄装置1拍摄作业人员对产品进行作业的作业区域，例如使用Web摄像机等。该拍摄装置1设置在与产品之间作业人员不发生重合的位置。
另外，作为作业人员所进行的作业，例如可举出在产品上紧固螺钉或插入连接器的组装作业、在产品上贴附贴纸等的贴附作业、在产品上涂布涂层剂的涂布作业、仅对设置在产品上的多个开关中的指定开关进行切换的切换作业、以及对是否正确进行了上述作业进行检查的检查作业等。
投影机2从作业辅助装置3输入包含有用于对作业人员的作业进行辅助的信息(作业辅助信息)的投影图像，并将该投影图像投影到作业区域中。由此，将作业辅助信息直接投影到位于作业区域上的产品。该投影机2设置在与产品之间作业人员不发生重合的位置。
另外，拍摄装置1和投影机2是通用产品即可。此外，拍摄装置1上的拍摄区域的坐标和投影机2上的投影区域的坐标能由作业辅助装置3分别进行转换。此外，通过由作业辅助装置3指定校准值，从而能任意地变更拍摄装置1和投影机2。
作业辅助装置3基于由拍摄装置1拍摄到的拍摄图像生成包含作业辅助信息的投影图像，并将该投影图像输出到投影机2。该作业辅助装置3如图2所示，由特征图像登录部31、辅助信息登录部32、图像获取部33、位置确定部34、投影位置计算部35、投影图像生成部36以及投影图像输出部37构成。另外，作业辅助装置3的功能部33～37利用使用基于软件的CPU的程序处理来执行。此外，登录部31、32由HDD、DVD、存储器等构成。
特征图像登录部31对于每个上述产品，将能识别该产品的该产品的三处以上的图像作为特征图像，并与该各处的位置关系一起进行登录。
辅助信息登录部32对于每个上述产品，对作业辅助信息和针对该产品的该作业辅助信息的显示位置进行登录。这里，作为作业辅助信息，例如可举出指示作业位置的箭头标记、○(圆圈)、表示作业工序顺序的数字、表示作业内容的字符串等。此外，也可以使用表示元器件是否安装到产品的安装位置的元器件图像，也可以使用动画等。还可以将它们组合。
图像获取部33获取由拍摄装置1拍摄到的拍摄图像。位置确定部34基于登录到特征图像登录部31中的信息，来将图像获取部33所获取到的拍摄图像和特征图像进行比对，从而进行该产品的检测，并根据该拍摄图像的进行比对的各处的位置关系来确定该产品在该拍摄图像上的位置。
投影位置计算部35根据由位置确定部34确定出的拍摄图像上的产品位置以及登录在辅助信息登录部32中针对该产品的相应的作业辅助信息的显示位置来计算该作业辅助信息的投影位置。
投影图像生成部36生成将登录在辅助信息登录部32中的相应的作业辅助信息配置在由投影位置计算部35算出的投影位置上得到的投影图像。
投影图像输出部37将由投影图像生成部36生成的投影图像输出到投影机2。
接着，参照图3～图8对上述结构的作业辅助装置3的动作进行说明。
另外，在特征图像登录部31中，预先对每个上述产品将三处以上的特征图像与其位置关系一起进行登录(特征图像登录步骤)。作为该特征图像，使用产品的整体图像中形状唯一且光反射较少的图像。此外，考虑位置确定部34中的比对处理速度来设定特征图像的大小。
此外，在位置确定部34中，进行各特征图像与拍摄图像的比对，根据各特征图像的位置关系与拍摄图像上进行比对的各处的位置关系来确定产品的位置(设置的角度)。因此，特征图像需要至少三处以上。例如，图4中，将拍摄了产品本身得到的整体图像401中的四个角的图像402a～402d切出来作为特征图像。
此外，在辅助信息登录部32中，预先对每个上述产品登录作业辅助信息以及表示针对该产品的该作业辅助信息的显示位置的信息(辅助信息登录步骤)。辅助信息登录部32中例如预先设定并保存有图5所示那样的表格。在图5所示的表格中，登录有表示在将产品设置于基准位置时由投影机2投影作业辅助信息的位置的投影坐标上的X坐标和Y坐标(PRJ.X,PRJ.Y)、以及作业辅助信息的内容(PRJ.MARK)。另外，图5中，“arrow”表示箭头标记、“circle”表示圆圈、“MSG”表示字符串。
并且，在作业辅助装置3动作时，如图3所示，首先，图像获取部33获取由拍摄装置1拍摄到的拍摄图像(步骤ST1、图像获取步骤)。即，获取拍摄作业区域得到的拍摄图像，该作业区域是作业人员对产品进行作业的作业区域。
接着，位置确定部34基于登录在特征图像登录部31中的信息来对图像获取部33获取到的拍摄图像和特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该产品在该拍摄图像上的位置(步骤ST2、位置确定步骤)。此时，位置确定部34在拍摄图像的特定部位与特征图像的匹配率超过预先设定的阈值的情况下，将该特定部位检测为进行比对的部位。该比对使用例如OpenCV(Open Source Computer Vision Library：开源计算机视觉库)等技术即可。此外，上述阈值能进行设定变更。
接着，投影位置计算部35根据由位置确定部34确定出的拍摄图像上的产品位置以及登录在辅助信息登录部32中针对该产品的相应的作业辅助信息的显示位置来计算该作业辅助信息的投影位置(步骤ST3、投影位置计算步骤)。
接着，投影图像生成部36生成将登录在辅助信息登录部32中的相应的作业辅助信息配置在由投影位置计算部35算出的投影位置上得到的投影图像(步骤ST4、投影图像生成步骤)。
接着，投影图像输出部37将投影图像生成部36所生成的投影图像输出到投影机2(步骤ST5、投影图像输出步骤)。
然后，投影机2输入来自作业辅助装置3的投影图像，并将该投影图像投影到产品上。由此，能向产品直接投影作业辅助信息。图6～图8示出投影示意图。之后，作业人员按照投影在产品上的作业辅助信息来进行作业即可，能减少以往那样看错作业内容、忘记作业内容、或者在不确认作业内容的情况下进行作业的情况，能减少作业错误。此外，本发明中，利用拍摄装置1拍摄到的拍摄图像来确定产品的位置，因此即使在产品的设置位置每次都产生不同的情况下，也能将作业辅助信息投影到正确的位置。
另外，在图6的示例中，示出在产品上投影箭头标记来指示插入连接器的部位的情况。在图7的示例中，示出在产品上投影圆圈以将插入连接器的部位圈出的情况。在图8的示例中，示出了对于多个作业工序，在产品上投影圈出作业部位的圆圈、表示作业工序顺序的数字、以及表示其作业内容的字符串的情况。
如上所述，根据该实施方式1，对拍摄图像和预先登录的特征图像进行比对，并根据其位置关系来确定该拍摄图像上的产品位置，根据该位置和预先登录的作业辅助信息相对于产品的显示位置来计算该作业辅助信息的投影位置并生成投影图像，利用投影机2将该作业辅助信息直接投影到该产品，因此，即使在作业人员进行作业的产品的位置发生改变的情况下，与现有结构相比也能减少作业错误。此外，在存在多个作业部位的情况下，即使是不熟悉作业的作业人员，也能减少作业错误。
此外，本发明中，能利用拍摄装置1拍摄到的拍摄图像来实时地进行产品的确定。因此，即使产品的设置位置在作业中途发生改变，也能相应地确定位置。
此外，在图1的结构中，示出了拍摄装置1和投影机2各设置一台的情况。然而，若作业人员因为其移动等而位于拍摄装置1以及投影机2前，则可能无法进行产品检测以及向产品投影作业辅助信息。为此，可以分别设置多台拍摄装置1以及投影机2，例如分别设置在左右两侧。由此，即使存在位于作业人员背后的拍摄装置1以及投影机2，也能利用其它拍摄装置1和投影机2来进行产品的检测以及向产品投影作业辅助信息。
此外，本发明中，在将产品投入拍摄装置1的拍摄区域内的时刻，通过位置确定部34进行产品检测，进行下一次作业指示准备。因此，能顺畅地开始作业人员的作业。
此外，上述位置确定部34中，示出进行整个拍摄图像与特征图像的比对的情况。然而，并不限于此，也可以进行拍摄图像中预先指定的一部分与特征图像的比对，来进行产品检测。即，在现场，能在事先一定程度地掌握产品的设置位置。因此，不将整个拍摄图像作为比对对象，而仅将一部分作为比对对象。由此，能提高位置确定部34的比对处理速度。
实施方式2.
实施方式2中示出如下结构：利用平板终端4确认作业人员是否按照作业辅助信息完成了作业，并根据该确认来切换到下一个作业辅助信息的投影。
图9是表示本发明实施方式2的作业辅助系统的结构的图，图10是表示本发明实施方式2的作业辅助装置3的结构的图。图9所示的实施方式2的作业辅助系统在图1所示的实施方式1的作业辅助系统中添加了平板终端4。此外，图10所示的实施方式2的作业辅助装置3在图2所示的实施方式1的作业辅助装置3中添加了显示图像生成部38、显示图像输出部39以及作业完成检测部40。其他的结构相同，标注相同的标号并仅对不同部分进行说明。
平板终端4是供作业人员进行操作的终端。该平板终端4与投影机2进行的作业辅助信息的投影联动地从作业辅助装置3输入与该作业辅助信息相对应的显示图像，并显示该显示图像。并且，作业人员在完成与该作业辅助信息相对应的作业时，通过点击平板终端4的显示图像上的规定部位，从而向作业辅助装置3通知作业完成。该平板终端4是通用产品即可。
此外，在作业辅助装置3的辅助信息登录部32中，除了实施方式1的登录信息以外，还按照每个产品登录了与作业辅助信息相对应的信息(例如该产品的整体图像、与作业辅助信息相对应的该整体图像上的作业部位、及其作业内容)。辅助信息登录部32中例如预先设定并保存有图11所示那样的表格。图11所示的表格中，除了图5所示的登录信息以外，还登录有表示显示在平板终端4上的产品的整体图像上的作业部位的平板坐标上的X坐标及Y坐标(DSP.X,DSP.Y)、产品的整体图像(DSP.IMAGE)、及其作业内容(DSP.MSG)。
显示图像生成部38基于辅助信息登录部32的登录信息来生成与作业辅助信息相对应的显示图像。
显示图像输出部39与投影图像输出部37联动地将显示图像生成部38所生成的显示图像输出到平板终端4。
作业完成检测部40在平板终端4进行的上述显示图像的显示后，根据作业人员进行的点击操作来检测与作业辅助信息相对应的作业的完成。此时，在以下所示的图12的示例中，作业完成检测部40对作业人员的点击位置和登录在辅助信息登录部32中的整体图像上的作业部位进行比对来检测相应的作业辅助信息所对应的作业的完成。
另外，显示图像生成部38、显示图像输出部39以及作业完成检测部40利用使用了基于软件的CPU的程序处理来执行。
此外，投影位置计算部35在由作业完成检测部38检测到与作业辅助信息相对应的作业完成的情况下，计算下一个作业辅助信息的投影位置。
实施方式2中，在作业人员对产品进行作业时，利用投影机2向产品直接投影作业辅助信息，并在平板终端4中也显示与该作业辅助信息相对应的显示图像。例如，图12中，基于图11所示的登录信息在平板终端4中显示包含产品的整体图像1201、表示作业部位的标记1202、以及表示该作业内容的信息1203在内的显示图像。
作业人员在按照直接投影到产品的作业辅助信息进行操作后，点击图12(a)所示的平板终端4的显示图像上的标记1202。利用作业完成检测部40对此进行检测，在作业辅助装置3中确认根据作业辅助信息的作业已完成。然后，投影机2进行下一个作业辅助信息的投影，并且平板终端4也切换到下一个画面(图12(b))。
如上所述，根据本实施方式2，与投影机2向产品进行的作业辅助信息的投影联动地在平板终端4中显示与该作业辅助信息相对应的显示图像，之后根据作业人员的点击操作确认作业完成，并切换到下一个作业辅助信息的投影，因此除了实施方式1的效果以外，还能增加使用平板终端4的确认功能，能进一步减少作业错误。
另外，上述内容中设想了如下情况：投影位置计算部35按照作业工序顺序计算作业辅助信息的投影位置，将其直接投影到产品，并使平板终端4进行对应的显示。另一方面，在作业辅助信息是辅助检查作业的信息的情况下，投影位置计算部35可以按照不同于上述作业工序顺序的顺序来计算作业辅助信息的投影位置。由此，能以不同于组装作业等作业工序顺序的顺序来进行检查，能提高对检查的意识，有望进一步降低作业错误。
另外，本发明可以在其发明的范围内对各实施方式进行自由组合，或对各实施方式的任意构成要素进行变形、或省略各实施方式中的任意的构成要素。
工业上的实用性
本发明的作业辅助系统适用于即使在作业人员进行作业的产品的位置发生变化的情况下、与现有结构相比也能减少作业错误并且辅助作业人员对产品进行作业的作业辅助系统等。
标号说明
1 拍摄装置
2 投影机
3 作业辅助装置
4 平板终端
31 特征图像登录部
32 辅助信息登录部
33 图像获取部
34 位置确定部
35 投影位置计算部
36 投影图像生成部
37 投影图像输出部
38 显示图像生成部
39 显示图像输出部
40 作业完成检测部
Claims (8)
1.一种作业辅助系统，包括：拍摄装置，该拍摄装置拍摄供作业人员对产品进行作业的作业区域；投影机，该投影机输入包含辅助所述作业的作业辅助信息的投影图像并将其投影到所述作业区域；以及作业辅助装置，该作业辅助装置基于所述拍摄装置所拍摄到的拍摄图像来生成所述投影图像，并将该投影图像输出到所述投影机，其特征在于，
所述作业辅助装置包括：
特征图像登录部，该特征图像登录部将能识别所述产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；
辅助信息登录部，该辅助信息登录部对针对所述产品的所述作业辅助信息的显示位置进行登录；
图像获取部，该图像获取部获取所述拍摄装置所拍摄到的拍摄图像；
位置确定部，该位置确定部基于登录在所述特征图像登录部中的信息来对所述图像获取部获取到的拍摄图像与所述特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像中所述产品的位置；
投影位置计算部，该投影位置计算部根据由所述位置确定部确定的所述产品的位置以及登录在所述辅助信息登录部中的所述作业辅助信息的显示位置来计算该作业辅助信息的投影位置；
投影图像生成部，该投影图像生成部生成将所述作业辅助信息配置在由所述投影位置计算部算出的投影位置得到的投影图像；以及
投影图像输出部，该投影图像输出部将由所述投影图像生成部生成的投影图像输出到所述投影机。
2.如权利要求1所述的作业辅助系统，其特征在于，所述作业辅助信息有多个，
所述辅助信息登录部对与所述作业辅助信息相对应的信息进行登录，
包括所述作业人员进行操作的平板终端，该平板终端输入并显示与所述作业辅助信息相对应的显示图像，
所述作业辅助装置包括：
显示图像生成部，该显示图像生成部基于所述辅助信息登录部的登录信息生成所述显示图像；
显示图像输出部，该显示图像输出部与所述投影图像输出部联动地将由所述显示图像生成部生成的显示图像输出到所述平板终端；以及
作业完成检测部，该作业完成检测部在所述平板终端进行了所述显示图像的显示后，根据所述作业人员的点击操作来检测与该作业辅助信息相对应的作业的完成，
所述投影位置计算部在由所述作业完成检测部检测到与所述作业辅助信息相对应的作业完成的情况下，计算下一个所述作业辅助信息的投影位置。
3.如权利要求2所述的作业辅助系统，其特征在于，所述辅助信息登录部登录所述产品的整体图像、以及与所述作业辅助信息相对应的该整体图像上的作业部位作为与所述作业辅助信息相对应的信息，
所述显示图像生成部生成包含所述产品的整体图像、以及指引到该整体图像上的作业部位的标记在内的图像作为所述显示图像，
所述作业完成检测部通过对所述作业人员的点击位置和登录到所述辅助信息登录部上的所述整体图像上的作业部位进行比对，来计算相应的所述作业辅助信息所对应的作业的完成。
4.如权利要求1所述的作业辅助系统，其特征在于，所述位置确定部进行所述拍摄图像中预先指定的部分与所述特征图像的比对。
5.如权利要求2所述的作业辅助系统，其特征在于，所述投影位置计算部按照作业工序顺序来计算所述作业辅助信息的投影位置。
6.如权利要求2所述的作业辅助系统，其特征在于，所述作业辅助信息是对检查作业进行辅助的信息，
所述投影位置计算部按照不同于作业工序顺序的顺序来计算所述作业辅助信息的投影位置。
7.一种作业辅助装置，基于利用拍摄供作业人员对产品进行作业的作业区域的拍摄装置拍摄到的拍摄图像来生成包含对所述作业进行辅助的作业辅助信息的投影图像，并将该投影图像输出到投影机，该投影机输入所述拍摄图像并将其投影到所述作业区域，其特征在于，包括：
特征图像登录部，该特征图像登录部将能识别所述产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；
辅助信息登录部，该辅助信息登录部对针对所述产品的所述作业辅助信息的显示位置进行登录；
图像获取部，该图像获取部获取所述拍摄装置所拍摄到的拍摄图像；
位置确定部，该位置确定部基于登录在所述特征图像登录部中的信息来对所述图像获取部获取到的拍摄图像与所述特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像中所述产品的位置；
投影位置计算部，该投影位置计算部根据由所述位置确定部确定的所述产品的位置以及登录在所述辅助信息登录部中的所述作业辅助信息的显示位置来计算该作业辅助信息的投影位置；
投影图像生成部，该投影图像生成部生成将所述作业辅助信息配置在由所述投影位置计算部算出的投影位置得到的投影图像；以及
投影图像输出部，该投影图像输出部将由所述投影图像生成部生成的投影图像输出到所述投影机。
8.一种作业辅助系统的作业辅助方法，该作业辅助系统包括：拍摄装置，该拍摄装置拍摄供作业人员对产品进行作业的作业区域；投影机，该投影机输入包含辅助所述作业的作业辅助信息的投影图像并将其投影到所述作业区域；以及作业辅助装置，该作业辅助装置基于所述拍摄装置所拍摄到的拍摄图像来生成所述投影图像，并将该投影图像输出到所述投影机，其特征在于，
所述作业辅助装置具有：
特征图像登录步骤，该特征图像登录步骤中，由特征图像登录部将能识别所述产品的该产品中的三处以上的特征图像与该各处的位置关系一起进行登录；
辅助信息登录步骤，该辅助信息登录步骤中，由辅助信息登录部对针对所述产品的所述作业辅助信息的显示位置进行登录；
图像获取步骤，该图像获取步骤中，由图像获取部获取所述拍摄装置所拍摄到的拍摄图像；
位置确定步骤，该位置确定步骤中，由位置确定部基于登录在所述特征图像登录部中的信息来对所述图像获取部获取到的拍摄图像与所述特征图像进行比对，并根据该拍摄图像的进行比对的各处的位置关系来确定该拍摄图像中所述产品的位置；
投影位置计算步骤，该投影位置计算步骤中，由投影位置计算部根据由所述位置确定部确定的所述产品的位置以及登录在所述辅助信息登录部中的所述作业辅助信息的显示位置来计算该作业辅助信息的投影位置；
投影图像生成步骤，该投影图像生成步骤中，由投影图像生成部生成将所述作业辅助信息配置在由所述投影位置计算部算出的投影位置得到的投影图像；以及
投影图像输出步骤，该投影图像输出步骤中，由投影图像输出部将由所述投影图像生成部生成的投影图像输出到所述投影机。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2014/081196 WO2016084151A1 (ja) | 2014-11-26 | 2014-11-26 | 作業支援システム、作業支援装置及び作業支援方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107003658A true CN107003658A (zh) | 2017-08-01 |
| CN107003658B CN107003658B (zh) | 2019-04-05 |
Family
ID=56073775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480083559.3A Active CN107003658B (zh) | 2014-11-26 | 2014-11-26 | 作业辅助系统、作业辅助装置以及作业辅助方法 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3226090B1 (zh) |
| JP (1) | JP6207764B2 (zh) |
| CN (1) | CN107003658B (zh) |
| MX (1) | MX366907B (zh) |
| WO (1) | WO2016084151A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111198544A (zh) * | 2018-11-20 | 2020-05-26 | 株式会社日立制作所 | 作业熟习辅助装置和作业熟习辅助系统 |
| CN112116193A (zh) * | 2019-06-20 | 2020-12-22 | 株式会社日立制作所 | 作业辅助装置、作业辅助方法以及计算机可读记录介质 |
| CN112384327A (zh) * | 2018-08-22 | 2021-02-19 | 三菱动力株式会社 | 构件装配辅助系统以及构件装配辅助方法 |
| CN114303094A (zh) * | 2019-08-28 | 2022-04-08 | 松下知识产权经营株式会社 | 投影系统和投影方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6831772B2 (ja) * | 2017-12-22 | 2021-02-17 | 株式会社Ｓｕｂａｒｕ | 画像投影装置 |
| JP7034340B2 (ja) * | 2019-01-29 | 2022-03-11 | 三菱電機エンジニアリング株式会社 | 作業支援システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1444009A (zh) * | 2002-03-13 | 2003-09-24 | 欧姆龙株式会社 | 监视装置 |
| CN101710486A (zh) * | 2009-11-15 | 2010-05-19 | 苏州佳世达电通有限公司 | 自动对准系统及方法、显示装置测试系统及方法 |
| CN102375316A (zh) * | 2010-08-27 | 2012-03-14 | 鸿富锦精密工业（深圳）有限公司 | 投影仪及其自动对焦方法 |
| CN103076014A (zh) * | 2012-12-30 | 2013-05-01 | 湖南农业大学 | 一种作业机械自动导航三标识定位装置及方法 |
| CN103140378A (zh) * | 2011-06-07 | 2013-06-05 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004184095A (ja) * | 2002-11-29 | 2004-07-02 | Mitsubishi Heavy Ind Ltd | 検査支援装置 |
| JP2006513509A (ja) * | 2003-02-03 | 2006-04-20 | シーメンス アクチエンゲゼルシヤフト | 合成情報の投影 |
| JP2005322055A (ja) * | 2004-05-10 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム |
| JP5588196B2 (ja) * | 2010-02-25 | 2014-09-10 | キヤノン株式会社 | 認識装置及びその制御方法、コンピュータプログラム |
| JP2013250479A (ja) * | 2012-06-01 | 2013-12-12 | Ricoh Co Ltd | 情報表示装置、プログラムおよび情報記録媒体 |
| US9644942B2 (en) * | 2012-11-29 | 2017-05-09 | Mitsubishi Hitachi Power Systems, Ltd. | Method and apparatus for laser projection, and machining method |
-
2014
- 2014-11-26 MX MX2017005535A patent/MX366907B/es active IP Right Grant
- 2014-11-26 JP JP2016561131A patent/JP6207764B2/ja active Active
- 2014-11-26 WO PCT/JP2014/081196 patent/WO2016084151A1/ja active Application Filing
- 2014-11-26 EP EP14906671.4A patent/EP3226090B1/en active Active
- 2014-11-26 CN CN201480083559.3A patent/CN107003658B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1444009A (zh) * | 2002-03-13 | 2003-09-24 | 欧姆龙株式会社 | 监视装置 |
| CN101710486A (zh) * | 2009-11-15 | 2010-05-19 | 苏州佳世达电通有限公司 | 自动对准系统及方法、显示装置测试系统及方法 |
| CN102375316A (zh) * | 2010-08-27 | 2012-03-14 | 鸿富锦精密工业（深圳）有限公司 | 投影仪及其自动对焦方法 |
| CN103140378A (zh) * | 2011-06-07 | 2013-06-05 | 株式会社小松制作所 | 作业车辆的周边监视装置 |
| CN103076014A (zh) * | 2012-12-30 | 2013-05-01 | 湖南农业大学 | 一种作业机械自动导航三标识定位装置及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112384327A (zh) * | 2018-08-22 | 2021-02-19 | 三菱动力株式会社 | 构件装配辅助系统以及构件装配辅助方法 |
| CN112384327B (zh) * | 2018-08-22 | 2022-12-27 | 三菱重工业株式会社 | 构件装配辅助系统以及构件装配辅助方法 |
| CN111198544A (zh) * | 2018-11-20 | 2020-05-26 | 株式会社日立制作所 | 作业熟习辅助装置和作业熟习辅助系统 |
| CN112116193A (zh) * | 2019-06-20 | 2020-12-22 | 株式会社日立制作所 | 作业辅助装置、作业辅助方法以及计算机可读记录介质 |
| CN114303094A (zh) * | 2019-08-28 | 2022-04-08 | 松下知识产权经营株式会社 | 投影系统和投影方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3226090A4 (en) | 2018-07-25 |
| EP3226090B1 (en) | 2019-10-16 |
| JPWO2016084151A1 (ja) | 2017-04-27 |
| MX2017005535A (es) | 2017-06-20 |
| MX366907B (es) | 2019-07-30 |
| CN107003658B (zh) | 2019-04-05 |
| JP6207764B2 (ja) | 2017-10-04 |
| WO2016084151A1 (ja) | 2016-06-02 |
| EP3226090A1 (en) | 2017-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107003658A (zh) | 作业辅助系统、作业辅助装置以及作业辅助方法 | |
| JP6621836B2 (ja) | 光パターンの強度変動を利用した体積内の物体の深さマッピング | |
| US9058693B2 (en) | Location correction of virtual objects | |
| CN104006825B (zh) | 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法 | |
| JP2020095009A (ja) | コンピュータによる鉄筋測定検査システム | |
| JP6190035B2 (ja) | コンテンツ配信のセグメンテーション | |
| JP2018055675A (ja) | ３ｄ画像データにおける３ｄポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法 | |
| JP7145432B2 (ja) | 投影システム、画像処理装置および投影方法 | |
| CN112381889B (zh) | 相机检验方法、装置、设备及存储介质 | |
| JP2015079444A5 (zh) | ||
| CN108111828A (zh) | 投影设备校正方法、装置及投影设备 | |
| JP2015079447A5 (zh) | ||
| US20120183205A1 (en) | Method for displacement measurement, device for displacement measurement, and program for displacement measurement | |
| JP2015079433A5 (zh) | ||
| CN110942485B (zh) | 基于人工智能的场景感知方法、装置及电子设备 | |
| KR101535801B1 (ko) | 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템 | |
| JP2010140259A (ja) | 情報処理装置、情報処理システム及びプログラム | |
| JP2010049322A (ja) | シミュレーション装置の画像データ生成装置 | |
| JP2018022242A (ja) | 複合システム及びターゲットマーカ | |
| JP6013756B2 (ja) | シミュレータ | |
| US20140313293A1 (en) | Depth measuring schemes | |
| JP7482268B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| Kuronen et al. | 3d hand movement measurement framework for studying human-computer interaction | |
| CN114189605B (zh) | 一种处理方法及装置 | |
| Dzeng et al. | A Scaffolding Assembly Deficiency Detection System with Deep Learning and AR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |