CN113497917A - 影像处理装置 - Google Patents

影像处理装置 Download PDF

Info

Publication number
CN113497917A
CN113497917A CN202110003554.7A CN202110003554A CN113497917A CN 113497917 A CN113497917 A CN 113497917A CN 202110003554 A CN202110003554 A CN 202110003554A CN 113497917 A CN113497917 A CN 113497917A
Authority
CN
China
Prior art keywords
image
video
operator
processor
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110003554.7A
Other languages
English (en)
Inventor
竹野唯志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN113497917A publication Critical patent/CN113497917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种影像处理装置，其能够立刻告知不适当操作，该影像处理装置具有摄像头接口、存储器以及处理器。摄像头接口取得以操作区域为摄像范围的摄像头所摄像到的影像。存储器存储通过摄像头接口取得的影像。处理器从影像检测操作员的不适当操作，在检测出不适当操作的情况下，从存储器提取以判定为不适当操作的操作的开始时刻为起点的影像部分，将从存储器提取的影像作为告知影像显示于影像显示装置。

Description

影像处理装置
本申请主张申请日为2020年03月18日、申请号为JP2020-047813的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。
技术领域
本发明的实施方式涉及一种影像处理装置。
背景技术
以往，在物流中心、仓库或店铺等中，操作员进行取出被指定的物品(商品)后将其收于箱等收纳容器的操作。然而，人为操作难以完全消除操作错误。例如，在物流中心、仓库或大型的店铺等中，操作件数变多，因此，即使操作员谨慎地进行操作，也难以完全消除操作错误。
另一方面，有摄像头一直对由操作员进行的操作的情况进行摄像且对摄像头所摄像到的影像进行录像的监视系统。以往的监视系统为在从操作结果发现了错误的情况下回看已录像的影像的应用。因此，以往的监视系统在发生了操作错误的情况下，无法立刻向操作员告知是哪一操作怎么不适当。
发明内容
鉴于上述问题，本发明所要解决的技术问题是，提供一种影像处理装置，其能够立刻告知不适当操作的影像。
为解决上述问题，本发明的一实施例，提供了影像处理装置具有摄像头接口、存储器以及处理器。摄像头接口取得以操作区域为摄像范围的摄像头所摄像到的影像。存储器存储通过摄像头接口取得的影像。处理器从影像检测操作员的不适当操作，在检测出不适当操作的情况下，从存储器提取以判定为不适当操作的操作的开始时刻为起点的影像部分，使从存储器提取出的影像作为告知影像显示于影像显示装置。
根据上述的影像处理装置，能够立刻告知不适当操作的影像。
在上述的影像处理装置中，所述处理器在通过所述摄像头接口取得的影像中确定作为操作对象而被指示的指示位置和所述操作员实际上进行了操作的实际操作位置，在所述指示位置与所述实际操作位置不一致的情况下，检测出是不适当操作。
根据上述的影像处理装置，通过与指示位置进行对比，从而能够检测出是不适当操作。
在上述的影像处理装置中，所述处理器在通过所述摄像头接口取得的影像中检测所述操作员的位置和姿势，基于所述检测出的操作员的位置和姿势来确定所述实际操作位置。
根据上述的影像处理装置，能够基于操作员的位置和姿势可靠地检测出是不适当操作。
在上述的影像处理装置中，所述处理器在检测出所述不适当操作的情况下，使针对从所述存储器提取出的影像将第一标记与作为操作对象而被指示的指示位置重叠、并将第二标记与所述操作员实际上进行了操作的实际操作位置重叠而得到的影像作为所述告知影像显示于所述影像显示装置。
根据上述的影像处理装置，操作员或监视员能够直观且简单地识别被判定为不适当操作的操作的内容。
在上述的影像处理装置中，还具有输入接口，用于输入示出对所述操作员指示的操作内容的操作指示信息，其中，使针对从所述存储器提取出的影像还重叠有示出基于通过所述输入接口输入的所述操作指示信息的操作内容的信息的影像作为所述告知影像显示于所述影像显示装置。
根据上述的影像处理装置，操作员或监视员能够准确地识别被判定为不适当操作的操作内容。
本发明的另一方面的影像处理装置，具有：摄像头接口，其取得以操作区域为摄像范围的摄像头所摄像到的影像；存储器，其记录通过所述摄像头接口取得到的影像；以及处理器，其从所述影像检测操作员的不适当操作，在检测出所述不适当操作的情况下将包含所述不适当操作的影像部分从所述存储器提取并保存到暂时存储部，告知发生了所述不适当操作。
根据上述的影像处理装置，能够确保并立刻告知不适当操作的影像。
在上述的影像处理装置中，所述处理器将在所述暂时存储部中保存了的所述影像部分向影像显示装置输出。
根据上述的影像处理装置，能够立刻确认不适当操作的影像。
在上述的影像处理装置中，还具备：声音发声装置，其中，所述处理器用声音告知发生了所述不适当操作。
根据上述的影像处理装置，能够通过声音立刻告知探测到不适当操作。
在上述的影像处理装置中，所述处理器将发生了所述不适当操作向下一工序的操作场所具有的输出装置通知。
根据上述的影像处理装置，能够在下一工序的操作场所告知发生了不适当操作。
附图说明
图1是概略地示出实施方式所涉及的影像处理系统的构成例的图。
图2是用于说明应用实施方式所涉及的影像处理系统的操作区域的例子的图。
图3是示出实施方式所涉及的影像处理装置的构成例的框图。
图4是用于说明实施方式所涉及的影像处理装置的动作例的流程图。
图5是示出实施方式所涉及的影像处理装置使影像显示装置显示的告知影像的显示例的图。
附图标记说明
1…影像处理系统，11…影像处理装置，12…影像显示装置，13…操作指示装置，14…显示器，15…操作指示书，111…处理器，114…数据存储器，115…摄像头接口，116…影像输出接口，117…通信接口。
具体实施方式
以下，参照附图说明实施方式。
首先，说明实施方式所涉及的影像处理系统1的构成。
图1是示出实施方式所涉及的影像处理系统1的构成例的图。
如图1所示，影像处理系统1具有摄像头10、影像处理装置11、影像显示装置12、操作指示装置13以及显示器14等。
摄像头10摄像操作区域的影像。摄像头10设置成能够摄像在操作区域中操作员执行操作的情况。例如，摄像头10设置成对操作员取出被指定的物品的操作、以及操作员使取出的物品移动到指定位置的操作进行摄像。摄像头10可以是用1台对整个操作区域进行摄像，也可以是用多台对整个操作区域进行摄像。
影像处理装置11处理摄像头10所摄像到的影像。影像处理装置11一边保存摄像头10所摄像到的影像，一边从摄像头10所摄像到的影像检测不适当操作。影像处理装置11从通过摄像头10摄像到的影像检测与操作员实施了的指示内容不同的操作作为不适当操作。影像处理装置11根据从摄像头10取得的影像提取映出判定为不适当操作的操作的情况的影像。而且，影像处理装置11生成对判定为不适当操作的操作的影像重叠有示出判定为不适当的操作内容的信息的告知影像。
影像显示装置12显示被从影像处理装置11供给的影像。影像显示装置12设置成实施操作的操作员或监视操作的监视员能够目视。影像显示装置12显示对影像处理装置11生成的不适当操作进行告知的告知影像。另外，影像显示装置12也可以具备输出警报声的扬声器并与告知影像一起鸣响警报声。
操作指示装置13输出示出对操作者指示的操作内容的操作指示信息。例如，操作指示装置13生成示出基于从配送管理或接单管理等的系统取得的物品的配送(订货)信息的操作内容的操作指示信息。操作指示装置13使实施操作的操作员能够目视的显示器14显示示出操作内容的操作指示信息。显示器14只要具有实施操作的操作员能够目视的显示画面即可。例如，显示器14设置于操作员在操作中易于看到的位置。另外，显示器14也可以设置于操作员所保持的便携终端装置。
另外，操作指示装置13也可以发行将示出操作内容的操作指示信息打印于纸张的操作指示书15。例如，在操作指示装置13中，操作指示书15通过使打印机将操作指示信息打印于纸张从而发行操作指示书15。另外，也可以是，操作指示装置13向管理操作指示书15的发行的管理装置供给操作指示信息，使管理装置发行操作指示书15。
接着，关于影像处理系统1以影像为监视对象的操作区域和操作内容进行说明。
图2是用于说明影像处理系统1以影像为监视对象的操作区域的例子的图。
如图2所示，在操作区域中有分拣区域200和分类区域300。分拣区域200是实施取出商品的操作(选出操作)的区域。在分拣区域200中配置成为取出操作的对象的商品(物品)。例如，在分拣区域200中设置配置商品的货架。在分拣区域200中，配置各商品的位置设为预先设定的位置。在分拣区域200中，操作员O取出被指定的商品P的位置(取出口)2000(2001、2002、…)是基于配置商品P的位置来指定的。
分类区域300是实施将取出的商品放入收纳容器(箱或推车等)的操作(分类操作)的区域。例如，在分类区域300中，作为收纳容器而配置用于以放入了商品的状态向配送处配送的配送用箱。另外，配置于分类区域300的箱也可以由输送机等输送。另外，分类操作也可以是操作员一边使作为收纳容器的推车移动一边将配置于选出区域的指定的商品放入推车的操作。在这种情况下，分类区域300成为操作员使推车移动的区域。
位于分类区域300的收纳容器可以通过配送处等独立地识别。例如，放置于分类区域300的配送用箱可以通过配送处等独立地识别。另外，收纳容器可以在摄像头10所摄像的影像中独立地识别。在分类区域300中，操作员O将商品P放入被指定的收纳容器的位置(投入口)3000(3001、3002、…)是通过识别收纳容器来指定的。
如图2所示，设置对分拣区域200及分类区域300进行摄像的摄像头10(101、102)。在图2所示的例子中，摄像头101设置成摄像分拣区域200，摄像头102设置成摄像分类区域300。图2示出摄像头10包括两台摄像头101、摄像头102的例子。不过，摄像头10也可以用一台摄像头实现，也可以用三台以上的多个摄像头实现。
另外，在图2所示的例子中，在操作员O能够视认的位置设置有影像显示装置12。影像显示装置12显示被从影像处理装置11供给的影像。如上所述，影像处理装置11从摄像头101或102摄像到的影像提取进行了不适当操作的期间的影像。影像处理装置11生成不适当操作的影像重叠有示出判定为不适当的操作内容的信息的告知影像。影像显示装置12显示影像处理装置11所生成的告知影像。
接着，关于实施方式所涉及的影像处理系统1中的影像处理装置11的构成进行说明。
图3是示出实施方式所涉及的影像处理系统1中的影像处理装置11的构成例的框图。
如图3所示，影像处理装置11具备处理器111、ROM112、RAM113、数据存储器114、摄像头接口(I/F)115、影像输出接口(I/F)116以及通信接口(I/F)117。
处理器111通过执行程序来进行各种处理。处理器111执行在ROM112或数据存储器114等中存储的程序(系统程序、应用程序或固件)。处理器111例如是CPU、MPU或DSP。另外，处理器111也可以将多个CPU、MPU或DSP等进行组合。
ROM112是用于数据的读出的非易失性存储器。ROM112对处理器111所执行的程序进行存储。ROM112对处理器111为了进行各种处理所使用的数据或各种设定值等进行存储。
RAM113是用于数据的读写的存储器。例如，RAM113作为在处理器111进行各种处理的情况下暂时存储数据的工作存储器使用。
数据存储器114是能够改写的非易失性存储器。数据存储器114保存各种数据。数据存储器114可以存储处理器111所执行的程序或设定值。另外，数据存储器114是保存摄像头10所摄像到的影像的存储器。例如，数据存储器114将摄像头10以规定的帧率摄像的图像(影像)与时刻信息一起作为影像数据进行保存。处理器111读出数据存储器114所保存的影像(影像数据)中从指定时刻起的影像。
摄像头接口115是用于取得摄像头10所摄像到的影像的接口。摄像头接口115只要是取得摄像头10所摄像到的影像的接口即可。例如，摄像头接口115可以是经由网络与多个摄像头10连接的网络接口。摄像头接口115可以是与摄像头10串行连接的接口。
影像输出接口116是用于与影像显示装置12进行通信的接口。影像输出接口116只要是供给使影像显示装置12显示的影像数据的接口即可。例如，影像输出接口116可以是经由网络与影像显示装置12通信的网络接口。影像输出接口116可以是与影像显示装置12串行连接的接口。
通信接口117是用于与操作指示装置13进行通信的接口。通信接口117是取得操作指示信息的输入接口。例如，通信接口117是经由网络与操作指示装置13进行通信的网络接口。另外，通信接口117也可以是与操作指示装置13串行连接的接口。
另外，通信接口117只要是取得操作指示信息的输入接口即可，不限于与操作指示装置13进行通信的接口。例如，通信接口117可以代替操作指示装置13而从对在操作指示书15中打印的信息进行管理的管理装置取得操作指示信息。另外，通信接口117也可以置换为从读取了打印有操作内容的操作指示书15的图像读取操作指示信息的装置。
接着，关于实施方式所涉及的影像处理系统1中的影像处理装置11所执行的动作进行说明。
图4是用于说明实施方式所涉及的影像处理系统1中的影像处理装置11所执行的动作例的流程图。
在操作区域中，操作者通过观看显示器14中显示的操作指示信息或打印有操作指示信息的操作指示书15来识别操作指示。操作指示信息是示出对操作者进行指示的操作内容的信息。显示器14中显示的操作指示信息或操作指示书15中打印的操作指示信息是从操作指示装置13输出的信息。在此，操作指示装置13还将操作指示信息供给到影像处理装置11。
影像处理装置11通过通信接口117从操作指示装置13取得操作指示信息(ACT11)。影像处理装置11的处理器111将通过通信接口117取得的操作指示信息保存到RAM113或数据存储器114。
另一方面，摄像头10对以包含操作者实施操作的分拣区域和分类区域的操作区域为摄像范围的影像进行摄像。摄像头10将摄像到的影像的影像数据向影像处理装置11发送。影像处理装置11取得通过摄像头接口115从摄像头10供给的影像数据(ACT12)。处理器111将通过摄像头接口115取得的影像数据在RAM113中进行缓冲后，存储到数据存储器114。数据存储器114存储摄像头10所摄像的影像的影像数据。
当取得摄像头10摄像到的影像时，处理器111在取得的影像中检测操作员(ACT13)。当检测出影像中的操作员时，处理器111检测取得的影像中的操作员的位置及姿势(ACT14)。例如，处理器111根据摄像头10的摄像方向和摄像到的影像中的操作员的位置来检测操作区域中的操作员的位置。
另外，处理器111根据在影像中检测出的操作员的图像来检测操作员的姿势。例如，处理器111对检测出的操作员的图像应用OpenPose等姿势推定技术来检测操作员的姿势。操作员的姿势是为了判定操作员正在进行取出商品的操作还是正在实施投入商品的操作而检测的。操作员移动手持商品并实施选出操作或分类操作。因此，处理器111作为操作员的姿势而推定操作员的手的位置或手的动作等。
另外，处理器111在从摄像头10取得的影像中检测分拣区域中的各商品的取出口(取出位置)(ACT15)。例如，处理器111从取得的影像检测分拣区域的影像。当检测出分拣区域的影像时，处理器111检测分拣区域的影像中的各商品的取出口。例如，处理器111使用SSD(Single ShotMultiBox Detector：单发多盒检测器)等物体检测技术来检测分拣区域的影像中的各商品的取出口。
另外，处理器111在取得的影像中检测分类区域中的商品的投入口(商品向收纳容器的投入位置)(ACT16)。例如，处理器111从取得的影像检测分类区域的影像。当检测出分类区域的影像时，处理器111检测分类区域的影像中的各商品的投入口。例如，处理器111使用SSD等物体检测技术来检测分类区域中的收纳容器(例如，箱、推车)，将收纳容器的开口部检测为商品的投入口。
此外，处理器111也可以根据操作员的姿势等判定操作员是正在进行分拣操作还是正在进行分类操作。例如，在判定为操作员正在进行分拣操作的情况下，处理器111可以省略检测分类区域中的商品的投入口的处理。另外，在判定为操作员正在进行分类操作的情况下，处理器111可以省略检测选出区域中的商品的取出口的处理。
当检测影像中的商品的取出口和商品的投入口时，处理器111指定通过操作指示信息指示了操作的位置(指示位置)(ACT17)。处理器111在已取得的影像中，将操作指示信息作为操作对象进行指定的商品的取出口和投入口指定为操作的指示位置。例如，处理器111从根据影像检测出的各商品的取出口指定以操作指示信息指定的商品的取出口。另外，处理器111从根据影像检测出的商品的投入口指定以操作指示信息指定的商品的投入口。
另外，处理器111对在影像中操作员实际进行了操作的位置(实际操作位置)进行指定(ACT18)。例如，处理器111基于操作员的位置和姿势，将实际上操作员取出了商品的位置(取出口)或投入了商品的位置(投入口)指定为实际操作位置。
当指定操作的指示位置和实际操作位置时，处理器111根据指示位置和实际操作位置的关系性来判定操作员进行了的操作是否是不适当操作(ACT19)。处理器111在指示位置与实际操作位置一致的情况下，判定为操作员实施了的操作是适当的(ACT19，NO)。另外，处理器111在指示位置与实际操作位置不一致的情况下，判定为操作员实施了的操作是不适当操作(ACT19，YES)。
在判定为操作员实施了的操作是不适当操作的情况下(ACT19，YES)，处理器111提取实施了判定为不适当操作的操作的期间的影像(ACT20)。处理器111指定判定为不适当操作的操作已开始的时刻(不适当操作的开始时刻)。当指定不适当操作的开始时刻时，处理器111以不适当操作的开始时刻为起点将数据存储器114中已保存的影像切出。
当提取不适当操作的影像时，处理器111将第一标记的图像与该影像中的操作的指示位置重叠(ACT21)。当将第一标记的图像重叠时，处理器111将第二标记的图像与重叠了第一标记的影像中的实际操作位置进一步重叠(ACT22)。
当将第一和第二标记重叠时，处理器111将示出操作内容的信息与重叠了第一和第二标记的影像进一步重叠(ACT23)。示出与影像重叠的操作内容的信息是判定为不适当的操作内容或操作指示信息所示的操作内容。例如，示出操作内容的信息以显示为文字信息的方式与不适当操作的影像重叠。
处理器111将与第一和第二标记重叠了示出操作内容的信息的影像向影像显示装置12输出(ACT24)。与第一和第二标记重叠了示出操作内容的信息的影像是用于告知不适当操作的告知影像。处理器111将用于告知不适当操作的告知影像供给到影像显示装置12，从而使影像显示装置12显示告知影像。
图5是示出影像处理装置11使影像显示装置12显示的告知影像的显示例的图。
如图5所示，影像显示装置12显示重叠了第一标记501、第二标记502、示出操作内容的信息503的告知影像。影像显示装置12作为告知影像显示从判定为不适当的操作的开始时刻起的影像。第一标记501示出通过操作指示信息指示为操作对象的指示位置。第二标记502示出表示实际上操作员进行了操作的位置的实际操作位置。另外，示出操作内容的信息503用文字等显示判定为不适当的操作内容或应实施的操作指示信息所示的操作内容。
根据图5所示的显示例，影像显示装置12在不适当操作的影像中将第一标记501和第二标记502显示于不同的位置。其结果是，在本影像处理系统1中，能够直观且易于理解地告知在与指示位置不同的位置进行了操作。另外，根据图5所示的显示例，影像显示装置12在不适当操作的影像中显示示出操作内容的信息503。其结果是，在本影像处理系统1中，也能够用文字等告知关于判定为不适当的操作的信息。
此外，在上述的动作例中，设为影像处理装置11通过影像解析来检测影像中的各商品的取出口及投入口并进行了说明。不过，影像处理装置11也可以通过影像解析以外的方法来检测影像中的各商品的取出口及投入口。
例如，若各商品的取出口是固定位置，则将摄像范围固定的摄像头10一直在相同的位置摄像各商品的取出口。在这种情况下，能够将摄像头10摄像的影像中的示出商品的取出口的位置的信息预先保存到数据存储器114。由操作指示信息指定的商品的取出口能够通过数据存储器114中存储的信息而指定为指定位置。
同样地，若各商品的投入口的位置是固定的，则将摄像范围固定的摄像头10一直在相同的位置摄像各商品的投入口。在这种情况下，能够将摄像头10所摄像的影像中的示出商品的投入口的位置的信息预先保存到数据存储器114。由操作指示信息指定的商品的投入口能够通过数据存储器114中存储的信息而指定为指定位置。
另外，实际操作位置能够基于探测操作员针对各商品的取出口及各商品的投入口进行存取的探测传感器(例如，接近传感器)的探测结果来指定。例如，处理器111将由探测传感器探测到操作员的接近的商品的取出口或投入口指定为实际操作位置。另外，如上所述，若取出口及投入口的位置是固定的，则能够将示出取出口及投入口的位置的信息预先保存到数据存储器114。在这种情况下，处理器111能够根据数据存储器114中已保存的信息来指定作为实际操作位置的取出口或投入口在影像中的位置。
如上所示，根据本实施方式，影像处理装置将摄像头以操作范围为摄像对象范围而摄像到的影像存储到存储器。影像处理装置指定操作员应操作的对象的影像内的指示位置。影像处理装置指定操作员实际上操作的对象的影像内的实际操作位置。影像处理装置在所述指示位置与所述实际操作位置不一致的情况下判定不适当操作。影像处理装置以判定为所述不适当操作的操作的开始时刻为起点而提取所述存储器中已被存储的影像。影像处理装置使影像显示装置显示所述提取到的影像。
通过以上的处理，影像处理装置能够使影像显示装置显示摄像到判定为不适当操作的操作的情况的影像。其结果是，操作员或监视员能够立刻用影像来确认被判定为不适当操作的操作的情况。
另外，影像处理装置在以判定为不适当操作的操作的开始时刻为起点而提取的影像中将第一标记与指示位置重叠，将第二标记与实际操作位置重叠。影像处理装置使影像显示装置显示重叠有所述第一标记及所述第二标记了的影像。由此，影像处理装置能够使影像显示装置显示示出作为操作对象被指示的指示位置和实际上进行了操作的实际操作位置的影像。其结果是，操作员或监视员能够直观且简单地识别被判定为不适当操作的操作的内容。
另外，影像处理装置具备取得向操作员指示了的操作指示信息的接口。影像处理装置将判定为不适当操作的操作所发生的时点的操作指示内容与不适当操作的影像一起显示。由此，影像处理装置能够将判定为不适当操作的操作内容与对判定为不适当操作的操作的情况进行了摄像的影像一起显示于影像显示装置。其结果是，操作员或监视员能够准确地识别被判定为不适当操作的操作内容。
此外，在上述的实施方式中，以在装置内的存储器中预先存储有处理器所执行的程序的情况进行了说明。但是，处理器所执行的程序既可以从网络下载到装置，也可以从存储介质安装于装置。作为存储介质，只要是能够存储程序并且装置能够读取的存储介质即可。另外，通过预先安装或下载而得到的功能也可以与装置内部的OS(操作系统)等配合来实现。
另外，在影像显示装置12中显示了对判定为不适当操作的操作的样子进行了摄像的影像。但是，告知处也可以不是影像显示装置12。例如，在影像处理装置11中具备蜂鸣器等声音发声装置。还在数据存储器114中具备保存包含提取出的不适当操作的影像部分的暂时存储部。并且，处理器111在检测出不适当操作的情况下，将包含不适当操作的影像部分暂时存储到数据存储器114的暂时存储部，将发生了不适当操作通知给声音发声装置。声音发声装置发出蜂鸣器音等，告知发生了不适当操作。由此，操作员或监视员能够立刻识别发生了不适当操作。然后，经由影像输出接口116将暂时存储部的影像部分输出到影像显示装置12。由此，能够用影像显示装置12立刻确认不适当操作的影像。需要说明的是，影像处理装置11具有操作部，通过操作员或监视员对操作部的操作而向影像显示装置12输出影像部分。
另外，包含不适当操作的影像部分以判定为不适当操作的操作的开始时刻为起点，但只要是包含不适当操作的影像部分，则提取范围也可以是规定的期间。例如可以提取从检测出不适当操作的时刻起5分钟前到检测出不适当操作的时刻为止的影像。
另外，一般地物流中心、仓库等分为几个工序进行操作。例如是取出物品的工序、将取出了的物品收纳于箱等收纳容器的工序、将收纳容器梱包的工序、对梱包后的收纳容器贴附配送处的标签的工序等。具有这种多个工序的物流中心、仓库等希望将发生了不适当操作通知给下一工序。在下一工序中告知发生了不适当操作，从而能够防止不适当操作的物品向外部流出。因此可以是，处理器111不是经由影像处理装置11的声音发声装置及影像显示装置12而是经由通信接口117对下一工序的操作场所所具有的输出装置(例如显示装置或声音发声装置)通知探测到不适当操作，用该输出装置告知发生了不适当操作。
说明了本发明的几个实施方式，但这些实施方式是作为例子提出的，并非旨在限定发明的范围。这些新的实施方式能够以其它各种方式进行实施，能够在不脱离发明的宗旨的范围内进行各种省略、替换、变更。这些实施方式及其变形被包括在发明的范围和宗旨中，同样地被包括在权利要求书所记载的发明及其均等的范围内。

Claims (10)

1.一种影像处理装置，其特征在于，具有：
摄像头接口，其取得以操作区域为摄像范围的摄像头所摄像到的影像；
存储器，其存储通过所述摄像头接口取得到的影像；以及
处理器，其从所述影像检测操作员的不适当操作，在检测出所述不适当操作的情况下，从所述存储器提取以判定为所述不适当操作的操作的开始时刻为起点的影像部分，并使从所述存储器提取出的影像作为告知影像显示于影像显示装置。
2.根据权利要求1所述的影像处理装置，其中，
所述处理器在通过所述摄像头接口取得的影像中确定作为操作对象而被指示的指示位置和所述操作员实际上进行了操作的实际操作位置，在所述指示位置与所述实际操作位置不一致的情况下，检测出是不适当操作。
3.根据权利要求2所述的影像处理装置，其中，
所述处理器在通过所述摄像头接口取得的影像中检测所述操作员的位置和姿势，基于所述检测出的操作员的位置和姿势来确定所述实际操作位置。
4.根据权利要求2或3所述的影像处理装置，其中，
所述处理器在检测出所述不适当操作的情况下，使针对从所述存储器提取出的影像将第一标记与作为操作对象而被指示的指示位置重叠、并将第二标记与所述操作员实际上进行了操作的实际操作位置重叠而得到的影像作为所述告知影像显示于所述影像显示装置。
5.根据权利要求1至3中任一项所述的影像处理装置，其中，还具有：
输入接口，用于输入示出对所述操作员指示的操作内容的操作指示信息，
其中，使针对从所述存储器提取出的影像还重叠有示出基于通过所述输入接口输入的所述操作指示信息的操作内容的信息的影像作为所述告知影像显示于所述影像显示装置。
6.根据权利要求4所述的影像处理装置，其中，还具有：
输入接口，用于输入示出对所述操作员指示的操作内容的操作指示信息，
其中，使针对从所述存储器提取出的影像还重叠有示出基于通过所述输入接口输入的所述操作指示信息的操作内容的信息的影像作为所述告知影像显示于所述影像显示装置。
7.一种影像处理装置，其特征在于，具有：
摄像头接口，其取得以操作区域为摄像范围的摄像头所摄像到的影像；
存储器，其记录通过所述摄像头接口取得到的影像；以及
处理器，其从所述影像检测操作员的不适当操作，在检测出所述不适当操作的情况下将包含所述不适当操作的影像部分从所述存储器提取并保存到暂时存储部，告知发生了所述不适当操作。
8.根据权利要求7所述的影像处理装置，其中，
所述处理器将在所述暂时存储部中保存了的所述影像部分向影像显示装置输出。
9.根据权利要求7所述的影像处理装置，其中，还具备：
声音发声装置，
其中，所述处理器用声音告知发生了所述不适当操作。
10.根据权利要求7所述的影像处理装置，其中，
所述处理器将发生了所述不适当操作向下一工序的操作场所具有的输出装置通知。
CN202110003554.7A 2020-03-18 2021-01-04 影像处理装置 Pending CN113497917A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020047813A JP7471878B2 (ja) 2020-03-18 2020-03-18 映像処理装置
JP2020-047813 2020-03-18

Publications (1)

Publication Number Publication Date
CN113497917A true CN113497917A (zh) 2021-10-12

Family

ID=77748698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110003554.7A Pending CN113497917A (zh) 2020-03-18 2021-01-04 影像处理装置

Country Status (3)

Country Link
US (1) US11763592B2 (zh)
JP (1) JP7471878B2 (zh)
CN (1) CN113497917A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481702B1 (en) * 2020-06-18 2022-10-25 MiView Integrated Solutions, LLC Worksite information management system
CN114519841A (zh) * 2020-11-05 2022-05-20 百威雷科技控股有限公司 生产线监视方法及其监视系统
US20220253767A1 (en) * 2021-02-09 2022-08-11 Verizon Patent And Licensing Inc. Computerized system and method for dynamic task management and execution

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146789A1 (en) * 2010-12-09 2012-06-14 Nicholas De Luca Automated monitoring and control of safety in a production area
CN106415662A (zh) * 2014-06-03 2017-02-15 本田技研工业株式会社 车辆周围监视装置
CN107036596A (zh) * 2017-04-12 2017-08-11 无锡研测技术有限公司 基于mems惯性传感器模组的工业手环
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN109413376A (zh) * 2017-08-16 2019-03-01 奥林巴斯株式会社 作业支援系统、可穿戴装置、摄像装置、作业支援方法
WO2019087870A1 (ja) * 2017-10-30 2019-05-09 Ｎｅｃフィールディング株式会社 作業支援装置、作業支援方法及びプログラム
CN110047272A (zh) * 2019-05-21 2019-07-23 重庆工程学院 一种基于大数据的智能交通行人行为监控报警系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
JP5686108B2 (ja) 2012-02-24 2015-03-18 株式会社ダイフク 誤作業防止装置および誤作業防止装置が設けられた仕分け設備
US9098738B2 (en) * 2013-02-26 2015-08-04 Elwha Llc System and method for contamination monitoring
JP6578262B2 (ja) 2016-09-05 2019-09-18 株式会社日立ビルシステム 映像監視システム
US10482613B2 (en) * 2017-07-06 2019-11-19 Wisconsin Alumni Research Foundation Movement monitoring system
JP7087882B2 (ja) * 2018-09-26 2022-06-21 オムロン株式会社 品質予測装置、品質予測方法、及び品質予測プログラム
US20210279657A1 (en) * 2020-02-17 2021-09-09 Christopher Golden Systems and methods for maintaining worksite safety
JP7443114B2 (ja) * 2020-03-25 2024-03-05 東芝テック株式会社 作業監視システム
US20220019802A1 (en) * 2020-07-16 2022-01-20 International Business Machines Corporation Food safety and compliance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120146789A1 (en) * 2010-12-09 2012-06-14 Nicholas De Luca Automated monitoring and control of safety in a production area
CN106415662A (zh) * 2014-06-03 2017-02-15 本田技研工业株式会社 车辆周围监视装置
CN107036596A (zh) * 2017-04-12 2017-08-11 无锡研测技术有限公司 基于mems惯性传感器模组的工业手环
CN109413376A (zh) * 2017-08-16 2019-03-01 奥林巴斯株式会社 作业支援系统、可穿戴装置、摄像装置、作业支援方法
JP2019036132A (ja) * 2017-08-16 2019-03-07 オリンパス株式会社 作業支援システム，ウェアラブル装置，撮像装置，作業支援方法
WO2019087870A1 (ja) * 2017-10-30 2019-05-09 Ｎｅｃフィールディング株式会社 作業支援装置、作業支援方法及びプログラム
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
CN110047272A (zh) * 2019-05-21 2019-07-23 重庆工程学院 一种基于大数据的智能交通行人行为监控报警系统

Also Published As

Publication number Publication date
US20210295040A1 (en) 2021-09-23
US11763592B2 (en) 2023-09-19
JP2021149422A (ja) 2021-09-27
JP7471878B2 (ja) 2024-04-22

Similar Documents

Publication Publication Date Title
CN113497917A (zh) 影像处理装置
US11039091B2 (en) Verification system for a pharmacy packaging system
JP6916015B2 (ja) 販売データ処理装置およびプログラム
EP3031010B1 (en) Remote pharmaceutical verification
WO2015145982A1 (ja) 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
US11464149B2 (en) System for monitoring outside work area of component mounting machine
WO2018100717A1 (ja) 部品実装ラインの生産管理システム
CN213737269U (zh) 作业监视系统
JP2007334493A (ja) 商品販売データ処理装置
CN110889317A (zh) 操作辅助装置
JP2017088345A (ja) 検品処理装置、検品システム、検品処理方法及びプログラム
CN111846465B (zh) 烟草条烟品牌分拣校验及追溯系统及方法
US20170099752A1 (en) Maintenance support system and maintenance support method in electronic component mounting system
JP2011018367A (ja) 閉ループ位置検出システム
US20160267429A1 (en) Product management device and product management method
JP2020042430A (ja) 梱包作業装置、及び、梱包作業管理方法
JP5096787B2 (ja) 作業支援システム、作業管理システム、および作業管理方法
US11595595B2 (en) Verification system for a pharmacy packaging system
CN106358435B (zh) 部件供给装置以及部件安装系统和部件安装方法
US20220368850A1 (en) Production system
US9790029B2 (en) Conveyor-using packing management system
JP7451216B2 (ja) 納品管理装置、データサーバおよび入荷確認システム
EP4216178A1 (en) Method and system for data matching
JP7551397B2 (ja) 画像処理装置
CN113226953B (zh) 香烟商品管理系统以及香烟商品管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination