CN110191257B - 传感器系统、信息处理装置、传感器管理方法 - Google Patents

传感器系统、信息处理装置、传感器管理方法 Download PDF

Info

Publication number
CN110191257B
CN110191257B CN201811351216.7A CN201811351216A CN110191257B CN 110191257 B CN110191257 B CN 110191257B CN 201811351216 A CN201811351216 A CN 201811351216A CN 110191257 B CN110191257 B CN 110191257B
Authority
CN
China
Prior art keywords
information
image sensors
image
constituent elements
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811351216.7A
Other languages
English (en)
Other versions
CN110191257A (zh
Inventor
保理江胜
高山正広
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110191257A publication Critical patent/CN110191257A/zh
Application granted granted Critical
Publication of CN110191257B publication Critical patent/CN110191257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00519—Constructional details not otherwise provided for, e.g. housings, covers
    • H04N1/00538—Modular devices, i.e. allowing combinations of separate components, removal or replacement of components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种用于使模块化结构的图像传感器的管理容易化的传感器系统、信息处理装置、传感器管理方法。在具有多个图像传感器、及经由网络而与所述多个图像传感器连接的信息处理装置的传感器系统中，在各图像传感器的多个构成元件的各个中，设置存储与所述构成元件相关的固有信息的非易失性存储器。信息处理装置包括：信息获取部，从所述多个图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述存储器中所存储的信息；以及管理处理部，使用由所述信息获取部所获取的所述信息，执行与所述多个图像传感器的管理相关的规定处理。

Description

传感器系统、信息处理装置、传感器管理方法
技术领域
本发明涉及一种用于对在工场的生产线(production line)等上利用的图像传感器进行管理的技术，尤其涉及一种传感器系统、信息处理装置、传感器管理方法。
背景技术
在工场(factory)的生产线中，为了实现产品(products)的检查或管理的自动化或省力化，多采用被称作图像传感器的系统(system)。现有技术中，一般采用将摄像机(camera)与图像处理装置通过电缆(cable)予以连接的结构(参照专利文献1)，但最近，处理一体型图像传感器也已面世，所述处理一体型图像传感器是将摄像机与图像处理装置一体化，利用单个装置来进行拍摄至图像处理。此种处理一体型图像传感器也被称作“智能摄像机(smart camera)”，也有照明或镜头成为一体者。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2007-214682号公报
发明内容
[发明所要解决的问题]
为了利用图像传感器来进行稳定的检查，理想的是，根据拍摄环境、检查对象或目的等，来使照明/镜头/拍摄元件的型号(种类)或规格/性能最佳化。因此，提供智能摄像机的厂家(maker)以往是列出(line up)使照明/镜头/拍摄元件等的型号(种类)或规格/性能逐个少许变化的多个商品(goods)，以便用户能够选择最佳的规格(specification)者。
此外，在工场的物联网(Internet of Things，IoT)化加速的过程中，智能摄像机的适用范围扩大，网罗多样化的用户需求(needs)的商品变化(variation)的提供逐渐变得困难。而且，因检查对象的变更进入短周期，例如为了在商品竞争中与竞争对手差异化而扩大符合各个顾客喜好的大规模定制(mass customization)或季节限定商品的提供、以智能电话为代表的数字设备商品的生命周期(life cycle)的缩短等，因而，配合检查来部分地变更照明/镜头等以使其达到最佳的需求也在增加。因此，近年来，所谓的模块化结构的智能摄像机已面世，所述模块化结构的智能摄像机是将照明、镜头、拍摄元件分别模块化，在用户侧将照明、镜头、拍摄元件自由组合。例如，只要在厂家侧各提供五种照明模块、镜头模块、拍摄元件模块，则可实现125种组合，用户能够从其中选择符合(match)要求规格的组合。
模块化结构对于厂家而言，有削减商品变化的优点(merit)，对于用户而言，有选择项或自由度扩展的优点。然而，另一方面，有可能存在如下所述的缺点(demerit)。现有技术中，为了应对工场中的问题或维护，只要以图像传感器为单位来管理设备即可，但在导入模块化结构的图像传感器的情况下，可预见的是，掌握各个图像传感器包含何种模块的组合、各个模块为怎样的模块(制造年月日、导入时期、使用时间、从其他设备的沿用历史、详细规格等)的要求将扩大，设备的管理或保养/维护有可能复杂化。通常，由于在工场内设置有多个图像传感器(例如若为大规模的工场，则其数量将达到数百至数千台)，因此管理或保养/维护工时的增大成为严重的问题。
本发明是有鉴于所述实际情况而完成，其目的在于提供一种用于使模块化结构的图像传感器的管理容易化的技术。
[解决问题的技术手段]
本发明的第一侧面提供一种传感器系统，其包括多个图像传感器、及经由网络而与所述多个图像传感器连接的信息处理装置，所述传感器系统的特征在于，所述图像传感器是通过将经模块化的多个构成元件予以组合而构成的模块化型图像传感器，所述多个构成元件分别具有非易失性存储器，所述非易失性存储器存储与所述构成元件相关的固有信息，所述信息处理装置包括：信息获取部，从所述多个图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述存储器中所存储的信息；以及管理处理部，使用由所述信息获取部所获取的所述信息，执行与所述多个图像传感器的管理相关的规定处理。
根据此结构，在构成元件的各个中设置非易失性存储器，且在此存储器内存储有与构成元件相关的固有信息，因此能够将构成元件(硬件(hardware))及其固有信息(软件(software))相关联地进行处理。并且，信息处理装置是构成为，可从各个图像传感器经由网络来获取信息，因此容易收集与处于网络上的多个图像传感器各自的构成元件相关的准确信息。因此，能够使模块化结构的图像传感器的管理(包含运用、保养、维护)容易化。
所述信息获取部可至少获取用于确定构成所述图像传感器的所述构成元件的形式的信息。信息处理装置通过参照此种信息，能够准确且简单地确定构成图像传感器的各构成元件的形式(种类)。作为用于确定形式的信息，例如能够使用目录(catalog)上的形式名称或形式编号、或者对它们进行编码所得的信息等。
所述信息获取部可至少获取用于确定构成所述图像传感器的所述构成元件的个体的信息。信息处理装置通过参照此种信息，能够准确且简单地确定构成图像传感器的各构成元件的个体。作为用于确定个体的信息，例如能够使用商品的序列号或批次号、或者对它们进行编码所得的信息等。
所述信息获取部可至少获取表示构成所述图像传感器的所述构成元件的规格、性能及功能中的至少任一者的信息。信息处理装置通过参照此种信息，能够准确且简单地确定构成图像传感器的各构成元件的规格、性能、功能等。
所述信息获取部可至少获取用于决定构成所述图像传感器的所述构成元件的更换时期的信息。信息处理装置通过参照此种信息，能够适当且简单地决定图像传感器和/或个别构成元件的更换的要否或更换时期。作为用于决定构成元件的更换时期的信息，例如能够使用商品的制造日、购买日、使用开始日、使用状况(使用期间、运转时间)、更换推荐时期等信息。
所述信息获取部可至少获取用于决定构成所述图像传感器的所述构成元件的维护时期的信息。信息处理装置通过参照此种信息，能够适当且简单地决定图像传感器和/或个别构成元件的维护的要否或维护时期。作为用于决定维护时期的信息，例如能够使用商品的制造日、购买日、使用开始日、维护历史(前次的维护日等)、使用状况(使用期间、运转时间)等信息。另外，维护包括硬件的更换/调整/修理、软件的更新/调整(也称作校正)。
所述规定处理也可包含：收集所述多个图像传感器各自的构成元件的组合的处理。而且，所述规定处理也可包含：从所述多个图像传感器中提取包含有可能存在问题的构成元件的图像传感器的处理。而且，所述规定处理也可包含：判断所述多个图像传感器的构成元件的更换和/或维护的要否的处理。
所述多个构成元件可包含：对被摄物进行照明的照明部、使所述被摄物的光学像成像的镜头部、及基于所述光学像来生成图像的拍摄部。这是因为，通过改变照明部/镜头部/拍摄部的组合，能够构成各种规格的图像传感器。
本发明的第二侧面提供一种信息处理装置，其经由网络而与多个图像传感器连接，所述信息处理装置的特征在于，所述图像传感器是通过将经模块化的多个构成元件予以组合而构成的模块化型图像传感器，所述多个构成元件分别具有非易失性存储器，所述非易失性存储器存储与所述构成元件相关的固有信息，所述信息处理装置包括：信息获取部，从所述多个图像传感器的各个，经由网络而获取构成所述图像传感器的所述构成元件的所述存储器中所存储的信息；以及管理处理部，使用由所述信息获取部所获取的所述信息，执行与所述多个图像传感器的管理相关的规定处理。
根据此结构，信息处理装置是构成为，可从各个图像传感器经由网络来获取信息，因此容易收集与处于网络上的多个图像传感器各自的构成元件相关的准确信息。因此，能够使模块化结构的图像传感器的管理(包含运用、保养、维护)容易化。
本发明的第三侧面提供一种传感器管理方法，所述传感器管理方法是用于在设有多个模块化型图像传感器的生产线中，通过信息处理装置来管理多个图像传感器的方法，所述模块化型图像传感器是通过将经模块化的多个构成元件予以组合而构成，在各图像传感器的多个构成元件的各个中，设有非易失性存储器，所述非易失性存储器存储与所述构成元件相关的固有信息，通过所述信息处理装置，从所述多个图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述存储器中所存储的信息，通过所述信息处理装置，使用从所述多个图像传感器获取的所述信息，执行与所述多个图像传感器的管理相关的规定处理。
根据此结构，能够通过信息处理装置来容易地收集与设在生产线上的多个图像传感器各自的构成元件相关的准确信息，因此能够使模块化结构的图像传感器的管理(包含运用、保养、维护)容易化。
[发明的效果]
根据本发明，能够提供一种用于使模块化结构的图像传感器的管理容易化的技术。
附图说明
图1是示意性地表示传感器系统的整体结构的一例的图。
图2(A)是示意性地表示图像传感器的外观的立体图，图2(B)是示意性地表示将图像传感器分解的状态的立体图。
图3是示意性地表示图像传感器的结构的框图。
图4是示意性地表示信息处理装置的结构的框图。
图5是表示模块结构信息的收集例的图。
图6是表示问题发生时的原因确定处理的一例的图。
图7是表示问题的原因与对策的输出例的图。
图8是表示维护处理的一例的图。
图9(A)及图9(B)是表示维护处理的输出例的图。
[符号的说明]
1：传感器系统
10：信息处理装置
11：产品
12：网络
13：输送机
2：图像传感器
20：照明部
21：镜头部
22：拍摄部
24：处理部
25：输入/输出接口
26：传感器本体
200：照明模块存储器
210：镜头模块存储器
220：拍摄模块存储器
40：信息获取部
41：管理处理部
42：信息输出部
50：用户终端
具体实施方式
＜适用例＞
首先，对适用本发明的场景的一例进行说明。图1表示本发明的实施方式的传感器系统的整体结构的一例。图2(A)及图2(B)示意性地表示本发明的实施方式的图像传感器的一例。
本实施方式的传感器系统1是用于在生产线等上进行产品11的检查或管理等的系统，具有多个图像传感器2与信息处理装置10。信息处理装置10通过EtherCAT等工业用网络12而与图像传感器2连接，可与各个图像传感器2之间进行经由网络12的数据收发。图1的示例中，设置有对在输送机(conveyor)13上流动的产品11进行拍摄的三台图像传感器2。但是，图像传感器2的数量并不限于三台，在大规模的工场中，也有时设有数十台至数百台或者更多数量的图像传感器。
本实施方式的图像传感器2是所谓的模块化结构的处理一体型图像传感器。作为拍摄系统的构成元件的照明部20、镜头部21及拍摄部22各自被模块化，用户能够根据图像传感器2的用途等来任意地组合各模块。在各模块(照明部20、镜头部21、拍摄部22)中，设有用于存储与模块相关的固有信息的非易失性存储器200、210、220。与模块相关的固有信息例如可包含用于确定模块的形式的信息、用于确定模块的个体的信息、表示模块的规格的信息、表示模块的性能的信息、表示模块的功能的信息、用于决定模块的更换时期或维护时期的信息中的一个以上。
信息处理装置10能够从多个图像传感器2的各个，经由网络12而获取在各模块的存储器200、210、220中所存储的信息。并且，信息处理装置10能够将所获取的信息有助于多个图像传感器2的管理。
通过像这样在每个模块中设置非易失性存储器，在其中保存与模块相关的固有信息以便能够参照，从而能够通过信息处理装置10来准确且简单地收集设置在生产线上的多个图像传感器2的模块结构或其详细。因此，能够使模块化结构的图像传感器2的管理(包含运用、保养、维护)容易化。
＜图像传感器的结构＞
参照图2(A)、图2(B)、图3来说明本发明的实施方式的图像传感器。图2(A)是示意性地表示图像传感器的外观的立体图，图2(B)是示意性地表示将图像传感器分解的状态的立体图。图3是示意性地表示图像传感器的结构的框图。
图像传感器2例如是被设置于工场的生产线等上，用于利用图像的各种处理的装置。图像传感器2也被称作视觉传感器(vision sensor)或视觉系统(vision system)等。本实施方式的图像传感器2是拍摄系统与处理系统成为一体的处理一体型的图像传感器(所谓的智能摄像机)。
所述图像传感器2具备照明部20、镜头部21、拍摄部22以作为拍摄系统。照明部20是对图像传感器2的视野内的被摄物(检查对象等)进行照明的器件(device)，例如包含排列在镜头部21周围的多个发光元件(发光二极管(Light Emitting Diode，LED)等)。镜头部21是使被摄物的光学像成像于拍摄部22的光学系统，例如使用具有调焦、光圈、变焦(zoom)等功能的光学系统。拍摄部22是通过光电转换来生成/输出图像数据的器件，例如包含电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)等拍摄元件。
而且，图像传感器2包括处理部24、输入/输出接口(输入/输出I/F(interface))25以作为处理系统。处理部24是进行下述处理等的器件，即：针对从拍摄系统导入的图像数据的图像处理(例如前处理、特征量提取等)、基于图像处理结果的各种处理(例如检查、文字识别、个体识别等)、经由输入/输出接口25的与外部装置的数据收发、向外部装置输出的数据的生成、针对从外部装置接收的数据的处理、拍摄系统或输入/输出接口25的控制。处理部24例如包含处理器(processor)及存储器(memory)等，通过处理器读取并执行保存在存储器中的程序，实现所述的各种处理。另外，处理部24的功能中的一部分或全部既可通过专用集成电路(Application Specific integrated Circuit，ASIC)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等来实现，也可由外部装置提供。输入/输出接口25是与外部装置之间进行数据收发的通信接口(interface)。例如，输入/输出接口25可包含用于与可编程逻辑控制器(Programmable Logic Controller，PLC)或信息处理装置10连接的网络接口(network interface)、用于与其他传感器或控制器连接的并行接口(parallel interface)等。
本实施方式的图像传感器2具有模块化结构，如图2(B)所示，成为选择照明部20、镜头部21、拍摄部22这三个模块而组装至传感器本体26的结构。关于照明部，也能够不进行选择而使用。各个模块例如通过螺丝紧固等而固定于传感器本体26，可在用户侧自由进行模块的安装/拆卸。
作为照明部(照明模块)20，例如准备像白色照明/红色照明/红外光照明那样照明光的波长不同者、或者发光元件的配置或光量或发光图案(pattern)不同者等多种模块。而且，也可使用下述照明模块，即，在一个模块中设置红、蓝、绿、红外等多种光源(LED等)，通过控制各光源的发光，从而可照射红、蓝、绿、红外以外的波长的光(例如白、紫、粉红(pink)等)。此种照明被称作多彩(multi color)照明等。作为镜头部(镜头模块)21，例如准备具有能够通过手动操作或者使用致动器(actuator)等来自动调焦的功能的模块、如窄视野/广视野那样视野不同的模块、具备变焦功能的模块等多种模块。而且，作为拍摄部22，例如准备像素数、帧率(frame rate)、快门(shutter)方式(卷帘快门(rolling shutter)/全局快门(global shutter))等不同的多种模块。用户能够根据图像传感器2的用途或要求规格来将适当的模块适当组合。
在各个模块中，内置有非易失性存储器。具体而言，如图3所示，在照明部20中内置有照明模块存储器200，在镜头部21中内置有镜头模块存储器210，在拍摄部22中内置有拍摄模块存储器220。以下，将它们总称作“模块存储器”。作为模块存储器，例如能够使用电可编程只读存储器(Electrically Programmable Read Only Memory，EPROM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、铁电随机存取存储器(Ferroelectric Random Access Memory，FeRAM)、磁阻式随机存取存储器(Magnetoresistive Random-Access Memory，MRAM)等，数据容量为任意。本实施方式中，使用具备数千字节(byte)～数十兆字节左右的容量的EEPROM。
在模块存储器中，可设有“厂家区域”与“用户区域”这两个写入区域。厂家区域是供厂家在模块的出货时写入数据的区域。用户虽能读取厂家区域内的数据，但不能改写或删除厂家区域内的数据。在厂家区域，例如保存模块的形式信息(形式名称、形式编号等)、个体信息(序列号、批次号、硬件版本(version)等)。而且，也可将驱动模块时的设定值或修正参数(parameter)、或者模块的个体差异信息(例如通过工场出货时的检查测定出的数据)保存到模块存储器中。例如，若为照明部的情况，则也可保存照明控制设定值(控制方式、电压、占空(Duty)、延迟、分块(block)点灯的方法等)、或者每个光源的亮度/颜色的差异、光轴信息等。而且，若为镜头部的情况，则也可保存镜头/聚焦(focus)设定值(聚焦初始基准值等)、自动聚焦(Auto Focus，AF)功能的有无、焦距、视角、F值(F number(focalratio))、变形量、光轴的信息等。而且，若为拍摄部的情况，则也可保存摄像机设定值(拍摄元件的设定初始值等)、像素缺陷修正、竖条纹修正数据、白平衡(white balance)初始值等。另一方面，用户区域是用户可改写的区域。用户能够自由利用用户区域。例如，也可保存确定图像传感器的设置场所(工场、生产线)的信息、模块的购买日或维护日的信息、模块的使用状况等任何信息。另外，此处所举只是一例，只要是在图像传感器2的管理或运用时有用的信息，则也可将任何数据保存至模块存储器中。
图像传感器2能够利用于各种用途。例如可列举检查对象的图像记录、形状识别、边缘(edge)检测或宽度/根数的测量、面积测量、颜色特征的获取、标记(labeling)或分段(segmentation)、物体识别、条形码(bar code)或二维码的读取、光学字符识别(OpticalCharacter Recognition，OCR)、个体识别等。图1表示了利用图像传感器2对在输送机13上流动的产品11进行拍摄，进行产品11的外观检查的示例。
＜信息处理装置的结构＞
图4示意性地表示信息处理装置10的结构。
信息处理装置10是用于管理图像传感器2的管理装置，具有信息获取部40、管理处理部41、信息输出部42以作为主要结构。信息获取部40进行下述处理，即，从处于网络上的图像传感器2，经由网络来获取在构成所述图像传感器2的各模块的模块存储器中所存储的信息。信息获取部40既可统一获取模块存储器内的信息，也可仅选择性地获取必要的信息。管理处理部41使用由信息获取部40所获取的信息，来执行与多个图像传感器2的管理相关的规定处理(以下称作“管理处理”)。信息输出部42进行下述处理，即，输出通过管理处理部41的管理处理而获得的信息。信息输出部42既可在显示装置上显示信息，也可通过网络来对生产线上的其他机器(PLC、控制器、传感器、致动器、生产设备等)发送信息，也可通过网络来将消息等通知给用户终端(例如生产线的管理者或保养者的终端)，还可通过网络来对其他计算机或云(cloud)发送信息。信息处理装置10的处理的具体例将后述。
所述信息处理装置10例如能够通过在计算机(computer)中安装必要的程序而构成，所述计算机具有中央处理器(Central Processing Unit，CPU)(处理器)、主存储装置(存储器)、辅助存储装置(包含硬盘(hard disk)或固态硬盘(solid state hard diskdrive)等的大容量贮存器)、通信接口(通信I/F)、输入装置(键盘(keyboard)或指示设备(pointing device)等)、显示装置等。此时，所述信息获取部40、管理处理部41、信息输出部42是通过CPU将存储在辅助存储装置中的程序在主存储装置中展开并执行而实现。另外，信息处理装置10所提供的功能中的一部分或全部也可利用ASIC或FPGA等电路来实现。或者，也可使这些功能中的一部分由其他计算机进行分散处理，或者由云服务器(cloud server)来执行。
＜利用模块存储器的管理处理的示例＞
本实施方式的图像传感器2中，模块(构成元件)各自具有非易失性存储器，因此能够使与各模块相关的固有信息等存储于所述模块自身的存储器内。由此，能够将模块(硬件)及其固有信息(软件)相关联地进行处理。并且，图像传感器2的处理部24或信息处理装置10通过参照各模块的存储器内的信息，从而能够通过软件来简单地获取与组装至图像传感器2的模块相关的准确信息。因此，能够使处于生产线上的多个图像传感器2的管理(包含运用、保养、维护)容易化。以下，例示若干个利用模块存储器的管理处理。
(1)模块结构的收集
如图5所示，在图像传感器2的启动时，或者，根据来自信息处理装置10或用户终端50的请求，处理部24从照明部20的存储器200、镜头部21的存储器210、拍摄部22的存储器220分别读出信息，并基于这些信息来生成表示组装至传感器本体26的模块组合的模块结构信息，并记录至处理部24内的存储器中。处理部24自发地(定期地)或者根据来自信息处理装置10或用户终端50的请求，将模块结构信息发送至信息处理装置10或用户终端50。或者，在图像传感器2具有显示器的情况下，处理部24也可将模块结构信息显示于显示器。
另外，用户终端50是用户(设备的管理者或保养者等)所使用的便携式计算机，可经由网络(或者通过近距离无线通信等而直接)与图像传感器2进行通信。作为用户终端50，例如能够利用移动(mobile)PC、智能电话(smartphone)、平板(tablet)终端、可穿戴(wearable)终端等。
通过利用此种模块结构的收集功能，从而用户能够容易地收集并掌握运转中的图像传感器2的模块结构。而且，信息处理装置10也容易自动收集并统一管理设置在生产线或工场中的多个图像传感器2的模块结构信息。图像传感器2的设置台数越增多，而且，设置在生产线或工场中的图像传感器的模块结构的变化越多，则此种功能的有用性越高。
(2)问题发生时的原因确定
设想在生产线上混合存在有多种模块结构的图像传感器2。现有技术中，难以掌握/管理在生产线的何处设置了何种结构的图像传感器，因此当发生了某些问题(图像传感器或制造装置的错误、不良品的发生等)时，只能通过人海战术来确定可能存在问题的机器，例如一台一台地目测确认图像传感器的模块结构或各模块的形式/版本等，除此以外别无他法。
因此，本实施方式的传感器系统1提供支持问题发生时的原因确定的功能。图6是由信息处理装置10所执行的问题发生时的原因确定处理的一例，图7是由信息处理装置10所输出的问题原因与对策的一例。
在步骤S60中，信息处理装置10的管理处理部41对生产线上发生了问题的情况进行探测。管理处理部41例如从设置在生产线上的制造装置或检查装置接收错误信号，或者受理用户对问题通知按钮(button)的操作等，由此，能够探测问题的发生。
在步骤S61中，信息处理装置10的信息获取部40从设置在发生了问题的生产线上的所有图像传感器2获取模块结构信息。模块结构信息的获取方法如前所述。另外，信息处理装置10在数据库中存储有过去获取的模块结构信息的情况下，也可取代步骤S61的处理而从数据库读取模块结构信息。
在步骤S62中，信息处理装置10的管理处理部41使用在步骤S61中收集的模块结构信息，来验证各个图像传感器2所具有的模块的形式、版本、制造日等。例如，模块的形式不适当、模块的版本旧、模块旧而要达到寿命等均有可能成为问题的原因。管理处理部41基于所发生的问题的内容与各模块的形式、版本、制造日等，来确定具备有可能为问题原因的模块的图像传感器。此时，不仅提取一个图像传感器，而是提取有可能存在问题的多个图像传感器。
在步骤S63中，信息处理装置10的信息输出部42输出问题的原因与对策。图7的示例中，输出有问题的内容及其发生日时、被认为是问题原因的图像传感器和模块及其设置场所、问题的影响范围、对策。通过提供此种信息，用户能够迅速地进行原因的探明或对策的制定等。
(3)维护
设想在生产线上混合存在导入时期或维护时机不同的图像传感器2。此种情况下，针对每个模块来记录/管理导入时期或维护时期不仅会耗费巨大的工时，而且还有可能造成人为失误(human error)例如记录错误等。因此，现有技术中难以进行计划维护，只能实施在图像传感器出现问题后进行维护的事后维护。
因此，本实施方式的传感器系统1提供支持模块的更换或维护的功能。图8是由信息处理装置10所执行的维护处理的一例，图9(A)及图9(B)是由信息处理装置10所输出的通知的一例。
在步骤S80中，信息处理装置10的信息获取部40从设置在生产线上的所有图像传感器2获取模块结构信息。模块结构信息的获取方法如前所述。另外，信息处理装置10在数据库中存储有过去获取的模块结构信息的情况下，也可取代步骤S80的处理而从数据库读取模块结构信息。
在步骤S81中，信息处理装置10的管理处理部41使用在步骤S80中收集的模块结构信息，来验证各个图像传感器2所具有的模块的形式、制造日、使用状况等。管理处理部41基于各模块的形式、制造日、使用状况等来预测各模块的劣化或寿命，判断各模块的更换要否。本实施方式中，提取在一个月以内需要更换的模块。
在步骤S82中，信息处理装置10的管理处理部41使用在步骤S80中收集的模块结构信息，来验证各个图像传感器2所具有的模块的形式、维护历史(例如前次的检修日或校正日)、使用状况等。管理处理部41基于各模块的形式、维护历史、使用状况等，来判断各模块的维护要否。本实施方式中，提取在两周以内需要维护的模块。
在步骤S83中，信息处理装置10的信息输出部42生成在步骤S81中判断为需要更换的图像传感器及模块的列表(list)、与在步骤S82中判断为需要维护的图像传感器及模块的列表，并输出至显示装置。图9(A)、图9(B)的示例中，输出有成为对象的图像传感器及模块与更换或维护的推荐时期。通过提供此种信息，用户能够有计划地进行图像传感器的更换或维护。
＜其他＞
所述实施方式不过是例示性地说明本发明的结构例。本发明并不限定于所述的具体形态，可在其技术思想的范围内进行各种变形。例如，所述实施方式中，例示了照明部、镜头部、拍摄部这三个模块，但组装至图像传感器的构成元件并不限于这些。例如也可将光学滤波器、输入/输出接口、处理部(处理器或存储器)、显示器等模块化。而且，在模块存储器中保存任何信息皆可。例如，作为用于决定模块的更换时期的信息，能够使用模块的制造日、购买日、使用开始日、使用状况(使用期间、运转时间等)、更换推荐时期等信息。而且，作为用于决定维护时期的信息，例如能够使用模块的制造日、购买日、使用开始日、维护历史(前次的检修日、校正日等)、使用状况(使用期间、运转时间等)等信息。另外，作为智能摄像机的提供形态(交货形态)，有各别地提供模块并在用户侧进行装配的形态、与以将照明模块或镜头模块装入传感器本体中的状态来提供的形态。在后者的提供形态的情况下，由于不需要用户侧的光学条件的调整等，因此有能够更简单地进行图像传感器的导入的优点。
＜附注＞
(1)一种传感器系统1，其包括多个图像传感器2、及经由网络12而与所述多个图像传感器2连接的信息处理装置10，所述传感器系统1的特征在于，
所述图像传感器2是通过将经模块化的多个构成元件20、21、22予以组合而构成的模块化型图像传感器，
所述多个构成元件20、21、22分别具有非易失性存储器200、210、220，所述非易失性存储器200、210、220存储与所述构成元件相关的固有信息，
所述信息处理装置10包括：
信息获取部40，从所述多个图像传感器2的各个，经由网络12而获取在构成所述图像传感器2的所述构成元件20、21、22的所述存储器200、210、220中所存储的信息；以及
管理处理部41，使用由所述信息获取部40所获取的所述信息，执行与所述多个图像传感器2的管理相关的规定处理。
(2)一种信息处理装置10，其经由网络12而与多个图像传感器2连接，所述信息处理装置10的特征在于，
所述图像传感器2是通过将经模块化的多个构成元件20、21、22予以组合而构成的模块化型图像传感器，
所述多个构成元件20、21、22分别具有非易失性存储器200、210、220，所述非易失性存储器200、210、220存储与所述构成元件相关的固有信息，
所述信息处理装置10包括：
信息获取部40，从所述多个图像传感器2的各个，经由网络12而获取在构成所述图像传感器2的所述构成元件20、21、22的所述存储器200、210、220中所存储的信息；以及
管理处理部41，使用由所述信息获取部40所获取的所述信息，执行与所述多个图像传感器2的管理相关的规定处理。
(3)一种传感器管理方法，
所述传感器管理方法是用于在设有多个模块化型图像传感器2的生产线中，通过信息处理装置10来管理多个图像传感器2的方法，所述模块化型图像传感器2是通过将经模块化的多个构成元件20、21、22予以组合而构成，
在各图像传感器2的多个构成元件20、21、22的各个中，设有非易失性存储器200、210、220，所述非易失性存储器200、210、220存储与所述构成元件相关的固有信息，
通过所述信息处理装置10，从所述多个图像传感器2的各个，经由网络12而获取在构成所述图像传感器的所述构成元件20、21、22的所述存储器200、210、220中所存储的信息，
通过所述信息处理装置10，使用从所述多个图像传感器2获取的所述信息，执行与所述多个图像传感器2的管理相关的规定处理。

Claims (7)

1.一种传感器系统，用于在生产线上进行产品的管理，所述传感器系统包括多个图像传感器、及经由网络而与多个所述图像传感器连接的信息处理装置，所述传感器系统的特征在于，
所述图像传感器是通过将经模块化的多个构成元件予以组合而构成的模块化型图像传感器，
多个所述构成元件分别具有非易失性存储器，各所述非易失性存储器存储与各所述构成元件相关的固有信息，
所述信息处理装置包括：
信息获取部，从多个所述图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述非易失性存储器中所存储的所述固有信息；以及
管理处理部，使用由所述信息获取部所获取的所述固有信息，执行与多个所述图像传感器的管理相关的规定处理，所述管理相关的规定处理包含多个所述图像传感器的运用、保养、维护，
与各所述构成元件相关的所述固有信息包含下述的信息中的一个以上：用于确定所述构成元件的形式的信息、用于确定所述构成元件的个体的信息、表示所述构成元件的规格的信息、表示所述构成元件的性能的信息、表示所述构成元件的功能的信息、用于决定所述构成元件的更换时期或维护时期的信息。
2.根据权利要求1所述的传感器系统，其特征在于，
所述规定处理包含：收集多个所述图像传感器各自的构成元件的组合的处理。
3.根据权利要求1所述的传感器系统，其特征在于，
所述规定处理包含：从多个所述图像传感器中提取包含有可能存在问题的构成元件的图像传感器的处理。
4.根据权利要求1所述的传感器系统，其特征在于，
所述规定处理包含：判断多个所述图像传感器的构成元件的更换和/或维护的要否的处理。
5.根据权利要求1所述的传感器系统，其特征在于，
多个所述构成元件包含：对被摄物进行照明的照明部、使所述被摄物的光学像成像的镜头部、及基于所述光学像来生成图像的拍摄部。
6.一种信息处理装置，设置在用于在生产线上进行产品的管理的传感器系统中，所述信息处理装置经由网络而与多个图像传感器连接，所述信息处理装置的特征在于，
所述图像传感器是通过将经模块化的多个构成元件予以组合而构成的模块化型图像传感器，
多个所述构成元件分别具有非易失性存储器，各所述非易失性存储器存储与各所述构成元件相关的固有信息，
所述信息处理装置包括：
信息获取部，从多个所述图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述非易失性存储器中所存储的所述固有信息；以及
管理处理部，使用由所述信息获取部所获取的所述固有信息，执行与多个所述图像传感器的管理相关的规定处理，所述管理相关的规定处理包含多个所述图像传感器的运用、保养、维护，
与各所述构成元件相关的所述固有信息包含下述的信息中的一个以上：用于确定所述构成元件的形式的信息、用于确定所述构成元件的个体的信息、表示所述构成元件的规格的信息、表示所述构成元件的性能的信息、表示所述构成元件的功能的信息、用于决定所述构成元件的更换时期或维护时期的信息。
7.一种传感器管理方法，其特征在于，
所述传感器管理方法是用于在设有多个模块化型图像传感器的生产线中，通过信息处理装置来管理多个图像传感器的方法，所述模块化型图像传感器是通过将经模块化的多个构成元件予以组合而构成，
在各图像传感器的多个构成元件的各个中，设有非易失性存储器，各所述非易失性存储器存储与各所述构成元件相关的固有信息，
通过所述信息处理装置，从多个所述图像传感器的各个，经由网络而获取在构成所述图像传感器的所述构成元件的所述非易失性存储器中所存储的所述固有信息，
通过所述信息处理装置，使用从多个所述图像传感器获取的所述固有信息，执行与多个所述图像传感器的管理相关的规定处理，所述管理相关的规定处理包含多个所述图像传感器的运用、保养、维护，
与各所述构成元件相关的所述固有信息包含下述的信息中的一个以上：用于确定所述构成元件的形式的信息、用于确定所述构成元件的个体的信息、表示所述构成元件的规格的信息、表示所述构成元件的性能的信息、表示所述构成元件的功能的信息、用于决定所述构成元件的更换时期或维护时期的信息。
CN201811351216.7A 2018-02-23 2018-11-14 传感器系统、信息处理装置、传感器管理方法 Active CN110191257B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018031104A JP6927078B2 (ja) 2018-02-23 2018-02-23 センサシステム、情報処理装置、センサ管理方法
JP2018-031104 2018-02-23

Publications (2)

Publication Number Publication Date
CN110191257A CN110191257A (zh) 2019-08-30
CN110191257B true CN110191257B (zh) 2021-05-07

Family

ID=64316333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811351216.7A Active CN110191257B (zh) 2018-02-23 2018-11-14 传感器系统、信息处理装置、传感器管理方法

Country Status (4)

Country Link
US (1) US10951806B2 (zh)
EP (1) EP3531679A1 (zh)
JP (1) JP6927078B2 (zh)
CN (1) CN110191257B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA57580B1 (fr) * 2019-11-05 2024-03-29 Schunk Sonosystems Gmbh Dispositif de soudage ultrasonique avec dispositif de caméra intégré
JP7463792B2 (ja) * 2020-03-24 2024-04-09 大日本印刷株式会社 情報処理システム、情報処理装置及び情報処理方法
JP2022133065A (ja) * 2021-03-01 2022-09-13 パナソニックＩｐマネジメント株式会社 警報システム、制御装置、感知器
US12101546B2 (en) * 2023-02-13 2024-09-24 e-con Systems India Private Limited Hot-pluggable GMSL camera system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106795877A (zh) * 2015-11-25 2017-05-31 株式会社荏原制作所 信息处理系统、信息处理方法、信息处理装置、终端装置、供水装置及供水装置的控制方法
CN107209006A (zh) * 2015-02-18 2017-09-26 联邦快递服务公司 用于使用可移除扫描传感器节点来量化货柜内的空间的系统、装置和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119318A (ja) 1997-10-20 1999-04-30 Fuji Photo Optical Co Ltd カメラ
US7327396B2 (en) * 2002-04-10 2008-02-05 National Instruments Corporation Smart camera with a plurality of slots for modular expansion capability through a variety of function modules connected to the smart camera
US7501941B2 (en) * 2006-01-13 2009-03-10 Lites Out, Llc Managing advertising devices
JP4775013B2 (ja) 2006-02-07 2011-09-21 オムロン株式会社 撮像装置
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
US7760238B2 (en) * 2007-07-25 2010-07-20 National Instruments Corporation Vision system with deterministic low-latency communication
US7915570B2 (en) * 2007-08-03 2011-03-29 National Instruments Corporation Smart camera with an integrated lighting controller
JP2010087941A (ja) 2008-10-01 2010-04-15 Hitachi Kokusai Electric Inc カメラ装置の運用管理システム
CN101923779B (zh) * 2010-07-20 2014-08-20 四川九洲电器集团有限责任公司 一种基于传感器网络的公共交通智能调度与监控系统
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US9881161B2 (en) * 2012-12-06 2018-01-30 S-Printing Solution Co., Ltd. System on chip to perform a secure boot, an image forming apparatus using the same, and method thereof
US9525865B2 (en) * 2014-10-23 2016-12-20 Texas Instruments Incorporated Fault detection and method of detecting faults in digital imaging systems
US10148908B2 (en) 2015-02-19 2018-12-04 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for modular cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209006A (zh) * 2015-02-18 2017-09-26 联邦快递服务公司 用于使用可移除扫描传感器节点来量化货柜内的空间的系统、装置和方法
CN106795877A (zh) * 2015-11-25 2017-05-31 株式会社荏原制作所 信息处理系统、信息处理方法、信息处理装置、终端装置、供水装置及供水装置的控制方法

Also Published As

Publication number Publication date
JP2019146119A (ja) 2019-08-29
CN110191257A (zh) 2019-08-30
US20190268527A1 (en) 2019-08-29
JP6927078B2 (ja) 2021-08-25
US10951806B2 (en) 2021-03-16
EP3531679A1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
CN110191257B (zh) 传感器系统、信息处理装置、传感器管理方法
US20190089932A1 (en) Machine-vision system and method for remote quality inspection of a product
CN110191259B (zh) 传感器系统、信息处理装置、传感器管理方法
US9383225B2 (en) Apparatus and method for reading gauges and other visual indicators in a process control system or other data collection system
KR20180129651A (ko) 촬영 장치, 시스템, 및 방법
CN105009568A (zh) 利用融合的紧凑多光谱成像
US20190268995A1 (en) Image sensor system and image sensor
CN110191261B (zh) 图像传感器以及图像传感器的模块结构通知方法
EP3547660B1 (en) Image sensor
CN109932160B (zh) Aoi与灰度计检测系统及方法
JP7294463B2 (ja) プログラム、記録媒体
KR101149820B1 (ko) Ｃｃｔｖ를 이용한 원격지에서의 조경 관리 시스템 및 방법
US10742853B2 (en) Image sensor and body module
US10979609B2 (en) Image sensor comprising lens module and imaging module mounted on body module
CN110191258A (zh) 图像传感器
JP2020198047A (ja) 稼働監視装置及び稼働監視方法
CN111385473A (zh) 一种icr线序确定设备、方法及装置
JP2022012154A (ja) 設備識別装置および設備の識別方法
Guzmán Modeling the cost of detector controller support in a multi-instrument observatory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant