CN100442819C - 互锁装置 - Google Patents

互锁装置 Download PDF

Info

Publication number
CN100442819C
CN100442819C CNB2006100657273A CN200610065727A CN100442819C CN 100442819 C CN100442819 C CN 100442819C CN B2006100657273 A CNB2006100657273 A CN B2006100657273A CN 200610065727 A CN200610065727 A CN 200610065727A CN 100442819 C CN100442819 C CN 100442819C
Authority
CN
China
Prior art keywords
aforementioned
image
gate
video camera
interlocking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100657273A
Other languages
English (en)
Other versions
CN1848909A (zh
Inventor
味冈义明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecchandes Inc
Original Assignee
Ecchandes Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecchandes Inc filed Critical Ecchandes Inc
Publication of CN1848909A publication Critical patent/CN1848909A/zh
Application granted granted Critical
Publication of CN100442819C publication Critical patent/CN100442819C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种互锁装置,是连接于通讯网路上的1个以上的人工眼球及从1个以上的使用者终端机机所构成的资讯收集系统,是经由网路由连接的1个以上的人工眼球及1个以上的使用者终端机机构所构成。人工眼球是由移动式摄影机、视觉装置及通讯装置所构成。视觉装置会探索物体,利用控制移动式摄影机的摇摄、俯仰、翻滚及变焦,因移动式摄影机能用高倍率拍下存在于广范围中的物体,故使用者可以更快、更正确地看到物体。而视觉装置会经由认识物体的种类,通讯装置仅能传送特定种类的物体所映现的动态影像。

Description

互锁装置
本申请案是原申请号:00814732.9;
发明名称为:“资讯收集系统、人工眼球、视觉装置、像感器及互锁装置”的分案申请
技术领域
本发明是有关追随物体使用产生仅映现物体的影像的人工眼球的资讯收集系统,详细内容,是有关视觉装置会从具有进行摇摄、俯仰、翻滚及变焦结构的移动式摄影机所拍下的动态影像,产生物体的正规化影像、种类、位置、大小及个数,为了要让物体可以在动态影像中央被拍得大一点,视觉装置会控制移动式摄影机,通讯装置会经由有线及无线的通讯网路,将视觉装置从背景分离的物体区域影像传送至使用者终端机。
背景技术
过去一直以来,使用移动式摄影机的摄影装置就有很多被研究着(参照特开昭63-54699、特开平3-164341、特开平5-297325)。尤其是近年来当作追逐快速移动物体的摄影装置,1ms视觉性回应系统正被开发着(参照中坊嘉宏、石井抱、石川正俊“利用超并列超快速视觉的1ms目标追踪摄影系统”;日本机械学会志Vol.15、No.3、pp.417-421、1997)。因为这些移动式摄影机会利用使用过去马达的驱动系统,使得设备本身就很大型,动作上就会有被限定等的问题点。
所以,解决这种问题的装置,就是球状多自由度马达为有效(例如、参考特开平6-210585;日刊工业新闻、平成11年12月15日、第6页)。还有在多自由度马达上,因使用超音波马达代替过去的马达,多自由度马达的结构及控制会变单纯(特开昭62-228392;远山茂树“球面超音波马达的开发”Trypolocist,第40卷,第8号,pp.627-631,1995;特开平7-80793;特开平9-54356;特开平11-18459;佐佐江启介、大筑康生、三木修武、黑崎泰充、“使用压电晶片的摩擦驱动型多自由度球面马达的开发”、(online)、平成10年1月、川崎重工技报第136号抄录、(平成12年1月20日检索)、网际网路<URL://www.khi.co.jp/tech/njl 36g 07.htm>)。另外也进行使用该超音波马达的移动式摄影机的开发(参照特开平11-84526)。其他,也开发不使用过去超音波马达的多自由度压电暂存器(参照2000-243635)。若使用该压电暂存器,不仅为低消耗电力且控制装置比较简单,所以能制造可载入于行动电话上的小型移动式摄影机。
另一方面也进行处理摄影机拍下的影像视觉芯片或影像感测器的开发。例如,CLIP 5(参照M.J.B.Duff、“CLIP 4:Alarge scale integratedcircuit array parallel processor”、Proc.IJCPR-3、Vol.4、pp.728-733、1976)、MPP(参照K.E.Batcher、“MPP:Ahigh-speedimage processor”、L.Snyder、L.H.Jamieson、D.B.Gannon、H.J.Siegel、ed..Algorithmically specialized parallel computers、pp.59-68、Academic press、1985)、S3PE(Simple and smart Sensory processingElement)视觉芯片(参照小室孝、铃木伸介、石井抱、石川正俊、“设计使用泛用处理器电池的超并列超快速视觉芯片”、电子情报通讯学会论文志、Vol.J81-D-I、No.2、pp.70-76、1998)、人工网膜LSI(参照特开平6-139361、特开平11-177889)、GenericVisual Perception Processor(GVPP)(Vision Chip’s Circuitry Has ItsEye Out For You.Tech Web News,1997-09-13.[online].CMPMedia Inc.,1999.[retrieved on 1999-12-19].Retrievedfrom the Internet:URL:http://www.techweb.com/wire/news/1997/09/0913 vision.html)、视觉芯片(’Eye’Chip Tracks Movement.Wired News,1999-04-10.[online].Wired Ventures Inc.and affiliated companies,1999.[retrieved on 1999-12-19].Retrieved from the Internet:<URL:http://www.wired.com/news/news/technology/story/19046.html>)等。
以上虽可以进行像是边缘检查及光学的流程检查等的简单处理,但是优先实际装设的结果,有使用1位元演算回路、使用模拟回路、仅进行积和计数、使用必须LSI(大规模集积回路)整体取得同步的SIMD(SingleInstruction Stream Multi Data Stream)型的多次处理器、因影像处理的建筑及算术不一贯,所以很难用1个视觉芯片去实现数个影像处理、还设有规定将物体及摄影环境限定于容易二值化的事物上等,很多问题点。另外S3PE可以利用连接于移动式摄影机上,进行快速移动物体的尾随,但是S3PE会受到摄影环境及移动物体速度的影响,对于静止物体及数个物体必须使用其他装置进行影像处理。而虽正在开发利用人工网膜LSI传送抽出的物体影像的无线影像通讯装置,但是因该无线影像通讯装置上没有控制移动式摄影机的功能,所以无线影像通讯装置的用途就被限定于使用固定摄影机的监视装置等。
像这样的视觉芯片问题很多,可说是因为LSI的实际安装技术,尤其是集积度。也就是说,若LSI可以集合更多的晶体管,则视觉芯片就可以对更多像素数的动态影像即时执行更高功能的影像处理。不过因为近年来LSI技术的急速进步,便开始快速地开发高集合度的LSI。有关LSI的集合度,并不仅单单是设计规则的细微化技术,因会随着三次元LSI技术,尤其是彼此竞争wafar的技术(例如,参照特开平5-160340;特开平6-268154;Koyanagi,M.,Kurino,H.,LEE,K-W.,Sakuma,K.,Miyakawa,N.,Itani,H.,’Future System-on-silicon LSI Chips’,IEEE MICRO,1998,Vol.18,No.4,pages 17-22)的开发,LSI会越来越成为高集合度,所以实际安装于过去各个LSI上的数字回路,很简单地就被实际装入1个LSI上。而且因为堆叠多数芯片的技术(例如:参考日经微型设计,2000年6月号,pages 62-79;日经微型设计,2000年6月号,pages 157-164;日经微型设计,2000年6月号,pages 176)渐被开发出来,所以LSI设计者可以比过去的三次元LSI技术来得更容易设计电子回路。而若使用三次元LSI技术,LSI设计者可以缩短回路长度,所以就结果来说,LSI设计者可以很容易地设计LSI。
有关LSI的设计与制造宁可当作现实问题,随着时钟信号的周波数提高,时钟切斜度及信号的搬运延迟时间会越来越严重。使用模拟回路的视觉芯片会如此被广泛研究的理由,与其说LSI的集积度未达必要量,为了要在实际时间处理数据回路不断的变化环境,就必须提高时钟信号的周波数,因此会造成很难在LSI整体取得同步、或增加发热量。当然很难在LSI整体取得同步的主要原因,在于频繁地处理过去视觉芯片的门槛值计数、矩形图计数、区域分割等的大范围处理。
然后本发明者就当作控制移动式摄影机、及做影像处理的装置,发明了视觉装置(参照如:特愿平11-253634,国际公开号码WO 00/16259、特愿2000-269500)。该视觉装置是利用控制移动式摄影机的摇摄、俯仰、翻滚及变焦的机构,去搜寻物体、并进行物体的影像处理。视觉装置进行的影像处理大多是局部处理,而且这些局部处理会根据二维格子状上所排列的阵列运算单元并列执行。将阵列运算单元实际安装于LSI时,各个阵列运算单元,会被设计为可以与邻接的阵列运算单元做非同步的通讯。因此配线模式非常单纯、而且配线长度变短,因此LSI虽然增加半晶体管的实际面积,但可以使消耗电力降低。而且不需要全部的阵列运算单元一定是同步。只是当LSI的规模变大时,为了要正确地执行暂停处理等,必须对全部的阵列运算单元提供同一周期的时钟信号及移位小的复原信号。
若考虑以上事项,则以现在可利用的大规模集成电路技术、及三次元大规模集成电路技术为基础,期望可开发组合视觉装置与照相二极管那样的摄影元件的影像感测器。因该影像感测器是装在多自由度马达上,故可利用视觉装置制造被控制的移动式摄影机。
最近,从设置于眼镜上的固定CCD摄影机所拍摄的影像使用过滤器检测出边缘后,利用电极排列端子直接将边缘影像的电器信号传送至脑右后头叶视觉区,发表了实现人工是觉得研究(Computer Helps Blind Man’See’.Wired News,200-01-17.[online].Wired Ventures Inc.and affiliated companies,2000.[retrieved on 2000-01-20].Retrieved from the Internet:<URL:http://www.wired.com/news/technology/0,1282,33691,00.html>)。因为患者的视野非常极端地狭隘,所以患者必须活动颈部去探索物体,而且只能从距离1.5公尺左右的位置看到5公分大小的文字。因此随着此研究的成功,今后大家将会对以盲人及视觉障碍者为中心,实现广泛视野及高解析度的人工视觉的隐埋式人工眼球的期望加高。
根据以上事项的思考,就可能制造出利用视觉装置控制的多自由度马达载入的移动式摄影机找寻物体,并拍摄下的物体正规化影像、种类、位置、大小及位置的变化会直接传送到脑中的人工眼球。
近年来随着以快速有线通讯为中心的网际网路技术及高区域无线通讯技术的发达,也可相隔远地传送动态影像。尤其是因为IMT-2000(DS-CDMA及MC-CDMA)及Bluetoothh对应行动电话的发行上市,任何人都可随时以权宜的价钱具备传送动态影像的环境(例如,参照特开平6-233020、特开平7-312783、特开平8-163085、特开平8-294030、特开平11-346364)。
若考虑以上事项,利用视觉装置控制的多自由度马达载入的移动式摄影机拍摄物体,并利用视觉装置判断拍下的物体种类,使通讯装置可以相隔远处传送放映物体的动态影像。
最后,近年来高性能的声音合成装置(参照特开平5-053595、特开平5-094196、特开平5-108084)及高性能的声音辨识装置(参照特开平05-002399、特开平05-011798、特开平5-019787)开始被开发。这些是利用喇叭与麦克风一起装进导航系统中,让使用者可以通过声音简单地利用导航系统(参照特开平6-20196、特开平8-35846、特开平11-276516)。
若考虑以上事项,使用者可以利用声音辨识装置,用声音控制视觉装置,而且还可期望视觉装置利用声音得知辨别物体的种类。
发明内容
因此,本发明的目的在于提供一种互锁装置,是利用控制移动式摄影机的视觉装置,就算不时常从远处控制移动式摄影机也会将放映物体的动态影像传送至远端的使用者终端机。另外还有一个目的为,将视觉装置及摄影元件实际装设在LSI后放入移动式摄影机内。
权利要求1的发明,是具有下列特征的资讯收集系统:由连接于通讯网路的1个以上的人工眼球及1个以上的使用者终端机所构成的资讯收集系统,前述人工眼球具有移动式摄影机、视觉装置及通讯装置;前述移动式摄影机至少具有摇摄、俯仰、翻滚及变焦的机构中的一个;前述视觉装置具有下列特征:自前述移动式摄影机所拍摄的动态影像取得数字影像,产生前述数字影像中的物体种类、位置及个数,与控制前述摇摄、前述俯仰、前述翻滚及前述变焦的前述机构;前述通讯装置具有下列特征:将前述数字影像、前述种类、前述位置及前述个数中的其中之一传送至前述使用者终端机,从前述使用者终端机接收对应前述摇摄、前述俯仰、前述翻滚及前述变焦的控制指令后传送至前述视觉装置;前述使用者终端机具有中央控制装置、显示器及控制按钮;而前述中央控制装置会从前述通讯装置接收前述数字影像、前述种类、前述位置及前述个数的其中之一,前述显示器会显示前述数字影像、前述种类、前述位置及前述个数的其中之一,前述使用者终端机会产生前述控制按钮上所分配的前述控制指令,前述中央控制装置会将前述控制指令传送至前述通讯装置。前述人工眼球,具有进行前述摇摄(水平移动)、前述俯仰(垂直移动)、前述翻滚(歪转)及前述变焦(望远)的前述结构中的一项,利用前述移动式摄影机,可将前述物体以适当的大小拍摄于前述动态影像的中央。前述视觉装置会从前述数字影像中产生前述物体的前述种类、前述位置及前述个数,并根据前述位置控制前述移动式摄影机。前述通讯网路是由USB(UniversalSerial Bus)、简易网路、ISDN(综合数据通讯网)、xDSL(DigitalSubscrider Line)、ATM(Asynchrorous Transfer Mode)及构图传递等的有线技术、及IMT-2000(DS-CDMA及MC-CDMA)及Bluetooth等的无线技术所构成,前述通讯装置具有是将前述数字影像、前述种类、前述位置及前述个数传送至前述通讯网路上,并从前述通讯网路接收前述控制指令的机构。前述使用者终端机可使用具有前述显示器及前述控制按钮的电脑、行动电话、行动资讯终端机及导航系统等。前述中央控制装置,具有对前述通讯网路的通讯功能,并将前述种类、前述位置及前述个数输出至前述显示器,还从前述控制按钮输入前述控制指令。本发明中,因为前述视觉装置时常会控制前述移动式摄影机,前述使用者则不需要细部控制前述移动式摄影机。而本发明中,因前述视觉装置会辨识前述移动式摄影机拍摄的前述物体种类,人工眼球仅将有关前述使用者想要知道的前述物体资讯传送到前述使用者终端机。也就是因为前述使用者终端机仅在拍摄前述使用者想知道的前述物体时可以将前述资讯输出至前述显示器,所以前述使用者不需要时常对著显示器注意也可以,前述人工眼球不需要时常占据前述通讯网路。因此本发明会从前述移动式摄影机的控制解放前述使用者,所以有关前述物体的拍摄及通讯各方面问题都能适当地解决。
权利要求2的发明,是由连接于通讯网路1个以上的人工眼球、资料库及1个以上的使用者终端机所构成的资讯收集系统,其资讯收集系统的特征为:前述人工眼球具有移动式摄影机、视觉装置及通讯装置;前述移动式摄影机至少具有摇摄、俯仰、翻滚及变焦的机构中的一个;前述视觉装置具有下列特征:自前述移动式摄影机所拍摄的动态影像取得数字影像,产生前述数字影像中的物体种类、位置及个数;前述通讯装置具有下列特征:将前述数字影像、前述种类、前述位置及前述个数中的其中之一传送至前述资料库;而前述资料库知特征为:储存前述数字影像、前述种类、前述位置及前述个数;从前述数字影像、前述种类、前述位置及前述个数产生统计资料;及使用检索键检索前述数字影像、前述种类、前述位置、前述个数及前述统计资料;前述使用者终端机具有中央控制装置、显示器及控制按钮;而前述中央控制装置会从前述通讯装置接收前述数字影像、前述种类、前述位置、前述个数及前述统计资料的其中之一,前述显示器会显示前述数字影像、前述种类、前述位置、前述个数及前述统计资料的其中之一,前述使用者终端机会利用前述控制按钮产生已被指定的前述检索键;前述中央控制装置会将前述控制检索键传送至前述通讯装置。前述人工眼球,具有进行前述摇摄(水平移动)、前述俯仰(垂直移动)、前述翻滚(歪转)及前述变焦(望远)的前述结构中的一项,利用前述移动式摄影机,可将前述物体以适当的大小拍摄于前述动态影像的中央。前述视觉装置会从前述数字影像中产生前述物体的前述种类、前述位置及前述个数,并根据前述位置控制前述移动式摄影机。前述通讯网路是由USB(Universal Serial Bus)、简易网路、ISD(综合数据通讯网)、xDSL(Digital Subscriber Line)、ATM(Asynchronous Transfer Mode)及构图传递等的有线技术、及IMT-2000(DS-CDMA及MC-CDMA)及Bluetooth等的无线技术所构成,前述通讯装置具有是将前述数字影像、前述种类、前述位置及前述个数传送至前述通讯网路的机构。前述资料库,会使用平均、分散、主成分分析、有限因素法、线形计划法及基础推断等的数理装置,从前述数字影像、前述种类、前述位置及前述个数计数前述统计资料。前述资料库中可使用具备像SQL(Structure Query Language)那样的资料库叙述语言的关是资料库及物体指向资料库。前述使用者终端机可使用具有前述显示器及前述控制按钮的电脑、行动电话、行动资讯终端机及导航系统等。前述中央控制装置,具有对前述通讯网路的通讯功能,并将前述种类、前述位置、前述个数及前述统计资料输出至前述显示器,还从前述控制按钮输入前述检索键。本发明中,前述资料库会长时间转移,因储存前述数字影像、前述种类、前述位置及前述个数,前述使用者可取得对应前述种类、区域、场所、季节及日期等的前述检索键的前述统计资料。因此本发明对于有关前述物体的计数及预测各方面问题都能适当地解决。
权利要求3的发明,是如权利要求1或2的资讯收集系统,其中,资讯收集系统的特征为:前述使用者终端机至少具备装有喇叭的声音合成装置或装有麦克风的声音辨识装置其中之一,前述声音合成装置是将前述种类、前述位置、前述个数及前述统计资料变换为声音信号;前述声音辨识装置则会利用前述麦克风将收集的声音变换为前述控制指令及前述检索键。前述使用者终端机可使用具备前述显示器、前述喇叭、前述控制按钮及具有前述麦克风的电脑、行动电话、行动资讯终端机及导航系统等。前述中央控制装置,具有对前述通讯网路的通讯功能,并将前述种类、前述位置、前述个数及前述统计资料输出至前述显示器及前述声音合成装置,还从前述控制按钮及前述声音辨识装置输入前述控制指令及前述检索键。前述声音合成装置,会将前述种类、前述位置、前述个数及前述统计变换为前述声音信号,并输出至前述喇叭。前述声音辨识装置,是利用前述麦克风将收集的前述声音变换为前述控制指令及前述检索键。本发明的使用者,不必通过前述显示器及前述控制按钮,就可以使用前述使用者终端机。因此本发明对于有关使用者介面的各方面问题都能适当地解决。
权利要求4的发明,是具备移动式摄影机及视觉装置的人工眼球,其人工眼球的特征有:前述移动式摄影机至少具有摇摄、俯仰、翻滚及变焦结构其中的1项;前述视觉装置,具备从前述移动式摄影机拍摄的动态影像中取的数字影像的装置、辨识前述数字影像中的物体种类装置、检查出前述物体位置,大小及倾斜的装置、计数前述物体个数的装置、控制进行前述摇摄、前述俯仰、前述翻滚及前述变焦的前述机构的装置、及输出前述数字影像、前述种类、前述位置及前述个数的装置。前述移动式摄影机是组合数个圆柱体及1个马达,并利用多自由度马达,可以实现前述摇摄(水平移动)、前述俯仰(垂直移动)、前述翻滚(歪转)及前述变焦(望远)的前述结构。因此前述移动式摄影机可将前述物体置于前述动态影像中央,而且以辨识前述物体所需要的大小拍摄。前述视觉装置,是利用实施边缘资讯作成装置、边缘资讯形成装置、物体/背景分离装置、位置/大小检知装置、位置/大小/倾斜检知装置、样本配选装置等的局部并列影像处理,从前述数字影像切割出前述物体,辨别前述种类、检查出前述位置、前述大小及前述倾斜,并计数前述个数。另外前述视觉装置,除了使用前述位置控制前述移动式摄影机的前述摇摄、前述俯仰、前述翻滚及前述变焦外,还使用从外部输入的控制指令来控制前述摇摄、前述俯仰、前述翻滚及前述变焦。本发明,当前述物体的前述位置无法事先知道时,及前述物体正在移动时,前述移动式摄影机可以朝著前述物体。因此本发明,是将本发明的使用者从前述移动式摄影机控制解放出来,所以有关前述物体的摄影各种问题都能适当地解决。
权利要求5的发明,是具有通讯装置的权利要求4的人工眼球,其人工眼球的特征为:前述通讯装置具备压缩前述数字影像的装置;通过通讯网路传送已被压缩的前述数字影像、前述种类、前述位置及前述个数的装置。前述通讯装置会传送压缩于前述通讯网路的前述数字影像、前述种类、前述位置及前述个数,并自前述通讯网路接收前述控制指令。为了压缩前述数字影像,前述通讯装置,会使用前述视觉装置辨别的前述种类,选别特定前述种类的前述物体播映的前述数字影像。再者,前述通讯装置可以将被选定的前述数字影像的中的前述物体所占的区域的外结合起来传送。而前述通讯装置,也可使用MPEG(Moving Picture Experts Group)及JPEG(Joing Photographic coding Experts Group)等的影像压缩技术,缩小前述数字影像的资料量。本发明仅可将前述物体所被拍下的前述数字影像传送至前述通讯网路。因此本发明,因可以随着减轻前述通讯网路的负荷,通知本发明的使用者有无前述物体,故有关前述物体的拍摄及通讯的各方面问题都能适当地解决。
权利要求6的发明,是具备刺激产生器、电极排列端子、连接器及电池的权利要求4的人工眼球,其人工眼球的特征为:前述刺激产生器,会将前述视觉装置所产生的前述物体的正规化影像、前述种类、前述位置、前述大小及前述位置的变化变换为电器刺激;前述电极排列终端机会通过前述连接器将前述电器刺激传至脑部。前述刺激产生器,是利用D/A转换电路,将前述物体的前述正规化影像、前述种类、前述位置、前述大小、及前述位置变化变换为可适当刺激神经细胞的前述电器刺激。前述电极排列终端机的电极是使用白金,而前述电极排列终端机会被填入前述脑部的后头叶、侧头叶、头顶叶及前头叶等。前述电池所使用的是像锂离子电池那样可以重复充电及像燃料电池那样放电时间很长。因分开前述连接器,本发明的使用者很容易取下或交换前述移动式摄影机、前述视觉装置、前述刺激产生器及前述电池。本发明会利用前述移动式摄影机及前述视觉装置,将寻找的前述物体的前述正规化影像、前述种类、前述位置、前述大小及前述位置的变化,变换为前述电气刺激后,直接传至前述使用者的前述脑部,所以前述使用者,不会影响到前述数字影像中的前述物体的前数大小及周围环境,并很容易发现并辨识前述物体,所以有关人工视觉的各种问题都能适当地解决。
权利要求7的发明,是如权利要求4、5或6的人工眼球,其中,人工眼球的特征为前述移动式摄影机装设有集积数个摄影元件、数个A/D转换电路及前述视觉装置的影像感测器。前述摄影元件,是由光电二极管与CCD(电荷结合晶片)或CMOS(互补形金属氧化膜半导体)组成的。前述摄影元件、前述A/D转换电路及前述视觉装置,是使用LSI(大规模集成电路)技术及三次元LSI技术集积于前述影像感测器上。本发明中,因前述数字影像会以像素单位并列,从前述A/D转换电路传送至前述视觉装置,所以前述A/D转换电路及前述视觉装置,可以将要传送前述数字影像的电子回路简略化。因此本发明可以减少零件数量,并缩小前述人工眼球的大小,故有关前述人工眼球的制造各种问题都能适当地解决。
权利要求8的发明,是每个被配置于格子状的阵列运算单元,其中,视觉装置的特征为具有:将前述阵列运算单元起始化的装置、没有应输入的二值资讯时结束处理的装置、输入前述二值资讯的装置、将前述二值资讯变换为重复资讯的装置、由从表示前述重复资讯的重复资讯影像的区域像素值附近计数重心、并将由前述重心计数出的移动量影像化为移动量影像的区域像素值的装置、在每个移动源上,表示移动源重复资讯的每个移动源重复资讯影像的区域像素值随着前述移动量移动至移动位置的装置、按照前述移动量将前述重复资讯影像的前述区域像素值移动至前述移动位置的装置、在每个前述移动源上,将每个前述移动源重复资讯影像的前述区域像素值,更新为移动后的前述移动源重复资讯影像的前述区域像素值的全部合计、与移动后的前述重复资讯影像的前述区域像素值的值的合计的装置、将前述重复资讯影像的前述区域像素值,更新为移动后的前述重复资讯影像的前述区域像素值的全部合计的装置、从全部前述移动源重复资讯影像的前述区域像素值计数倾斜角度的装置及输出前述重复资讯影像的前述区域像素值及前述倾斜角度的装置。也就是,此是为了用数据技术实现前述阵列运算单元所提供的功能的算数的实际型态。将前述阵列运算单元配置于格子状上,并相互结合附近的前述阵列运算单元,在设定好前述阵列运算单元的每个参数起始值后,会利用前述二值资讯以像素单位适当地输入被构成的二值影像,并顺序进行从重心计数到输出前述重复资讯影像及前述倾斜角度,一直重复到前述二值影像不被输入。本发明因可以并列使前述阵列运算单元动作,故有关位置、大小及倾斜的检查各项问题都能适当地解决。
权利要求9的发明,是有下列特征的前述阵列运算单元:格子状上配置的每个阵列运算单元具备处理器、存储器及数个控制器、前述控制器辨别在阵列运算单元间转送的资料传送来源的前述阵列运算单元的装置、辨别被转送的前述资料种类的装置,其中,具有下列特征的视觉装置:因数个前述控制器分别用信号线与邻近的前述阵列运算单元的数个前述控制器中的1个连接,前述阵列运算单元与邻接的前述阵列运算单元同时传送数个前述资料。前述阵列运算单元中前述处理器因控制数个前述控制器,故前述阵列运算单元可以很有效率地将前述存储器中的数个前述资料传送至前述阵列运算单元的前述存储器。本发明因可在短时间内传送大量的前述资料,故有关实施各种局部排列影像处理的前述视觉装置性能的各种问题都能适当地解决。
权利要求10的发明,是在权利要求9的阵列运算单元中,有下列特征的视觉装置,因全部前述控制器堆叠,前述阵列运算单元间的前述信号线不会交叉。LSI(大规模集成电路)的设计,因若使用三次元LSI技术则会堆叠全部前述控制器,故被堆叠的全部前述控制器分别会排列成格子状。此时在同一高度层用前述信号线连接实际安装的邻接的前述控制器,前述控制器间的前述信号线不会交叉。本发明,可以将全部前述层中的前述信号线支配线形式设为相同,而且可以缩短前述信号线的配线长,因此有关三次元LSI的设计及制造的各种问题都能适当地解决。
权利要求11的发明,是由排列成格子状的数个虚拟阵列运算单元所构成的视觉装置,其中,视觉装置的特征:前述虚拟阵列运算单元具有处理器、存储器及数个控制器;前述控制器具有前输入电阻器群;前输入电阻器群具有1个以上的前输入电阻器及1个以上的计数器;前述前输入电阻器因是转移电阻器,所以在各个前述虚拟阵列运算单元上,前述处理器会执行排列成格子状的数个阵列运算单元的程序、前述控制器会与邻接的前述虚拟阵列运算单元的前述控制器通讯、前述移转电阻器会输入排列成格子状的数个结果资料后储存、前述计数器会计数前述结果资料的个数、前述处理器会从前述转移电阻器选择数个前述结果资料中的1个后输入。本发明中,前述控制器具有排列成格子状的前述阵列运算单元的纵与横的个数的最大值以上。与排列成格子状的前述阵列运算单元中前述虚拟阵列运算单元邻接者会被分类为上下左右的通讯方向,在每个分类上会与前述控制器中相异的1个对应。因此,要从哪个方向上的第几号前述控制器输入计数资料,若前述虚拟阵列运算单元能辨识,则前述计数资料要从哪个前述阵列运算单元输出,前述虚拟阵列运算单元可以辨别。本发明中,前输入电阻器,具有可以储存全部前述阵列运算单元输出的前述结果资料的存储容量的前述移转电阻器、及前述计数器,而且前述转移电阻器会以一定的顺序按照顺序储存被输入的前述结果资料。因此,就算在二个前述虚拟阵列运算单元之间让排列成格子状的数个前述阵列运算单元的前述结果资料通讯,也可以维持前述结果资料的顺序。前述计数器的起始值会被设定为前述阵列运算单元的数,前述排列演算单每次在输出前述结果资料时,前述计数器就会按降下顺序计数。因此若全部的前述结果资料从前述阵列运算单元输出,则前述计数器的值为0。此时前述控制器会将前输入送达设为1。之后前述处理器若读出前述转移电阻器中全部的前述结果资料,则前述处理器就会将前输入送达状况设为0。本发明,可以将数个前述阵列运算单元当作程序装设在1个前述虚拟阵列运算单元上。因此本发明,可以用很少的硬件实现很多前述阵列运算单元,所以有关前述视觉装置的制造各种问题都能适当地解决。
权利要求12的发明,是具有1个以上的摄影元件、1个以上的A/D转换电路及1个以上的阵列运算单元的功能区块排列成二维格子状的影像感测器,其影像感测器的特征:前述功能区块的特征,有前述摄影元件及前述A/D转换电路以1对1连结、全部的前述阵列运算单元会从全部的前述A/D转换电路及全部的前述阵列运算装置中至少1个输入数据信号、全部前述阵列运算单元输入时钟信号,因邻接的前述功能区块之间彼此前述阵列运算单元会以1对1连结,所以对前述摄影元件所拍的动态影像前述阵列运算单元会进行影像处理。前述摄影元件,是利用光电二极管与、CCD(电荷结合晶片)或CMOS(互补形金属氧化膜半导体)而实现的。前述摄影元件、前述A/D转换电路及前述阵列运算单元,是利用LSI(大规模集成电路)技术及三次元LSI技术集积于前述影像感测器。若使用前述三次元LSI技术,则前述影像感测器的设计者会在前述功能区块中堆叠前述阵列运算单元,所以前述设计者就算不让前述阵列运算单元的信号线在邻接的前述功能区块之间交叉也可以。本发明中,因前述数据信号会在前述影像感测器内从前述A/D转换电路传送到前述阵列运算单元,所以前述A/D转换电路及前述阵列运算单元,可以将为了传送前述数据信号的电子回路简化,还可以快速地传送前述数据信号。另外本发明中,前述阵列运算单元因是与邻接的前述功能区块的前述阵列运算单元非同步地通讯,所以与前述影像感测器的前述功能区块数无关,前述时钟信号只要让前述功能区块内的前述阵列运算单元同步即可。因此本发明可以减少零件数及配线量,还可以快速地使前述影像感测器运转,故有关前述影像感测器的设计及制造各种问题都能适当地解决。
权利要求13的发明,是具有数个摄影元件、数个A/D转换电路、1个以上的平行/串列转换电路及1个以上的虚拟阵列运算单元的功能区块排列成二维格子状的影像感测器,其影像感测器的特征:前述功能区块的特征,有前述摄影元件及前述A/D转换电路是以1对1连结、在每个前述摄影元件的区域会让数个前述A/D转换电路及前述平行/串列转换电路连结、全部的前述虚拟阵列运算单元会从全部的前述平行/串列转换电路及全部的前述虚拟阵列运算装置中至少1个输入数据信号、全部前述虚拟阵列运算单元会输入时钟信号,因邻接的前述功能区块之间彼此前述虚拟阵列运算单元会以1对1连结,所以对前述摄影元件所拍的动态影像,前述虚拟阵列运算单元会进行影像处理。前述摄影元件,是利用CCD(电荷结合晶片)及CMOS(互补形金属氧化膜半导体)实现。前述摄影元件、前述A/D转换电路、前述平行/串列转换电路及前述虚拟阵列运算单元,是利用LSI(大规模集成电路)技术及三次元LSI技术集积于前述影像感测器。若使用前述三次元LSI技术,则前述影像感测器的设计者会在前述功能区块中堆叠前述虚拟阵列运算单元,所以前述设计者就算不让前述虚拟阵列运算单元的信号线在邻接的前述功能区块之间交叉也可以。本发明中,因前述数据信号会在前述影像感测器内从前述平行/串列转换电路传送到前述虚拟阵列运算单元,所以前述平行/串列转换电路及前述虚拟阵列运算单元,可以将要传送前述数据信号的电子回路简略化,还可以快速地传送前述数据信号。另外本发明中,前述虚拟阵列运算单元因是与邻接的前述功能区块的前述虚拟阵列运算单元非同步地通讯,所以与前述影像感测器的前述功能区块数无关,前述时钟信号只要让前述功能区块内的前述虚拟阵列运算单元同步即可。因此本发明可以减少零件数及配线量,还可以快速地使前述影像感测器运转,故有关前述影像感测器的设计及制造各种问题都能适当地解决。
权利要求14的发明,是权利要求12或13的影像感测器,其中,影像感测器的特征为:前述功能区块,具有产生前述时钟信号的同步式振荡电路、与计数前述时钟信号的脉冲数的互锁式计数器,排列成二维格子状的前述同步式振荡电路,会与邻接的前述同步式振荡电路连结而构成第一互锁装置;排列成二维格子状的前述互锁式计数器,会与邻接的前述互锁式计数器连结而构成第二互锁装置。前述同步式振荡电路中是使用不安定多重振动器及水晶发讯子等。前述同步式振荡电路因与邻接的前述同步式振荡电路彼此同步,所以全部的前述同步式振荡电路所产生的前述时钟信号会同步。前述时钟信号因仅在前述功能区块内提供,故本发明可以减轻风扇外移及时钟倾斜的问题。前述互锁式计数器是使用二进位计数器。前述互锁式计数器因会与邻接的前述互锁式计数器相互互锁,所以全部的前述互锁式计数器所计数的前述脉冲数为一致。前述互锁式计数器因可以控制复原信号的输入,故可以一起复原全部的前述功能区块。因此本发明可减少消耗电力,还可以快速让前述影像感测器运转,故有关前述影像感测器的设计及制造各项问题都能适当地解决。
权利要求15的发明,是由排列成正方格子状及六角格子状的互锁式计数器所构成的互锁装置,其互锁装置的特征为:前述互锁式计数器,具有同步式计数器、判定终止值用的非门、互锁用锁定电路、互锁用或非门、及计数用的或非门,前述判定终止值用的非门所输出的互锁信号会让邻接的前述互锁式计数器的计数停止,而掌握全部的前述互锁式计数器的计数。前述互锁式计数器,因会使用前述判定终止值用的非门反转前述同步式计数器的波纹贯彻信号,而产生前述互锁信号。前述互锁用或非门因会从前述互锁信号产生可能信号,当前述互锁信号为High层次,前述同步式计数器会计数,并复原前述互锁用锁定电路。当前述互锁信号为Low层次,前述同步式计数器会暂时停止。前述互锁用或非门在统合外部互锁信号后,前述互锁用锁定电路会储存统合结果。前述互锁用锁定电路会根据前述统合结果控制前述计数用或非门,让前述同步式计数器开始动作。因此,前述同步式计数器会从外部在被输入的前述互锁信号上互锁后开始计数。本发明,可利用相互连接数个前述互锁式计数器,让全部的前述互锁式计数器的前述计数一致。尤其是将1个时钟信号分配于LSI(大规模集成电路)整体时,若前述时钟信号的周波数越高,前述时钟信号的传递延迟时间就会成问题。不过就算将前述互锁式计数器分散配置于前述LSI中,也可以让全部的前述互锁式计数器的前述计数一致。因此,有关前述LSI的同步各种问题都能适当地解决。
权利要求16的发明,是在权利要求15的互锁装置,其中,互锁装置的特征有:前述互锁式计数器具备判定前述计数终止值的终止值判定用或非门;前述同步式计数器有同步清除装置、及同步负载装置。前述同步式计数器为提高计数器时,前述提高计数器的输出会连接于判定前述计数最大值的前述判定终止值用或非门,前述判定终止值用或非门的输出会连接于前述判定终止值用非门。前述同步式计数器为下降计数器时,前述下降计数器的输出会连接于判定前述计数最小值的前述判定终止值用或非门,前述判定终止值用或非门的输出会连接于前述判定终止值用非门。前述判定终止值用非门的输出,除了前述互锁用锁定电路及前述计数器用或非门之外,还会连接于控制前述清除装置的清除端子及控制前述负载装置的负载端子。而前述负载装置会输入前述计数的起始值。因此前述同步式计数器可在前述计数中设定任一起始值,故前述同步式计数器可以从前述起始值计数到前述终止值。本发明因可自由设计前述互锁式计数器的周期,故很容易调整电子回路的时机。因此,有关前述LSI的同步各种问题都能适当地解决。
权利要求17的发明,在权利要求15或16的互锁装置,其中,互锁装置的特征为:1个以上的前述互锁式计数器,具有信号分配用解码器、信号分配用锁定电路、信号分配用或非门、及信号分配用触发电路回路;将输入信号形成为时钟信号的周期正数倍。本发明,因排列于LSI整体上的前述互锁式计数器的全部前述计数是一致的,故前述信号分配用解码器可同时输出同样时机的信号。再利用前述时机信号中不同的2点在被指定的计时开始时间与计时结束时间之间的时间,会成为前述时钟信号的周期正数倍的时间。前述输入信号若被储存于前述信号分配用锁定电路,则会根据前述信号分配用或非门决定前述计时开始时间的前述输入信号,到前述计时结束时间会被储存于前述信号分配用正反器电路上。若成为前述计时结束时间,前述信号分配用触发电路会利用前述信号分配用解码器复原。因此本发明,只要考虑前述输入信号的最常传送延迟时间,就可以将在前述时钟信号上同步的前述输入信号分配于前述LSI的任一地方。因此,有关前述LSI的设计各种问题都能适当地解决。
权利要求18的发明,是由排列成正方格子及六角格子状的同步式振荡电路构成的互锁装置,其互锁装置的特征有:前述同步式振荡电路,具有2个振荡用或非门、2个振荡用电阻、2个振荡用电容器、2个同步用锁定电路、2个同步用或非门、及起始化用或非门;从前述振荡用电容器所输出的同步信号会利用与邻接的前述同步式振荡电路的时钟信号位相偏移,全部的前述同步式振荡电路的前述时钟信号位相会备齐。前述同步式振荡电路的振荡部分,2个前述振荡用或非门与2个前述振荡用电容器会环状连接,使用前述振荡用电阻连接前述振荡用或非门的输出与输入。前述振荡部分是自励振荡,且前述时钟信号是由前述振荡用或非门输出。前述振荡部分被分类为A端与B端2个部分。前述同步式振荡电路的同步部分对应前述振荡部分被分类为前述A端与前述B端2个部分。无论是前述同步部分的前述A端或前述B端,前述同步用或非门系统合从外部被输入的前述同步信号后,前述同步用锁定电路会储存统合结果。前述同步用锁定电路会根据前述统合结果控制前述振荡用或非门,将前述同步式振荡电路的前述同步信号的位相及周期与从外部被输入的前述同步信号的前述位相及前述周期配合。当电源投入时等的前述同步式振荡电路的前述同步信号及从外部被输入的前述同步信号为不规则的情况时,前述起始化用或非门会将前述A端的前述振荡用或非门的输出固定于Low层次,并决定前述同步信号的前述位相。本发明,可利用相互连接数个前述同步式振荡电路,让全部的前述同步式振荡电路的前述同步信号同步。尤其是将1个时钟分配于LSI(大规模集成电路)整体上时,前述时钟的周波数越高传送延迟时间就越成问题。不过利用将前述同步式振荡电路分散配置于前述LSI上,可让前述LSI全部的数据回路同步。因此,有关前述LSI的同步各种问题都能适当地解决。
权利要求19的发明,是对于权利要求18的前述同步式振荡电路,以具有2个输入电阻作为特征的互锁装置。当前述或非门由CMOS(互补形金属氧化膜半导体)制造时,若在前述或非门的输入是储存于前述振荡用电容器的电流直接流出,则前述CMOS会被破坏。本发明是利用在A端及B端的各个振荡部分上追加前述输入电阻,以保护前述或非门的前述CMOS。而前述输入电阻的阻抗值若变大,则前述或非门中流动的前述电流会变少,故根据前述发讯用电阻及前述振荡用电容器,决定时定数会更正确,全部的前述同步式振荡电路的前述时钟信号的周期会更容易掌握。因此,有关使用前述CMOS的数据回路的同步各种问题都能适当地解决。
附图说明
图1是将人工眼球所产生的资讯传送至使用者终端机的资讯收集系统的说明图。
图2是装设人工眼球的行动电话的说明图。
图3是在汽车的后方装设移动式摄影机及视觉装置时的说明图。
图4是在轮椅后方装设移动式摄影机及视觉装置时的说明图。
图5是由监视终端机时常监视人工眼球所产生的资讯,配合需要传送至使用者终端机的资讯收集系统的说明图。
图6是将人工眼球所产生的资讯储存于资料库中,并由使用者终端机适当地检索资料库的资讯收集系统的说明图。
图7是记录从控制移动式摄影机的视觉装置收集的物体种类及位置形成的环境资料、物体数及数字影像的资料库记录的说明图。
图8是将人工眼球产生的资讯储存于资料库中,并由监视终端机检索适当的资料库,再配合需要传送至使用者终端机的资讯收集系统的说明图。
图9是由1个人工眼球与1个使用者终端机所构成的资讯收集系统的区块图。
图10是具备移动式摄影机、视觉装置及通讯功能的人工眼球的说明图。
图11是装设在人工眼球上的通讯装置的区块图。
图12是表示本实施型态的影像压缩装置的算术的流程图。
图13是具有移动式摄影机、视觉装置、刺激产生器、电极排列端子、连接器及电池的人工眼球的说明图。
图14是控制移动式摄影机寻找物体,并计数物体数的视觉装置的区块图。
图15是以镜片光轴为中心运转移动式摄影机时的影像座标的说明图。
图16是排列成格子状的阵列运算单元的区块图。
图17是顺序附于反时钟方向转动的8附近号码的说明图。
图18是表示本实施型态影像存储装置的算术的流程图。
图19是针对数字影像中特定颜色产生颜色资讯时的说明图。
图20是表示本实施型态色彩资讯作成装置的算术的流程图。
图21是使用数字影像产生粗边缘资讯时的说明图。
图22是表示本实施型态边缘资讯作成装置的算术的流程图。
图23是使用数字影像将粗边缘资讯形成为形成边缘资讯时的说明图。
图24是表示本实施型态边缘资讯形成装置的算术的流程图。
图25是将从低解像度数字影像所产生的低解像度粗边缘资讯形成为形成边缘资讯时的说明图。
图26是由切出从低解像度数字影像产生的低解像度粗边缘资讯区域形成为形成边缘资讯时的说明图。
图27是检查出边缘资讯影像中的物体位置及大小时的说明图。
图28是表示本实施型态的位置/大小检知装置的算术的流程图。
图29是检查出物体区域像素中的物体位置及大小时的说明图。
图30是检查出边缘资讯影像中的物体位置、大小及倾斜时的说明图。
图31是表示本实施型态的位置/大小/倾斜检知装置的算术的流程图。
图32是检查物体区域影像中的物体位置、大小及倾斜时的说明图。
图33是移动源重复资讯举例的说明图。
图34是是检查颜色资讯影像中的机构位置、大小及倾斜时的说明图。
图35是将数字影像的分离物体区域正规化时的说明图。
图36是表示本实施型态的区域正规化装置的算术的流程图。
图37是使用分离物体区域影像从数字影像产生虚拟影像时的说明图。
图38是表示本实施型态的虚拟装置的算术的流程图。
图39是表示本实施型态的影像维持装置的算术的流程图。
图40是对于正规化影像从导板影像中做样本协调时的说明图。
图41是表示本实施型态的样本协调装置的算术的流程图。
图42是表示三角形的边缘资讯分离为三角形的内侧区域与外侧区域的状态的说明图。
图43是表示本实施型态的物体/背景分离装置的算术的流程图。
图44是表示虚线状态的三角形的边缘资讯分离为虚线三角形的内侧区域与外侧区域的状态的说明图。
图45是表示2个重叠三角形的边缘资讯分离为2个三角形区域与背景区域的状态的说明图。
图46是表示重叠2个圆形物体区域时的虚线状态的边缘资讯分离为2个圆形区域与背景区域的状态的说明图。
图47是阵列运算单元的内部结构的区块图。
图48是控制器的区块图。
图49是表示旗帜译码机的输出入信号的说明图。
图50是表示旗帜译码机的输出入信号的说明图。
图51是表示处理器通过控制器将资料传送至邻接的阵列运算单元的算术的流程图。
图52是表示控制器从邻接的阵列运算单元接收资料的算术的流程图。
图53是表示处理器从上输入电阻器接收资料的算术的流程图。
图54是将5个控制器配置在平面上时的阵列运算单元的说明图。
图55是5堆积个控制器时的阵列运算单元的说明图。
图56是将9个阵列运算单元当作1个假设阵列运算单元时的说明图。
图57是当包含于1个假设阵列运算单元的9个阵列运算单元上附有控制器用的分配号码时的说明图。
图58是依次储存9个阵列运算单元输出的9个结果资料的转换电阻器的说明图。
图59是用个别阵列运算单元执行每个处理的人工眼球用影像感测器的功能栏区块图。
图60是排列二维格子状上的功能栏时的影像感测器的区块图。
图61是用1个阵列运算单元执行全部处理的人工眼球用影像感测器的功能栏区块图。
图62是用1个假设阵列运算单元执行全部处理的人工眼球用影像感测器的功能栏区块图。
图63是对大规模集成电路的实际安装方面装设功能功能栏时的影像感测器的区块图。
图64是基本的互锁式计数器的回路图。
图65是由3个互锁式计数器所构成的网路区块图。
图66是3个互锁式计数器同步时的时机图。
图67是3个互锁式计数器中1个位相较快时的时机图。
图68是3个互锁式计数器中1个位相较慢时的时机图。
图69是3个互锁式计数器的位相不同时的时机图。
图70是由排列成正方形格子状的互锁式计数器构成的网路区块图。
图71是由排列成六角形格子状的互锁式计数器构成的网路区块图。
图72是使用信号分配用解码器输出中的3号及5号,产生输出信号的互锁式信号分配回路的回路图。
图73是使用信号分配用解码器输出中的3号及5号,产生输出信号的互锁式信号分配回路的时机图。
图74是基本的同步式振荡电路的回路图。
图75是使用输入电阻的同步式振荡电路的回路图。
图76是使用水晶振动子时的同步式振荡电路的回路图。
图77是由3个同步式振荡电路构成的网路区块图。
图78是3个同步式振荡电路同步时的时机图。
图79是3个同步式振荡电路中1个位相较快时的时机图。
图80是3个同步式振荡电路中1个位相较慢时的时机图。
图81是3个同步式振荡电路位相不同时的时机图。
图82是在3个同步式振荡电路上投入电源时的时机图。
图83是由排列成正方形格子状的同步式振荡电路所构成的网路区块图。
图84是由排列成六角形格子状的同步式振荡电路所构成的网路区块图。
图85是与移动式摄影机、视觉装置、显示器、声音合成装置及声音辨识装置通讯的中央控制装置的区块图。
具体实施方式
以下,是列举本发明的资讯收集系统的实施型态,参照图面说明。
首先,如图1所表示,权利要求1的发明,是将输出数字影像111、物体种类、位置及个数的1个以上的人工眼球1、与表示数字影像111、物体种类、位置及个数,并传送控制指令的1个以上的使用者终端机4,连接于通讯网路8的系统。人工眼球1,具有由视觉装置2控制的移动式摄影机10,而该视觉装置2会辨别数字影像111中的物体种类、固定位置、并计数个数。另外视觉装置2,会根据由使用者终端机4输入的控制指令,控制移动式摄影机10的摇摄(水平移动)、俯仰(垂直移动)、翻滚(辗转)及变焦(望远)。每个使用者终端机4,利用选择数个人工眼球1中的1个,可接收被选择的人工眼球1的数字影像111、物体种类、位置及个数。使用者终端机4,是由具有与通讯网路8的通讯功能的中央控制装置221、表示数字影像111、物体种类、位置及个数的显示器222、与像游标键及粗边转盘那样的控制钮223所构成。人工眼球1及使用者终端机4因由使用有线技术及无线技术的通讯网路8连接,故人工眼球1不一定非设置在使用者身边。而视觉装置2因可以辨别物体的种类,故人工眼球1也不需要常常传送数字影像111。因此使用者不必时常监视着使用者终端机4也可以。
另外,权利要求1的发明中最简单的组合,是1个人工眼球1与1个使用者终端机4利用有线的通讯网路8连接,数字影像111、物体种类、位置、个数及控制指令可时常通讯的资讯收集系统。这样的系统,可举例如图2所表示的装有人工眼球1的行动电话211。此行动电话211,可将移动式摄影机10所拍摄的动态影像显示在显示器222上。因此,行动电话211的使用者,不仅可以不管移动式摄影机10的方向或倍率就把自己的样子显示于显示器222上,还可以通过显示器222看到移动式摄影机10所拍摄的周围状况。于是准备数个这种行动电话211,每个行动电话211经由彼此传送数字影像111、物体种类、位置、个数及控制指令,机构如图1所表示的资讯收集系统。
到目前为止我们针对具备人工眼球1与使用者终端机4的行动电话做了说明,但是若人工眼球1与使用者终端机4是利用通讯网路8连接,则人工眼球1与使用者终端机4不一定需要在一起。因此下述,是以当作使用者终端机装设导航系统的汽车321为例,针对人工眼球1的设置位置做说明。
如图3所表示,在汽车321后面防撞杆中央322上设置人工眼球1时,驾驶者可以确认有死角的地方。也就是视觉装置2,自动地摇摄、俯仰、翻滚及变焦移动式摄影机10,变更拍摄范围326,驾驶者就可以发现经过汽车321后方的行人324、脚踏车、机车325及其他汽车321、与在汽车321后行李箱附近玩的小孩。因此在死角多的停车场及车库等地方,驾驶者可以安全地倒退。另外若在汽车321车顶后方中央323设置人工眼球1,则驾驶者可以广范围地确认用后照镜及车边镜难以确认的地方(尤其是远方等)、及必须转身才能注意到的地方。也就是视觉装置2,自动地摇摄、俯仰、翻滚及变焦移动式摄影机10,变更拍摄范围326,驾驶者就可以发现从汽车321后方靠近的行人32
4、脚踏车、机车325及其他汽车321。因此驾驶者可以安全地打开车门驾驶。
图3中,虽说明了有关人工眼球1设置在汽车321后方的情况,但是有关汽车321两旁及前方也都一样。当在汽车321的车门及车顶侧边装设人工眼球1时,驾驶者可以确认在车门附近玩耍的小孩及路边一带的状况。而若在汽车321前方防撞杆中央及车顶前方装设人工眼球1时,驾驶者就可以发现经过汽车321前方的行人324、脚踏车、机车325及其他汽车321、与在汽车321引擎盖附近玩的小孩。因此驾驶者可以在死角多的停车场、车库及小巷道的十字路口安全地前进。若在汽车321的车顶内侧装设人工眼球1时,驾驶者可以掌握全部同乘者的状况。尤其是使用当作使用者终端机4的行动电话211时,驾驶者就算下了汽车321后,也可以知道车内的状况。因此就算汽车321随意放在停车场,驾驶者也可以马上赶到汽车321处,而就算小孩或婴儿等在车内,驾驶者也可以知道小孩或婴儿的状况。
另外,如图4所表示,将人工眼球1设置在轮椅座位331背部后面,并将使用者终端机4设置在轮椅座位331扶手上,则使用者可以不用扭转身体就能确定从轮椅后方靠近的物体。尤其是轮椅的使用者大多是身体无法自由行动、或为了推动轮椅而姿势需往前等,使用者很难去确认后方。不过利用本发明,轮椅的使用者就可以安全地移动。而若将人工眼球1设置在座位331上方、或设置在前方,则移动式摄影机10可以更广范围地拍摄红绿灯及道路标志等。另外在座位331上方设置使用者终端机4、或使用当作使用者终端机4的显微型电脑,就算是视力不好的使用者也可以看到显示器222的影像。
到目前为止,我们说明了有关使用者终端机4的使用者可以时常管理人工眼球1的资讯收集系统。不过此资讯收集系统,就算使用者在睡觉当中,人工眼球1也会传送数字影像111、物体种类、位置及个数。而且人工眼球1传送来的数字影像111、物体种类、位置及个数对使用者而言不一定是必要的。因此如图5所表示,将使用者终端机4中的几个设为监视终端机5,由代替使用者的数个监视者操作监视终端机5,让使用者可以在只有需要的时候才利用使用者终端机4。此时的监视终端机5,会根据监视者的指示,只要将从适当的人工眼球1所接收的数字影像111、物体种类、位置及个数转送到使用者的使用者终端机4即可。无论是使用者终端机4或监视终端机5都为电脑系统,所以利用既有的技术,监视者配合需要将状况的说明传送到使用者终端机、及从使用者终端机接收使用者的指示都非常容易做到。
然而,如果使用者终端机4的使用者不需要即时知道人工眼球1所传送的数字影像111、物体种类、位置及个数,则使用者终端机4及监视终端机5就不需要从人工眼球1直接接收数字影像111、物体种类、位置及个数。例如资讯收集系统要测量道路的交通量、或要计数商店街的人潮时,使用者就需要以数字影像111、物体种类、位置及个数为基础的统计资料。因此如图6所表示,权利要求2项的发明,是具有SQL(Structure Query Language)那样的资料库叙述语言、或具有合理的资料库及对象指向的资料库等的资料库6的资讯收集系统。此资料库6,会将人工眼球1所传送的数字影像111、物体种类、位置及个数储存为如图7那样的记录后,计数统计资料。例如图7的状况,记录是由储存不同记录ID的记录ID领域501、储存现在时间的时间记录器领域502、储存人工眼球1所具备的视觉装置2的号码的视觉装置号码领域503、储存表示物体种类及位置组数量的环境资料数的领域504、储存物体种类的种类领域505、储存物体位置的位置领域506、储存视觉装置2所输出的物体个数的物体数领域507、及储存数字影像111的数字影像领域508所构成。利用此记录,资料库6,可以用人工眼球1计数在一定时间内所拍摄下的特定种类物体个数、或推测物体的移动。而此资料库6,会利用由使用者终端机4所传送的检索键来检索记录,并将检索结果传至使用者终端机4。因此使用者,会配合需要对资料库6做存取,因仅可以取得对象的数字影像111、物体种类、位置、个数及统计资料,故可减轻使用者及通讯网路8的负担。
再者,如图8所表示,在数个使用者终端机4与资料库8之间有数个监视终端机5存在,则监视者可以提供单独的资讯及知识。例如便利商店及速食店等的经销商连锁、及经营顾问等,可提供是列商店及顾客需要的资讯及知识。而想预测交通量及人潮的仲介业者也可以提供使用者资讯。当然因为使用者终端机4及监视终端机5都为电脑系统,故利用既存的技术,监视者可以很容易地配合需要将状况的说明传送到使用者终端机4,及接收从使用者终端机4来的使用者意见。
最后,如图9所表示,权利要求3的发明,使用者终端机4至少具备声音合成装置226及声音辨识装置227的其中1项。声音合成装置226,会将中央控制装置221所接收的物体种类、位置及个数变换成声音信号,通过喇叭224输出。声音辨识装置227,会将麦克风225所收集的使用者声音变换成暂时原版,输出至中央控制装置221。中央控制装置221,会将此原版变换成控制指令及检索键后传送至人工眼球1、资料库6、及监视终端机5。因行动电话221上已经备有喇叭224、麦克风225、处理器101及存储器102,所以将声音合成程序及声音辨识程序装入存储器102后,行动电话211就可以很容易地装有声音合成装置226及声音辨识装置227。另外有关导航系统,装有声音合成装置226及声音辨识装置227的东西已经上市销售。因此使用者终端机4的使用,不用在显示器222上抓取视线、也不需操作麻烦的控制钮223,就是控制移动式摄影机10的方向、倾斜角度及倍率,就可以听到物体的种类、位置及个数。
到目前为止说明了有关由利用通讯网路8所连接的人工眼球1、使用者终端机4及资料库6所构成的资讯收集系统。不过对于人工眼球1上的视觉装置2及通讯装置7、与使用者终端机4上的中央控制装置221仅做了简单地说明。因此以下,是说明有关以视觉装置2及通讯装置7为中心的人工眼球1的实施型态,之后再说明有关中央控制装置221的实施型态。
首先连接于通讯网路8的人工眼球1用图10所表示那样的结构来表示。移动式摄影机10已经大多有上市销售,掌上型的移动式摄影机10也有上市销售。移动式摄影机10所拍摄的影像,是不让画面影像的画质降低并当作模拟动态影像或数据动态影像传送至视觉装置2。另外移动式摄影机10会将表示目前移动式摄影机10的状态信号传送至视觉装置2,另一方面视觉装置2会将控制移动式摄影机10的摇摄、俯仰、翻滚及变焦的信号传送至移动式摄影机10。而且人工眼球1的制造者可以在通讯装置7上使用市面上贩卖的商品,也可以使用通讯用平台简单地制造。
如图11所表示,通讯装置7具备影像压缩装置701及影像送讯装置702。影像压缩装置701,会从移动式摄影机10所拍摄的动态影像利用视觉装置2输入被产生的数字影像111(图11的实线),并使用MPEG等的动态影像压缩技术及JPEG等的静止影像压缩技术来压缩动态影像及画面影像,还将MPEG影像及JPEG影像输出至影像送讯装置702。影像送讯装置702,可利用装设TCP/IP等的通讯协定,通过网际网路等的通讯网路8将MPEG影像及NPEG影像传送至远处的电脑系统上。并且因为当作影像送讯装置702的DS-COMA及MC-CDMA等的高区域无线技术,通讯装置7,可以让移动式摄影机10所拍摄的动态影像更权宜,还可以不用选择场所及时间就传送信息。
接着,人工眼球1,可以代替数字影像111,输出组合数字影像111与物体区域影像142的巨集影像148。巨集影像148是涂满数字影像111的背景,所以影像压缩装置701就算不新增特别的功能也可以达到高压缩率。
截至目前所表示的,人工眼球1可以利用视觉装置2控制移动式摄影机10的摇摄、俯仰、翻滚及变焦,将拍下物体的动态影像传送至远处。不过仅使用前述的人工眼球1,不一定会出现应在数字影像111及巨集影像148上拍摄的物体。尤其是应在数字影像111上拍摄的物体就算出现也会没有在巨集影像148上出现该物体的状况,所以使用巨集影像148时要注意。因此对于物体区域141视觉装置2所产生的辨识结果会根据影像压缩装置701的使用方式(图11中的虚线),影像压缩装置701,仅压缩应拍摄物体所显示的数字影像111及巨集影像148,传送至影像送讯装置702中。
对于数字影像111的影像压缩装置701的算术如图12所表示。
在步骤711,判断有无依序输入的辨识结果。如果没有辨识结果(步骤711:YES),则算术就结束。如果有辨识结果(步骤711:NO),则转至步骤712。只是若没必要去判断辨识结果,也可以设为无限环形天线。
在步骤712中,输入辨识结果。
在步骤713中,判断辨识结果是否为特定的物体种类。如果辨识结果不是特定的物体(步骤713:NO),则回到步骤712。如果辨识结果是特定的物体(步骤713:YES),则转到步骤715。
在步骤714中,输入数字影像111。
在步骤715中,使用MPEG及JPEG等的压缩技术产生压缩数字影像。
在步骤716中,输出压缩数字影像。然后回到步骤711。
因此,影像压缩装置701仅可以压缩显现特定物体的数字影像111。另外压缩巨集影像148时也是一样。
使用超音波马达的移动式摄影机10目前正由几个研究机构及企业在开发,已经开发有包含外框直径不到10公分的移动式摄影机10。尤其是超音波马达因不需要齿轮等的机械式结构,故使用超音波马达的移动式摄影机10更容易小型化。如图2所表示的在行动电话211上装设使用超音波马达的移动式摄影机10,则人工眼球1,除了可以利用又小型又权宜的通讯装置7及电池212,还可以减少电池212的消耗电力。
因此,使用装有像超音波马达那种小型多自由度马达的移动式摄影机10,人工眼球1的使用者可以将人工眼球1随身携带。另外在最近,开发出了通过刺激产生器213、连接器215及电极排列端子214将CCD(电荷结合晶片)摄影机的影像直接输入脑中,使得全盲的人也可以取得视觉的技术。因此如图13所表示,人工眼球1具备移动式摄影机10、视觉装置2、刺激产生器213、电极排列端子214、连接器215及电池212时,人工眼球1的使用者可以利用在眼镜等上安装人工眼球1、或放入眼窝内,取得广范围的视角,辨别接近的物体,还可数物体的个数。
最后,对于一般用途的视觉装置2的算术虽已经被开发,但若要适用于人工眼球1,则必须做一部分变更。因此下列就主要对于视觉装置2做说明。
首先,若为寻找物体、辨识物体种类、及计数物体数量的视觉装置2(参照特愿平11-253634、特愿2000-64544),则移动式摄影机10具有变更面对水平方向及垂直方向的机关,从外部输入控制移动角度的指令,可以分别做摇摄及俯仰。另外移动式摄影机10具备变更拍摄影像的倍率的机关,从外部输入控制倍率的指令,就可以迅速放大。再加上移动式摄影机10具备多自由度马达时,移动式摄影机10因具有以镜片光轴设为中心的回转机关,并从外部输入控制倾斜度的指令,则可以翻滚。因此移动式摄影机10可以根据外部的指令让摄影机本身细微地振动。因此移动式摄影机10所拍摄的动态影像的画面影像会产生模糊,让画面影像中的物体正好在振动时拍摄。而静止物体是否正好在移动画面影像中被拍摄。
接着,移动式摄影机10可利用摇摄、俯仰、翻滚及变焦等的控制指令配合需要输出移动后目前的方向、倾斜度及倍率,而正在移动中或停止的移动式摄影机10的状态也会配合需要输出。此时若视觉装置2可以控制移动式摄影机10的摇摄、俯仰、翻滚及变焦,则制移动式摄影机10为了可以用适当的大小拍摄移动物体及静止物体,此视觉装置2可以变更移动式摄影机10的方向、倾斜度及倍率。
因此移动式摄影机10为了可以用适当的大小拍摄移动物体及静止物体,视觉装置2会配合功能分为3个座标系,也就是摄影机座标系、影像座标系及环境座标系。第一,摄影机座标系,是如文字移动式摄影机10为了分别用最小的控制单位控制摇摄、俯仰、翻滚及变焦,所使用的摄影机内部的三次元球形座标系。一般摄影机座标系的原点是被叫做静止位置的移动式摄影机10本来的位置。摄影机座标系是唯一可以表示移动物体及静止物体的物理位置的座标系。无论如何摄影机座标系因会依每个移动式摄影机10的机种不同,所以摄影机座标系并无泛用性。因此视觉装置2必须用其他装置隐藏摄影机座标系。第二,影像座标系,是以用移动式摄影机10所拍摄的画面影像中央,亦即镜片光轴为原点,以像素当作单位的二维座标系。这是用于表示要在画面影像中的哪个像素上放置移动物体及静止物体。因此影像座标系虽然适合区分画面影像中的数个移动物体及静止物体的细部位置,但只有影像座标系并无法表示这些移动物体及静止物体的物理上位置。第三,环境座标系,是视觉装置2为了逻辑性地统一表示在内部的移动物体及静止物体的位置而使用的三次元球状座标系。环境座标系在水平方向及垂直方向会使用以弧度当作单位的角度,为表示物体大小与物体的距离面积,距离方向上使用以1.0为单位的实数。因为一般物体的大小在短时间内不会有极端的变化,所以到物体的距离与移动式摄影机10的倍率可以当作比例。环境座标系的原点是随意的。也就是环境座标系原则上是为了表示环境座标系上的随便2点的相对座标时使用。视觉装置2会利用移动式摄影机10将可拍摄的环境中的移动物体及静止物体投射在环境座标系上,可区分数个移动物体及静止物体。
因此摄影机座标系及影像座标系必须与每个环境座标系相互变换座标。达到该任务的装置有摄影机/环境座标变换装置20、影像/环境座标变换装置21及运动控制装置23(参照图15)。这些装置是从移动式摄影机10及影像取得装置11(参照图15)的规格求出摄影机座标系及影像座标系的各单位,并计数要变换成环境座标系的行列。还利用计数从摄影机座标系到环境座标系的变换行列的相反行列,也可求出从环境座标系到摄影机座标系的变换行列。只是因为摄影机座标系的原点为移动式摄影机10的静止位置,所以从摄影机座标系被变换的环境座标系位置成为环境座标系上移动式摄影机10的静止位置的相对位置。另一方面,从环境座标系被变换的摄影机座标系位置会成为来自摄影机座标系上的移动式摄影机10现在位置的相对位置。再加上,因为影像座标系为二维座标系,所以只有在影像座标系不能变换成环境座标系。因此在影像/环境座标变换装置21是使用以环境座标系表示的移动式摄影机10的方向及倍率,与画面影像中的移动物体及静止物体的区域大小,利用计数随时变换行列,设定为可以从影像座标系变换为环境座标系。还有从影像座标系被变换的环境座标系位置,成为来自影像中心的相对位置。
而移动式摄影机10倾斜时,视觉装置2不能如前述那样求出环境座标系。例如图15所表示那样,在形成边缘资讯影像115中的位置α上有倾向角度θ反时钟转动的物体的形成边缘资讯115。此时对于对应镜片光轴的形成边缘资讯影像115中心o,就像反时钟转动时角度θ回转那样让移动式摄影机10回转,则边缘资讯形成装置15就可以输出回转后形成边缘资讯像181。也就是在回转后形成边缘资讯像181中的位置α的物体会变成直立,使得物体种类的辨识更容易。不过从回转后形成边缘资讯像181中的位置α求出的影像座标系的座标,与形成边缘资讯影像115中的位置α所求出的影像座标系的座标比较起来会成为时钟转动时角度θ回转的位置。因此角度θ变大或随着距离oα变长,两座标的偏移会变大。因此为了要从回转后形成边缘资讯像181中的位置α求出回转前的影像座标系座标,只要求出让回转后形成边缘资讯像181中的位置α反时钟转动时的角度θ回转的位置β即可。
在此若将回转后形成边缘资讯像181中的位置α的影像座标当作(αx,αy);位置β的影像座标当作(βx,βy),则可根据数式1从(αx,αy)求出(βx,βy)。
&beta; x &beta; y = cos &theta; - sin &theta; sin &theta; cos &theta; &alpha; x &alpha; y - - - ( 1 )
因为从回转后形成边缘资讯像181中的位置α可以求出位置β,亦即形成边缘资讯影像115中的位置α,所以当作结果的影像/环境座标变换装置21可以从回转后形成边缘资讯像181中的位置α正确地球出环境座标。
使用前述的摄影机座标系、影像座标系及环境座标系,说明视觉装置2的实施型态。如图14所表示,视觉装置2的实施型态,利用的装置有:接受移动式摄影机10的摄影信号(画面影像)后变换为适当的格式与大小的数字影像111的影像取得装置11;在一定时间储存数字影像111的影像存储装置12;在输出地保持到输出前的数字影像111的影像维持装置39;从2个数字影像111产生移动物体的边缘资讯影像113的边缘资讯作成装置14;将边缘资讯影像113更明确地形成明了的形成边缘资讯影像115的边缘资讯形成装置15;利用形成边缘资讯114分离被区分区域的物体/背景分离装置16;重组与数字影像111分离的区域的遮罩装置40;在输出地保持到输出前的遮罩影像148的影像维持装置39;将分离区域正规化为影像大小的区域正规化装置27;在输出地保持到输出前的正规化影像145的影像维持装置39;利用形成边缘资讯影像115解析移动物体大致的形状的几何解析装置37;对于已被正规化的移动物体的区域进行模式协调的模型比照装置38;从协调结果影像147及几何解析结果辨识移动物体种类的影像辨识装置29;利用粗边缘资讯112检查已被区分的个区域的位置及大小的位置/大小检知装置17;将表示移动式摄影机10的方向及倍率的摄影机座标系变换为视觉装置2的基本型座标系的环境座标系的摄影机/环境座标变换装置20;使用以环境座标系表示的移动式摄影机10的方向及倍率,将位置/大小检知装置17检查出来的移动物体的位置变换为环境座标系的影像/环境座标变换装置21;从位置/大小检知装置17检查出的数个移动物体位置选择1个的位置选择装置22;以1毫秒单位计数时间的计时装置32;从以环境座标系表示的移动式摄影机10的方向及倍率、以环境座标系表示的数个移动物体的位置、移动物体的种类、几何解析结果、及时刻制作环境地图的环境理解装置31;在输出地保持输出前的环境地图的环境地图维持装置33;利用环境地图推测接着应辨识的移动物体位置的物体位置推算装置34;从外部输入要控制移动式摄影机10的方向及倍率的控制指令的控制指令输入装置24;产生让移动式摄影机10振动的指令的振动指令产生装置25;使用以环境座标系表示的移动式摄影机10的方向及倍率,一边参照从位置选择装置22、控制指令输入装置24、振动指令产生装置25及物体位置推算装置34输入的4个位置,一边决定以摄影机座标系表示的移动式摄影机10的位置的运动控制装置23;产生让移动式摄影机10移动至运动控制装置23所决定的摄影机座标系位置上的指令的摄影机指令产生装置26。
影像取得装置11从移动式摄影机10输入动态影像的画面影像时,若动态影像为模拟信号,则会利用A/D变换将画面影像变换为数据信号。尤其是若可以直接输入光电二极管等的拍摄晶片207的电压,则只要用A/D变换变换成适当的位元数的数据信号即可。动态影像为数据信号时,若被压缩就解压缩,若未被压缩就直接输入。因可以用这些区分出动态影像中任一画面影像,故切出此画面影像定为数字影像111。此数字影像111会根据适当的格式,保有以前的任一影像大小,所以影像取得装置11可参照用像素单位的影像资料变换个格式,在视觉装置2切出必要的影像大小部份,并当作数字影像111输出。如果影像取得装置11可以并列地输出数字影像111全部像素,则从影像取得装置11对影像存储装置12的通讯,可以根据每个像素并列进行。
影像存储装置12若从影像取得装置11输入数字影像111,则会配合视觉装置2的时间分解能或各装置的计数能力储存一定时间数字影像111。也就是在此一定时间中就算数字影像111被输入影像存储装置12也不能变更储存影像,所以后续的各种装置可在不同的时间点输入同样的数字影像111。而且因为影像存储装置12对数字影像111并不进行影像处理,所以对于数字影像111全部的像素会直接保有二维的位相关系储存。如果影像存储装置12可以并列输出数字影像111全部的像素,则从影像存储装置12到影像维持装置39、边缘资讯作成装置14、色彩资讯作成装置41及遮罩装置40的通讯,可在每个像素上并列进行。
影像维持装置39若从影像存储装置12输入数字影像111,如果数字影像111的输出地要求适当格式的数字影像111,则会在数字影像111的输出地要求的格式上变更数字影像111。之后影像维持装置39为了可确实地将数字影像111传送至数字影像111的输出地,会储存一定期间的数字影像111。影像维持装置39若限定变换的格式,则仅在每个像素的附近处理可变换数字影像111,所以会朝并列化。如果影像维持装置39可以并列输出数字影像111的全部像素,则从影像维持装置39到数字影像111输出地的通讯,可在每个像素上并列进行。
边缘资讯作成装置14若从影像存储装置12输入数字影像111,则会与的前被输入的数字影像111比较,产生移动物体的粗边缘资讯影像113。边缘资讯作成装置14因仅可在每个像素附近处理产生粗边缘资讯影像113,所以会朝并列化。如果边缘资讯作成装置14可以并列地输出粗边缘资讯影像113全部像素,则从边缘资讯作成装置14到边缘资讯形成装置15及位置/大小检知装置17的通讯,可在每个像素上并列进行。边缘资讯形成装置15若从边缘资讯作成装置14输入粗边缘资讯影像113,则用影像存储装置12参照被存储的数字影像111,产生比粗边缘资讯影像113更明确的清楚移动物体的形成边缘资讯影像115。边缘资讯形成装置15因仅可在每个像素附近处理产生形成粗边缘资讯影像115,所以会朝并列化。如果边缘资讯形成装置15可以并列地输出形成边缘资讯影像115全部像素,则从边缘资讯形成装置15到物体/背景分离装置16、几何解析装置37及倾斜检知装置42的通讯,可在每个像素上并列进行。
物体/背景分离装置16若从边缘资讯形成装置15输入形成边缘资讯影像115,则会将包含于移动物体的物体区域141中的像素及包括于背景的像素分离成不同的群组,以群组单位依次输出分离结果。另外物体区域141不管是否邻接而用形成边缘资讯114明确地区分时,物体/背景分离装置16可以将这些物体区域141分离为不同群组。因此群组数也会有3以上。物体/背景分离装置16因仅可在每个像素附近处理分离物体区域141与背景,所以会朝并列化。如果物体/背景分离装置16可以并列地输出物体区域影像142全部像素,则从物体/背景分离装置16到遮罩装置40及区域正规化装置27的通讯,可在每个像素上并列进行。
遮罩装置40若从物体/背景分离装置16输入物体区域影像142,则参照用影像存储装置12储存的数字影像111,利用涂盖没与物体区域141重复的像素,产生遮罩影像148。遮罩装置40因仅可在每个像素附近处理产生遮罩影像148,所以会朝并列化。如果遮罩装置40可以并列地输出遮罩影像148全部像素,则从遮罩装置40对影像维持装置39的通讯,可在每个像素上并列进行。
影像维持装置39若从遮罩装置40输入遮罩影像148,如果遮罩影像148的输出地要求适当的格式的遮罩影像158,则遮罩影像148的输出地会在要求的格式上变换遮罩影像148。之后影像维持装置39为了可以将遮罩影像148确实地传送至遮罩影像148的输出地,会储存一定期间遮罩影像148。影像维持装置39若限定变换的格式,因仅可在每个像素附近处理变换遮罩影像148,所以会朝并列化。如果影像维持装置39可以并列地输出遮罩影像148全部像素,则从影像维持装置39对遮罩影像148的输出地的通讯,可在每个像素上并列进行。
区域正规化装置27若分别从物体/背景分离装置16及影像取得装置11输入物体区域影像142及数字影像111,则会从数字影像111切出移动物体的分离物体区域143,一边变形分离物体区域143一边配合数字影像111的影像大小尽可能地补完及扩大而产生正规化影像145。区域正规化装置27因仅可在每个像素附近处理将分离物体区域143正规化,所以会朝并列化。如果区域正规化装置27可以并列地输出正规化影像145全部像素,则从区域正规化装置27对模型比照装置38及影像维持装置39的通讯,可在每个像素上并列进行。
影像维持装置39若从区域正规化装置27输入正规化影像145,如果正规化影像145的输出地要求适当的格式的正规化影像145,则正规化影像145的输出地会在要求的格式上变换正规化影像145。之后影像维持装置39为了可以将正规化影像145确实地传送至正规化影像145的输出地,会储存一定期间正规化影像145。影像维持装置39若限定变换的格式,因仅可在每个像素附近处理变换正规化影像145,所以会朝并列化。如果影像维持装置39可以并列地输出正规化影像145全部像素,则从影像维持装置39对正规化影像145的输出地的通讯,可在每个像素上并列进行。
几何解析装置37若从边缘资讯形成装置15输入形成边缘资讯影像115,则会由进行撞击抽样法、近交变换、远交变换及一半变换等的几何解析,推测画面影像中的移动物体形状,并产生几何解析结果。用过去的影像辨识从影像本身抽出直接直线等,使用不让移动物体的位置及大小左右的各种变换等,进行辨识影像中的物体。因此不管处理的单纯度,组合的数量变膨胀,结果需要膨胀的计数量,直到取得期望的结果需花很长的时间,或只得到品质很低的辨识结果。不过此视觉装置2,会对于画面影像中的移动物体的模式由物体/背景分离装置16、区域正规化装置27、模型比照装置38及影像辨识装置29进行辨识处理。但是物体/背景分离装置16、区域正规化装置27、模型比照装置38及影像辨识装置29所进行的辨识处理对认识移动物体的轮廓那样的几何图形很弱。因此几何解析装置37,利用简单的装置大略地解析形成边缘资讯影像115,除了很容易做到几何图形的认识外,也可减低几何解析装置37本身的负担。另外使用几何解析装置37的模型比照装置38并不需要认识几何图形,模型比照装置38会被简略化。再者,利用几何解析结果,环境理解装置31可以确实地快速制作环境地图。几何解析结果会从几何解析装置37输出至影像认识装置29及环境理解装置31。
模型比照装置38若从区域正规化装置27输入正规化影像145,则会用像素单位将正规化影像145与数个导板影像146比较,并产生协调结果影像147。另外模型比照装置38,也可以配合视觉装置2的目的,使用事前准备好的导板影像146,将被输入的正规化影像145当作导板影像146使用。一般的正规化影像145的各像素因类似不同的导板影像146的对应像素,协调结果影像147会根据几个区块成为构成花样。如果模型比照装置38可以并列地输出协调结果影像147全部像素,则从模型比照装置38对影像认识装置29的通讯,可在每个像素上并列进行。
影像认识装置29若从模型比照装置38输入协调结果影像147,则会使用适当的模式认识装置认识协调结果影像147,并输出认识结果,也就是移动物体的种类。影像认识装置29当作模式认识法,也可以选择像多数决那样单纯的协调结果影像147中最多协调结果,还可利用误差逆传播法使用学习的感应器等的新撞杆网路。另外使用新撞杆网路时,可以使用新撞杆网路专用加速器做到并列化及快速化。协调结果影像147的认识结果,亦即移动物体的种类会从影像认识装置29输出到认识结果维持装置30及环境理解装置31。只是,影像认识装置29若从几何解析装置37输入几何解析结果,则影像认识装置29会先判断是否为当作认识对象的图形。如果几何解析结果为对象外的图形,则影像认识装置29不会动作。几何解析结果若为对象图形,则影像认识装置29会认识协调结果影像147。例如根据误差逆传播法的学习感应器的情况,每个对象图形会利用协调结果影像147制作学习资料,之后影像认识装置29会根据几何解析结果选择学习资料,感应器也可对于对象图形进行有效率的模式辨识。也就是几何解析结果若为圆形,仅会利用人的脸或球状的圆形物体的学习资料;几何解析结果若为三角形,则仅会利用道路标志或山间等的三角形物体的学习资料。如此一来不仅可以利用小规模的感应器认识多数的物体,感应器本身也可以有效率地学习。
认识结果维持装置30若从影像认识装置29输入协调结果影像147的认识结果,如果认识结果的输出地要求适当的格式的信号,则认识结果的输出地会在要求的格式上变换认识结果。之后认识结果维持装置30为了可以将认识结果确实地传送至认识结果的输出地,会储存一定期间认识结果。
位置/大小检知装置17若从边缘资讯作成装置14输入粗边缘资讯影像113,则会根据粗边缘资讯112检查被指示的移动物体的区域位置及大小。位置/大小检知装置17因仅可在每个像素附近处理,产生表示移动物体的区域位置及大小的检查结果的重复资讯影像132,所以会朝并列化。如果位置/大小检知装置17可以并列地输出重复资讯影像132全部像素,则从位置/大小检知装置17对影像/环境座标变换装置21的通讯,可在每个像素上并列进行。
摄影机/环境座标变换装置20及影像/环境座标变换装置21,将以位置/大小检知装置17所产生的重复资讯影像132表示的移动物体区域的位置变换为环境座标系的位置。此时画面影像中的移动物体区域的位置总数若为2个以上,则环境座标系上也会有2个以上的位置存在。因此控制移动式摄影机10的摇摄、俯仰及迅速放大对于任何1个移动物体调整移动式摄影机10的方向及倍率,有需要从环境座标系上的数个位置中的1个。位置选择装置22会根据一定的判断基准,选择环境座标系上的1个位置。在此所使用的判断基准主要如下。第一,位置选择装置22会选择最接近环境座标系上的移动物体位置中的移动式摄影机10(或最大者)。当移动物体较远(或较小)时,因为边缘资讯作成装置14会有产生噪音的可能性,位置选择装置22会从环境座标系上的数个位置中选择移动物体存在的准确率较高者。第二,在环境座标系上的一定范围内有数个位置集中时,位置选择装置22会选择其中的1。另外在此可以考虑有2个可能性。1个是边缘资讯作成装置14有可能对于1个移动物体产生分散的粗边缘资讯112,另外1个是实际上数个移动物体有存在的可能性。因此位置选择装置22只要选择适当的1个位置即可。第三,当环境座标系上大多数的位置几乎为相同距离(或几乎为相同大小)时,位置选择装置22会选择最接近的位置,亦即最接近移动式摄影机10方向的位置。将这些配合用途或状况利用适当的组合,位置选择装置22可以从环境座标系上的数个位置中选择1个。
计时装置32会用计时器回路以1毫秒单位输出现在时间。现在时间会不断地从计时装置32输出至环境理解装置31。
环境理解装置31若从影像认识装置29输入移动物体的物体区域141的认识结果,会制作认识结果、移动式摄影机10的环境座标系上的位置、及从现在时间形成的环境资料。而环境理解装置31若从影像/环境座标变换装置21输入画面影像中的全部物体区域141的环境座标系上的位置,则仅物体区域141的数制作加上无效资料形成的认识结果、移动式摄影机10的环境座标系上的位置与画面影像中的1个物体区域141的环境座标系上的位置的位置、及现在时间形成的环境资料。此时的环境地图会成为从现在时间到一定时间前制作的环境资料的集合,环境资料中的位置会用以移动式摄影机10的静止位置当作原点的环境座标系表示。环境理解装置31会对于环境地图与时刻的经过一起追加及删除环境资料。而环境理解装置31,将重复的内容的环境资料置换为位置的变化等与删除一起,认识结果为无效资料的环境资料中的位置,当认识结果为不是无效资料的其他环境资料中的位置附近时,认识结果会删除无效资料的环境资料。再加上,认识结果为无不是效资料的环境资料中的位置,认识结果不是无效资料的其他环境资料中位置的附近时,如果这些环境资料中的认识结果为一致,则会删除前者的环境资料。根据环境资料的记录时间与环境资料中位置的附近范围,决定环境地图的精确度。环境座标系上的现在移动式摄影机10的位置被追加于环境地图后,环境地图会从环境理解装置31输出至环境地图维持装置33、物体计数装置35、及物体位置推算装置34。不过,环境理解装置31若从几何解析装置37输入几何解析结果,首先影像认识装置29会判断是否为当作认识对象的图形。如果几何解析结果为对象外的图形,会在移动式摄影机10环境座标系上的位置附近,而且环境理解装置31会立即从环境地图删除认识结果为无效资料的环境资料。藉此从环境地图删除不必要的环境资料,物体位置推算装置34等也不用输出不必要的物体推测位置。几何解析结果为对象图形时,环境理解装置31会等待来自一定时间影像认识装置29的认识结果。
环境地图维持装置33若从环境理解装置31输入环境地图,如果环境地图的输出地要求适当的格式的信号,则环境地图的输出地会在要求的格式上变换环境地图。之后环境地图维持装置33为了可以将环境地图确实地传送至环境地图的输出地,会储存一定期间环境地图。
物体计数装置35若从环境理解装置31输入环境地图,会计数环境地图中,具有指示特定物体的认识结果的环境资料数,产生任意物体数。环境资料中的认识结果,可利用影像认识装置29从被辨识物体种类中选择好几项。任意物体数会从物体计数装置35被输出至物体数维持装置36。另外,配合用途若有需要,可由变更物体计数装置35,简单地从外部指定应计数的物体种类。
物体数维持装置36若从物体计数装置35输入任意物体数,会了确实将任意物体数传送至任意物体数的输出地,会存储一定期间的任意物体数。
物体位置推算装置34若从环境理解装置31输入环境地图,会选择1个认识结果为无效资料的环境资料,并抽出该环境资料中的位置。从这个位置利用摄影机/环境座标变换装置20带出被计数的移动式摄影机10的环境座标系上的现在位置,物体位置推算装置34,无论过去是否产生粗边缘资讯112,都是以移动式摄影机10的环境座标系上的现在位置作为原点,还可以求出没有认识结果的移动物体的环境座标系上的相对位置。只是不一定是存在于目前该位置的移动物体。因此此位置成为移动物体有可能存在的移动物体的推测位置。另一方面,如果在环境地图中没有认识结果为无效资料的环境资料,则在移动式摄影机10可移动的范围内产生适当的环境座标系上的位置。此时产生适当位置的基准如下。第一,由疑似乱数产生任一位置。第二,计数环境地图中环境资料里位置密度低的位置。第三,以适当的顺序依次产生移动式摄影机10可能移动范围中的位置。例如,在移动式摄影机10可能移动的范围中从左上方的位置往右依序产生位置,到达右方后就降一层往后左依序产生位置,到了左边再降一层往后右依序产生位置,一直重复进行。配合用途或状况组合这些基准,可以有效率地推测移动式摄影机10尚未拍摄的移动物体的推测位置。物体推测位置会从物体位置推算装置34输出至运动控制装置23。
色彩资讯作成装置41若从影像存储装置12输入数字影像111,则数字影像111各像素中的颜色会选择与事先指定的1个以上的颜色及颜色区域一致者,产生颜色资讯影像172。色彩资讯作成装置51因可以用像素单位产生颜色资讯171,所以会朝并列化。如果色彩资讯作成装置41可以并列地输出颜色资讯影像172全部像素,则从色彩资讯作成装置41对位置/大小检知装置17的通讯,可在每个像素上并列进行。
位置/大小检知装置17若从色彩资讯作成装置41输入颜色资讯影像172,则会利用颜色资讯171检查出被指示的移动物体的区域位置及大小。位置/大小检知装置17因仅可在每个像素附近处理,产生表示移动物体的区域位置及大小的检查结果的重复资讯影像132,所以会朝并列化。如果位置/大小检知装置17可以并列地输出重复资讯影像132全部像素,则从位置/大小检知装置17对影像/环境座标变换装置21的通讯,可在每个像素上并列进行。之后根据影像/环境座标变换装置21及位置选择装置22选择1个重复资讯影像132中的移动物体位置,并输出至运动控制装置23。
位置/大小/倾斜度检知装置44若从边缘资讯形成装置15输入形成边缘资讯影像115,则会利用形成边缘资讯114检查出被指示的移动物体的区域位置、大小及倾斜度。位置/大小/倾斜度检知装置44因仅可在每个像素附近处理,产生表示移动物体的区域倾斜角度的角度影像,所以会朝并列化。如果位置/大小/倾斜度检知装置44可以并列地输出重复资讯影像132全部像素及倾斜角度影像的全部像素,则从位置/大小/倾斜度检知装置44对倾斜度检知装置42的通讯,可在每个像素上并列进行。
倾斜度检知装置42若从位置/大小/倾斜度检知装置44输入倾斜角度影像,则会检查出位于最中央位置的倾斜角度。藉此移动式摄影机10可配合在中央拍摄的物体转动。倾斜角度会从倾斜度检知装置42输出至运动控制装置23。
另外,视觉装置2,不一定要用图14所表示的全部装置,也可以控制移动式摄影机10、辨识物体种类、及特定物体位置。因此视觉装置2的制造者及程序设计者,实际在制造视觉装置2时,只要配合应拍摄的物体、被要求的功能、被提供的电脑资源即可利用的LSI技术去取舍选择需要的装置即可。
视觉装置2,除了用位置选择装置22选择的位置外,还可在下列位置要求移动式摄影机10做摇摄、俯仰、翻滚及变焦。首先是移动式摄影机10要拍摄静止物体移动时,此视觉装置2必须让移动式摄影机10振动。而振动指令产生装置25会将移动式摄影机10应移动的位置当作环境座标系上的位置来指定。振动指令产生装置25指定的位置极端地在移动式摄影机10不振动的范围内会由疑似乱数等来决定的。再加上,此视觉装置2,可以从外部输入控制指令要求移动式摄影机10做摇摄、俯仰、翻滚及变焦。一般性的用途中,因是以移动式摄影机10目前的方向、倾斜度及倍率为基准使其摇摄、俯仰、翻滚及变焦,所以利用控制指令输入装置24,储存暂时控制指令后算出以移动式摄影机10的现在位置当作原点的环境座标系上的位置。另外由改良控制指令输入装置24,可以很容易地让移动式摄影机10移动至特定的位置。
因此为了控制移动式摄影机10的摇摄、俯仰、翻滚及变焦,运动控制装置23会从前述的环境座标系上的5个位置中选择1个。此时运动控制装置23,会在控制指令输入装置24、物体位置推算装置34、边缘资讯作成装置14上产生位置选择装置22;在色彩资讯作成装置41上产生位置选择装置22,依振动指令产生装置25的顺序,从可提供的装置中选择输入位置。被选择的位置会利用运动控制装置23从环境座标系变换成摄影机座标系。之后利用摄影机指令产生装置26置换成移动式摄影机10可辨识的指令,传送至移动式摄影机10。因此视觉装置2可控制移动式摄影机10的摇摄、俯仰、翻滚及变焦。
另外根据移动式摄影机10的机种,有的机种若不对移动式摄影机10传送特定的指令,就无法取得移动式摄影机10的状态,也就是移动式摄影机10的方向、倾斜度及倍率、或移动式摄影机10是否正在移动或停止中的资讯。因此运动控制装置23,从前述的5个位置中选出1个输出到摄影机指令产生装置26后,为了可以将查询移动式摄影机10是否为移动中等的资讯的指令传送至移动式摄影机10,运动控制装置23会指示摄影机指令产生装置26,从移动式摄影机10通过摄影机/环境座标变换装置20等待接收到此资讯为止。如果接收的资讯表示移动中,则询问移动式摄影机10是否在移动中资讯的指令就会传送至移动式摄影机10,运动控制装置23会再度指示摄影机指令产生装置26。如果接收的资讯表示停止中,则询问移动式摄影机10目前方向、倾斜度及倍率的指令就会传送至移动式摄影机10,运动控制装置23会指示摄影机指令产生装置26。该段期间中运动控制装置23不选择5个位置。摄影机指令产生装置26会根据运动控制装置23来的指示,将对应的指令传送至移动式摄影机10。摄影机/环境座标变换装置20会将移动式摄影机10是否在移动中的资讯完全传送至运动控制装置23,并将移动式摄影机10目前方向、倾斜度及倍率从摄影机座标系变换为环境座标系的位置。藉此视觉装置2,可以一边逐次调查移动式摄影机10的状态,一边控制移动式摄影机10摇摄、俯仰、翻滚及变焦。
最后,视觉装置2,在边缘资讯作成装置14及位置/大小检知装置17、与边缘资讯形成装置15、位置/大小/倾斜度检知装置44、物体/背景分离装置16、区域正规化装置27、影像维持装置39、及模型比照装置38之间,每个装置并不一定要让输入的影像解析度或影像大小一致。例如,在此视觉装置2中,在边缘资讯作成装置14输入降低数字影像111解像度的低解像度数字影像116;另一方面,在边缘资讯形成装置15,输入用适当的装置将边缘资讯作成装置14产生的低解像度粗边缘资讯影像117的影像大小扩大为数字影像111的影像大小的粗边缘资讯影像113;在物体/背景分离装置16及区域正规化装置27上输入数字影像111,可减少边缘资讯作成装置14的负荷(参照图25)。也就是几乎不改变在边缘资讯形成装置15以后所产生的正规化影像145的品质,就可以更加快速地控制位置/大小检知装置17以后的移动式摄影机10的摇摄、俯仰、翻滚及变焦。而此装置更进一步的话,在边缘资讯形成装置15,输入划分出边缘资讯作成装置14所产生的低解像度粗边缘资讯影像117中的粗边缘资讯112所存在的区域的粗边缘资讯影像119;在物体/背景分离装置16及区域正规化装置27上,输入切出与从数字影像111切出的粗边缘资讯影像119相同的位置区域的切出数字影像120,可减轻边缘资讯形成装置15以后的正规化影像145的产生负荷(参照图25)。在此利用该视觉装置2,如果移动式摄影机10可以用适当的大小在画面影像的中央拍摄移动物体,就可以对于数字影像111事先决定切出粗边缘资讯影像119及切出数字影像120的切出区域。利用此装置,该视觉装置2就可以用1台移动式摄影机10,做到与使用广角摄影机与高解像度摄影机的物体探索装置有同样的功能。
视觉装置2中所用的影像存储装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、位置/大小/倾斜度检知装置44、物体/背景分离装置16、区域正规化装置27、遮罩装置40、影像维持装置39、及模型比照装置38,可使用由阵列运算单元100(ARRAY OPERATION UNIT)所构成的资料处理装置110)来实际装设。以下,是以利用阵列运算单元100的资料处理装置110的实施型态为例,参照图面来说明该视觉装置2。
首先阵列运算单元100,是利用输入影像的1个像素与其附近像素,产生输出影像的1个像素。而如图16所表示,会将阵列运算单元100配合输入影像的大小,再利用排列成格子状的资料处理装置110,阵列运算单元100就可以从输入影像产生输出影像。另外在图16中,将阵列运算单元100略既为AOU。接着阵列运算单元100可以用专用硬件去安装,也可以在一般的电脑上用软件安装。也就是如果可以从输入影像产生输出影像,安装装置就不受限制。因此藉由表示阵列运算单元100的算术,可以表示资料处理装置110的影像处理。而为了表示阵列运算单元100的算术,在此说明有关在图14所表示的影像存储装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、位置/大小/倾斜度检知装置44、区域正规化装置27、遮罩装置40、影像维持装置39、及模型比照装置38所使用的公式。
若将宽w、高h、区域数b的任一2n阶调影像当作x、y、w,x、y、w会使用每个位置p(i,j,k)的区域像素值xijk、yijk、wijk如公式2、3及4中所表示。还有画有底线的文字是表示向量。而n为非负的整数,w、h、b、i、j、k为自然数。
x={xijk|xijk is value at p(i,j,k),l≤i≤w,l≤j≤h,l≤k≤b}    (2)
y={yijk|yijk is value at p(i,j,k),l≤i≤w,l≤j≤h,l≤k≤b}    (3)
w={wijk|wijk is value at p(i,j,k),l≤i≤w,l≤j≤h,l≤k≤b}    (4)
首先就针对前述影像的各区域像素值的点处理的相关函数如下说明。
将影像x变换为二值影像时,会根据公式5将区域像素值二值化。
&Phi; ijk ( x &OverBar; ) = 1 if x ijk > 0 , 0 otherwise . - - - ( 5 )
当把影像x变换为区域最大值影像时,会根据公式6选择i行j列的像素的各区域的值中最大值。还有前述区域最大值影像因呈单区域影像,所以当作权宜性区域数1的前述影像使用。因此函数Bijl(x)的第3字为1。
B ijl ( x &OverBar; ) = max k { x ijk } - - - ( 6 )
假设影像x为二值影像,当反转影像x时,会根据公式7计数。
Iijk(x)=1-xijk    (7)
影像x的位置p(i,j,k)上的对数变换会根据公式8进行。在此e为胶印,因为要让自然对数函数输出的值进入有效范围内使用的,所以一般e=1就够了。利用此对数化可以将区域像素值之间的除法设定为减法。而影像x若为2n阶调的数字影像111,如果不管区域数将包含2n个要素的往上的图表带到存储器102上的话,就不需要每次计数自然对数函数,也不需要有标准的对数表。
Lijk(x)=ln(xijk+e)    (8)
而,影像位置p(i,j,k)上q附近的位置集合pijk(q)由公式9表示。只是q为4、8、24、48、80、120、(2r+1)2-1的连续数列,r为自然数。还有超出影像大小的位置若包含于集合pijk(q)中,则只要没有特别指定就会代用位置p(i,j,k)。除此之外的状况,会根据指定,像素值相当于0,而且会代用不包含于影像内的架空位置。因此边缘处理会自动执行。所以集合pijk(q)的要素数Nijk经常为q。
P ijk ( q ) = { p ( i + 1 , j , k ) , p ( i , j + 1 , k ) , p ( i - 1 , j , k ) , p ( i , j - 1 , k ) } if q = 4 , { p ( l , m , k ) | i - r &le; l &le; i + &tau; , j - r &le; m &le; j + r , p ( l , m , k ) &NotEqual; p ( i , j , k ) } if q = ( 2 r + 1 ) 2 - 1 . - - - ( 9 )
影像x的位置p(i,j,k)上的平滑化是根据公式10执行。不过int(v)是表示实数v的小数点以下舍去的意思。如果影像x的区域像素值为整数值,在安装影硬件时变更为对于Njik=4时的xlmk的总和执行2次右shif指令;对于Njik=8时的xlmk的总和执行3次右shif指令的回路,可以省去执行除法的回路。
S ijk ( x &OverBar; ) = int ( 1 N ijk &Sigma; p ( l , m , k ) &Element; P ijk ( q ) x lmk ) - - - ( 10 )
虽为RABRASHIAN的计数,但此如公式11所表示只是2阶差异放映。8附近182会捕捉声音微妙的变化原点及零交叉会变多,并倾向本发明。不过因Nijk为4或8,如果硬件安装时Nijk=4时要变更为对于xijk执行2次左shif指令;对于Nijk=8时对于xijk执行3次左shif指令的回路,可以省去执行实数乘法的回路。
&dtri; ijk 2 x &OverBar; = &Sigma; p ( l , m , k ) &Element; P ijk ( q ) x lmk - N ijk x ijk - - - ( 11 )
从利用RABRASHIAN求出的值发现原点的方法,虽然过去发现了从正倒负的变化的像素,但是本发明会根据公式12,从负到正的零交叉像素的外、还有从负到零或从零到正等的原点途径,去发现零继续的像素。本发明中,公式12发现的原点并非有边的地方,而是有噪音的地方,也就是没有边的地方。还可以利用公式12同时进行实数值的二值化。
Z ijk ( x &OverBar; ) = 1 if x ijk &le; 0 and x lmk &GreaterEqual; 0 for &Exists; p ( l , m , k ) &Element; P ijk ( q ) , 0 otherwise . - - - ( 12 )
影像x为任一二值影像,当影像x中的孔填入空的像素时,会依照公式13计数。在此f为表示应填入孔的大小的参数,一般而言f=1就够了。另外因为在4附近时因无法检查其性质上对角线,所以尽量设为8附近182较好。
F ijk ( x &OverBar; ) = 1 if &Sigma; p ( l , m , k ) &Element; P ijk ( q ) x lmk + f &GreaterEqual; N ijk , x ijk otherwise . - - - ( 13 )
影像x为任一二值影像,影像x中没有单独点或删除单独孔时,会根据公式14计数。另外因为在4附近时因无法检查其性质上对角线,所以尽量设为8附近182较好。
A ijk ( x &OverBar; ) = 0 if x ijk = 1 and &Sigma; p ( l , m , k ) &Element; P ijk ( q ) x lmk = 0 , 1 if x ijk = 0 and &Sigma; p ( l , m , k ) &Element; P ijk ( q ) x lmk = N ijk , x ijk otherwise . - - - ( 14 )
影像x为任一二值影像,为了检查影像x中线幅为1的像素,会使用4附近像素根据公式15计数。
J ijk ( x &OverBar; ) = x ijk if x i - 1 jk + x i + 1 jk = 0 or x ij - 1 k + x ij + 1 k = 0 , 0 otherwise . - - - ( 15 )
2个像素x、y为任一二值影像,若像素y当作是检查像素x中线幅为1的像素的影像,则为了扩充像素x中线幅为1的像素线幅,会使用4附近像素根据公式16计数。
K ijk ( x &OverBar; , y &OverBar; ) = 1 if y i - 1 jk + y i + 1 jk + y ij - 1 k + y ij + 1 k > 0 , x ijk otherwise . - - - ( 16 )
因此若使用公式15的线幅检查与公式16的线幅扩大,可以按照公式17简单地叙述二值影像的线幅补充。
Cijk(x)=Kijk(xJ(x))    (17)
有关对于下列影像的各区域像素值的附近处理,就函数及操作者做以下说明。
有2个影像x、y时,这些影像的最大值像素可根据公式18算出。
M ijk ( x &OverBar; , y &OverBar; ) = x ijk if x ijk &GreaterEqual; y ijk , y ijk otherwise . - - - ( 18 )
有2个影像x、y时,这些影像的差异可根据公式19算出。
Dijk(xy)=xijk-yijk
(19)
在此若用公式11的RABRASHIAN与公式19的差异,就可以按照公式20简单地叙述影像的敏锐化。
E ijk ( x &OverBar; ) = D ijk ( x &OverBar; , &dtri; ijk 2 x &OverBar; ) - - - ( 20 )
有2个影像x、y,且影像y为单区域二值影像时,可根据公式21,用影像y的区域像素值去遮罩影像x的各区域影像值。
Oijk(xy)=xijkyijl
(21)
有2个影像x、y,并且影像x与y为二值影像时,可以根据公式22,以影像x为基准整形影像y。
Q ijk ( x &OverBar; , y &OverBar; ) = x ijk if y ijk + &Sigma; p ( l , m , k ) &Element; P ijk ( q ) y lmk > 0 , 0 otherwise . - - - ( 22 )
有2个影像x、y,并且影像y为二值影像时,会根据公式23,将影像y中未被指定的影像x的区域像素值,以在影像x区域像素值附近的影像y指定的影像x区域像素值的平均值来补。不过int(v)的意思为实数v的小数点以下要舍去。另外因为影像y为二值影像的分母为正数,所以在存储器102上会储存从l到q的逆数,藉此可将整数的除法置换乘实数的乘法。
V ijk ( x &OverBar; , y &OverBar; ) = int ( &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) x lmk y lm 1 &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) y lm 1 ) if y ij 1 = 0 and &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) y lm 1 > 0 , x ijk otherwise . - - - ( 23 )
本发明,是将像素位置或移动量等都如同影像资料一样的处理单纯化。这就叫做位置的影像化。以下就有关位置的影像化的几个函数及操作者加以说明。
首先是将位置p(l,m,o)的每个l,m,o值当作影像资料变换为区域像素值,操作是按#,被变换的区域像素值当作#p(l,m,o)。接着是区域像素值从位置p(i,j,k)移动到位置p(i=1,j+m,k+o)。此时区域像素值的移动量是以p(l,m,o)来表示。亦即移动量可以视为从某位置来的向量。最后将从区域像素值取出位置的操作者当作#-1。因此#-1#p(l,m,o)=p(l,m,o)。
因此根据公式25,在以宽度及高度方向表示移动量p(i,j,k)的平面内可朝180度反方向转。
Υ(p(i,j,k))=p(-i,-j,k)
(24)
有影像x,当影像x为单区域二值影像时,在影像x位置p(i,j,1)上对重心位置的移动量会根据公式25计数。另外,虽然计数原来重心的需要用除法,但因为计数往8附近182内的移动量时用除法而相抵,所以在公式25省略除法。
G ij 1 ( x &OverBar; ) = p ( &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) ( l - i ) x lm 1 , &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) ( m - j ) x lm 1 , 0 ) - - - ( 25 )
从移动量p(i,j,k),利用公式26及27计数对8附近182内的移动量,可在移动量影像上影像化。还有公式27,只有在利用影像的离散化公式26无法对应时使用。
&Theta; ( p ( i , j , k ) ) = # p ( 1,0 , k ) if i > 0 , | j | < | i | / 2 , # p ( 1 , - 1 , k ) if i > 0 , j < 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0 , - 1 , k ) if j < 0,2 | i | < | j | , # p ( - 1 , - 1 , k ) if i < 0 , j < 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( - 1,0 , k ) if i < 0 , | j | < | i | / 2 , # p ( - 1,1 , k ) if i < 0 , j > 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0,1 , k ) if j > 0,2 | i | < | j | , # p ( 1,1 , k ) ifi > 0 , j > 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0,0 , k ) otherwise . - - - ( 26 )
&Theta; &prime; ( p ( i , j , k ) ) = # p ( 1,0 , k ) if i > 0 , | j | < | i | / 2 , # p ( 1,0 , k ) if i > 0 , j < 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0,1 , k ) if i < 0 , j > 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0,1 , k ) if j > 0,2 | i | < | j | , # p ( 1,1 , k ) if i > 0 , j > 0 , | i | / 2 &le; | j | &le; 2 | i | , # p ( 0,0 , k ) otherwise . - - - ( 27 )
因此若使用公式25、26及27,可以根据公式28及29,简单地叙述对单区域二值影像x重心方向的移动量影像的区域像素值。而移动量影像的区域数为1
Δijl(x)=Θ(Gijl(x))    (28)
Δ′ijl(x)=Θ′(Gijl(x))    (29)
另一方面因为使用公式25可以求出重心位置的相反位置,所以利用公式30,可以简单地叙述对单区域二值影像x重心与相反方向的移动量影像的区域像素值。而移动量影像的区域数为1。
Rijl(x)=Θ(Υ(Gijl(x)))
(30)
有2个影像x、y,影像y为移动量影像,可以利用公式31,将影像x的区域像素值移动至以影像y指定的移动位置上后,会将移动至同区域像素上的区域像素值合计定为浓淡影像。
Γijk(xy)=∑xlmk for p(l,m,1)∈Pijl(q)and #-1ylml=p(i-l,j-m,0).
(31)
因此用公式5、28、29及31,根据公式31或公式33,可以将单区域浓淡影像x移动至附近的重心方向后,简单地叙述移动至同区域像素的区域像素值合计。
(32)
Λijl(x)=Γijl(xΔ(Φ(x)))
Λ′ijl(x)=Γijl(xΔ′(Φ(x)))
(33)
不过,在公式31中的附近数q若被限定为8,则移动量像素y可从每个像素上8附近182中特定移动源。因此,影像x为重复资讯影像132,而且如图17所表示,对于x个各像素8附近182反时钟方向加上1到8的号码,则公式34到公式41的8个公式,可以分别判断8个移动源上是否个别有可移动的重复资讯131。
&Gamma; ij 1 * ( x &OverBar; , y &OverBar; ) = &Phi; i + 1 , j , 1 ( x &OverBar; ) if # - 1 y i + 1 , j , 1 = p ( - 1,0,0 ) , 0 otherwise . - - - ( 34 )
&Gamma; ij 2 * ( x &OverBar; , y &OverBar; ) = &Phi; i + 1 , j - 1,1 ( x &OverBar; ) if # - 1 y i + 1 , j - 1,1 = p ( - 1,1,0 ) , 0 otherwise . - - - ( 35 )
&Gamma; ij 3 * ( x &OverBar; , y &OverBar; ) = &Phi; i , j - 1,1 ( x &OverBar; ) if # - 1 y i , j - 1,1 = p ( 0,1,0 ) , 0 otherwise . - - - ( 36 )
&Gamma; ij 4 * ( x &OverBar; , y &OverBar; ) = &Phi; i - 1 , j - 1,1 ( x &OverBar; ) if # - 1 y i - 1 , j - 1,1 = p ( 1,1,0 ) , 0 otherwise . - - - ( 37 )
&Gamma; ij 5 * ( x &OverBar; , y &OverBar; ) = &Phi; i - 1 , j , 1 ( x &OverBar; ) if # - 1 y i - 1 , j , 1 = p ( 1,0,0 ) , 0 otherwise . - - - ( 38 )
&Gamma; ij 6 * ( x &OverBar; , y &OverBar; ) = &Phi; i - 1 , j + 1,1 ( x &OverBar; ) if # - 1 y i - 1 , j + 1,1 = p ( 1 , - 1 , 0 ) , 0 otherwise . - - - ( 39 )
&Gamma; ij 7 * ( x &OverBar; , y &OverBar; ) = &Phi; i , j + 1 , 1 ( x &OverBar; ) if # - 1 y i , j + 1,1 = p ( 0 , - 1,0 ) , 0 otherwise . - - - ( 40 )
&Gamma; ij 8 * ( x &OverBar; , y &OverBar; ) = &Phi; i + 1 , j + 1,1 ( x &OverBar; ) if # - 1 y i + 1 , j + 1,1 = p ( - 1 , - 1,0 ) , 0 otherwise . - - - ( 41 )
因此代替公式32及33使用公式42及43,会从由8个移动源重复资讯183构成的8区域浓淡影像x、及由重复资讯131构成的单区域浓淡影像y,产生8个每一移动源的移动源重复资讯183。
&Lambda; ijk * ( x &OverBar; , y &OverBar; ) = &Gamma; ijk ( x &OverBar; , &Delta; &OverBar; ( &Phi; &OverBar; ( y &OverBar; ) ) ) + &Gamma; ijk * ( y &OverBar; , &Delta; &OverBar; ( &Phi; &OverBar; ( y &OverBar; ) ) ) - - - ( 42 )
&Lambda; ijk &prime; * ( x &OverBar; , y &OverBar; ) = &Gamma; ijk ( x &OverBar; , &Delta; &prime; &OverBar; ( &Phi; &OverBar; ( y &OverBar; ) ) ) + &Gamma; ijk * ( y &OverBar; , &Delta; &prime; &OverBar; ( &Phi; &OverBar; ( y &OverBar; ) ) ) - - - ( 43 )
有2个影像x、y,影像x为二值影像;影像y为移动量影像时,因可以求出影像x的各区域像素值的移动源位置,所以移动源可以发现重复的区域像素值。因此影像x的各区域像素值的移动源不会有重复,而且表示移动的各区域像素值存在的可移动影像的区域像素值,会根据公式44产生。还有可移动影像的区域数为1。
H ij 1 ( x &OverBar; , y &OverBar; ) = 1 if x ij 1 = 0 and # - 1 y lm 1 = p ( i - l , j - m , 0 ) for only one of p ( l , m , 1 ) &Element; P ij 1 ( q ) , 0 otherwise . - - - ( 44 )
有3个影像x、y、w,当影像x为可移动影像,影像y为移动量影像时,可根据公式44移动影像x的区域像素值。
T ijk ( x &OverBar; , y &OverBar; , w &OverBar; ) = x lmk if y ij 1 = 1 and # - 1 w lm 1 = p ( i - l , j - m , 0 ) for &Exists; p ( l , m , 1 ) &Element; P ij 1 ( q ) , 0 if y lm 1 = 1 and # - 1 w ij 1 = p ( l - i , m - j , 0 ) for &Exists; p ( l , m , 1 ) &Element; P ij 1 ( q ) , x ijk otherwise . - - - ( 45 )
因此若利用公式30、公式44及公式45,可以根据公式46,简单地叙述由二值影像y计数出的重心位置与相反方向上移动影像x的区域像素所取得的影像区域像素值。
Uijk(xy)=Tijk(xH(yR(y)),R(y))
(46)
因此利用公式2到公式46,可以叙述安装如图14所表示的影像存储装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、位置/大小/倾斜度检知装置44、区域正规化装置27、遮罩装置40、及影像维持装置39的资料处理装置110的全部阵列运算单元100的算术。下列,是使用资料处理装置110中的任一阵列运算单元100算术,说明影像存储装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、位置/大小/倾斜度检知装置44、区域正规化装置27、遮罩装置40、及影像维持装置39。
利用资料处理装置110达到的影像存储装置12为了要储存数字影像111,排列成格子状的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij的算术如图18所示。
步骤1201中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤1202中,设定AOUij的附近或变数的起始值。
步骤1203中,会判断有无被依序输入的数字影像111。如果无数字影像111(步骤1203:YES),则会结束算术。如果有数字影像111(步骤1203:NO),则会转移至步骤1204。只是当仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤1204中,会等到数字影像111被准备后输入。
步骤1205中,会分区域数输入数字影像111的i行j列。因此AOUij需要至少储存区域数部分的影像资料的存储器102。
步骤1206中,为了可以等待输入时输出,会储存数字影像111的i行j列的像素。
步骤1207中,会输出数字影像111的区域像素值。之后再回到步骤1203。
因此,使用由阵列运算单元100构成的资料处理装置110,影像存储装置12可以储存数字影像111。
如图19所表示,利用资料处理装置110达到的色彩资讯作成装置41为了要从数字影像111的各像素产生颜色资讯171,排列成格子状的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij的算术如图20所示。
步骤4101中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤4102中,设定AOUij的附近或变数的起始值。
步骤4103中,会判断有无被依序输入的数字影像111。如果无数字影像111(步骤4103:YES),则会结束算术。如果有数字影像111(步骤4103:NO),则会转移至步骤4104。只是当仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤4104中,会分区域数输入数字影像111的i行j列。因此AOUij需要至少储存区域数部分的影像资料的存储器102。
步骤4105中,会从数字影像111的i行j列中抽出特定颜色后产生色彩资讯171。被产生的色彩资讯171会被当作色彩资讯影像172的区域像素值处理。
步骤4106中,会输出颜色资讯影像172的区域像素值。之后会回到步骤4103。
因此,使用由阵列运算单元100构成的资料处理装置110,色彩资讯作成装置41可以从数字影像111产生颜色资讯影像172。
如图21所表示,利用资料处理装置110达到的边缘资讯作成装置14为了要从数字影像111产生粗边缘资讯影像113,排列成格子状的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则对于边缘资讯作成装置14的AOUij算术会如图22所示。
步骤1401中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤1402中,设定AOUij的附近或变数的起始值。在附近的设定上,可以个别将前述各函数使用的附近大小q决定为4或8,也可以全部统一为4或8。为了提高本发明的边缘资讯作成装置14产生的粗边缘资讯112的正确性,将附近大小q全部设定为8较佳。但是利用产生粗边缘资讯112的计数时间或限制,或数字影像111的区域数等,边缘资讯作成装置14可配合需要变更适当的附近大小来处理。
步骤1403中,会判断数字影像111是否结束。如果无数字影像111(步骤1403:YES),则会结束算术。如果有数字影像111(步骤1403:NO),则会转移至步骤1404。只是当对特定的区域数与影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤1404中,会分区域数输入数字影像111的i行j列。这是为了AOUij要整批处理数字影像111的i行j列的像素。因此AOUij至少需要储存区域数部分的影像资料的存储器102。
步骤1405中,AOUij通过与附近的阵列运算单元100通讯,对于已输入的数字影像111的各区域像素值按照函数Sijk(x)进行平滑化。被平滑化的区域像素值会被当作平滑化影像的区域像素值处理。在此函数Sijk(x)也可以配合需要重复好几次。一般来说多区域影像,这种次数2次就够了。
步骤1406中,对于平滑化影像的各区域像素值会根据函数Lijk(x)进行对数变换。被对数变换的各区域像素值会被当作对数变换影像的区域像素值处理。
步骤1407中,AOUij会利用与附近的阵列运算单元100通讯,对于对数变换影像的各区域像素值根据函数Eijk(x)进行鲜明化。被鲜明化的区域像素值会被当作鲜明化影像的区域像素值处理。还有当数字影像111中有多量的噪音时,此步骤可以省略。
步骤1408中,对于鲜明化影像的各区域像素值会根据函数Dijk(x,y)引出输入1前的鲜明化影像的各区域像素值。被计数差异的区域像素值会被当作时间差异影像的区域像素值处理。
步骤1409中,会用鲜明化影像的对应各区域像素值置换输入1前的鲜明化影像的各区域像素值。
步骤1410中,AOUij会利用与附近阵列运算单元100通讯,对于时间差异影像的区域像素值根据操作者ijkx进行RABRASHIAN的计数。计数了RABRASHIAN的区域像素值会被当作时间差异RABRASHIAN影像的区域像素值处理。
步骤1411中,AOUij会利用与附近阵列运算单元100通讯,对于时间差异RABRASHIAN影像的各区域像素值会根据函数Zijk(x)抽出原点。被抽出原点的区域像素值会被当作时间差异原点影像的区域像素值处理。
步骤1412中,对于时间差异RABRASHIAN影像的各区域像素值根据函数Bijk(x)检查各区域像素值中的最大值。被检查出的最大值区域像素值会被当作最大值时间差异原点影像的区域像素值处理。还有权宜上区域数为1。
步骤1413中,AOUij会利用与附近阵列运算单元100通讯,对于鲜明化影像的各区域像素值会根据操作者ijkx进行RABRASHIAN的计数。被计数RABRASHIAN的区域像素值会被当作RABRASHIAN影像的区域像素值处理。
步骤1414中,AOUij会利用与附近阵列运算单元100通讯,对于RABRASHIAN影像的各区域像素值会根据函数Zijk(x)抽出原点。被抽出原点的区域像素值会被当作原点影像的区域像素值处理。
步骤1415中,对于RABRASHIAN影像的各区域像素值会根据函数Bijk(x)检查各区域像素值中的最大值。被检查出的最大区域像素值会被当作最大值原点影像的区域像素值处理。还有权宜上区域数为1。
步骤1416中,对于RABRASHIAN影像的各区域像素值与时间差异RABRASHIAN影像的各区域像素值会根据函数Mijk(x,y)检查位于各个影像的相同位置上的区域像素值中的最大值。被检查出的最大区域像素值会被当作混合原点影像的区域像素值处理。还有权宜上区域数为1。
步骤1417中,AOUij会利用与附近阵列运算单元100通讯,对于混合原点影像的区域像素值会根据函数Fijk(x)除去孔。被除去孔的区域像素值会被当作除去孔混合原点影像的区域像素值处理。还有权宜上区域数为1。在此的函数函数Fijk(x)也可以配合需要重复好几次。一般的多区域影像状况,这种次数1次就够了。
步骤1418中,AOUij会利用与附近阵列运算单元100通讯,对于除去孔混合原点影像的区域像素值会根据函数Aijk(x)除去孤立点及孤立孔。被除去孤立点及孤立孔的区域像素值会被当作噪音清除混合原点影像的区域像素值处理。还有权宜上区域数为1。
步骤1419中,对于清除杂点混合原点影像的区域像素值会根据函数Iijk(x)反转0与1。被反转的区域像素值会被当作粗边缘资讯影像113的区域像素值处理。
步骤1420中,会输出粗边缘资讯影像113的区域像素值。之后就回到步骤1403。
因此,使用由阵列运算单元100构成的资料处理装置110,边缘资讯作成装置14可以从数字影像111产生粗边缘资讯影像113。
如图23所表示,利用资料处理装置110达到的边缘资讯形成装置15为了要从由粗边缘资讯112构成的粗边缘资讯影像113、及数字影像111,产生由形成边缘资讯114构成的形成边缘资讯影像115,排列成格子状的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图24所示。
步骤1501中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤1502中,会设定AOUij的附近或变数的起始值。在附近的设定上,可以个别将前述各函数使用的附近大小q决定为4或8,也可以全部统一为4或8。为了提高本发明的边缘资讯形成装置15形成的形成边缘资讯114的正确性,将附近大小q全部设定为8较佳。但是利用形成粗边缘资讯112的计数时间或限制,或被输入的数字影像111的区域数等,边缘资讯形成装置15可配合需要变更适当的附近大小来处理。
步骤1503中,会判断有无依序被输入的数字影像111或粗边缘资讯影像113。如果无数字影像111或粗边缘资讯影像113其中之一(步骤1503:YES),则会结束算术。如果有数字影像111或粗边缘资讯影像113其中之一(步骤1503:NO),则会转移至步骤1504。只是当对特定的区域数与影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤1504中,会分区域数输入数字影像111及粗边缘资讯影像113的i行j列的像素。这是为了AOUij要整批处理数字影像111及粗边缘资讯影像113的i行j列的像素。因此AOUij至少需要储存区域数部分的影像资料的存储器102。
步骤1505中,会分离数字影像111的i行j列的像素及粗边缘资讯影像113的i行j列的像素。这是因为AOUij要将数字影像111的i行j列的像素及粗边缘资讯影像113的i行j列的像素当作个别独立的影像的像素处理。如果数字影像111的i行j列的像素及粗边缘资讯影像113的i行j列的像素从一开始就被分离输入的话,就不必特别做处理。
步骤1506中,AOUij通过与附近的阵列运算单元100通讯,对于已输入的数字影像111的各区域像素值按照函数Sijk(x)进行平滑化。被平滑化的各区域像素值会被当作平滑化影像的区域像素值处理。在此函数Sijk(x)也可以配合需要重复好几次。一般来说多区域影像,这种次数2次就够了。
步骤1507中,对于平滑化影像的各区域像素值会根据函数Lijk(x)进行对数变换。被对数变换的区域像素值会被当作对数变换影像的区域像素值处理。
步骤1508中,AOUij会利用与附近的阵列运算单元100通讯,对于对数变换影像的各区域像素值根据函数Eijk(x)进行鲜明化。被鲜明化的区域像素值会被当作鲜明化影像的区域像素值处理。
步骤1509中,AOUij会利用与附近阵列运算单元100通讯,对于鲜明化影像的各区域像素值根据操作者ijkx进行RABRASHIAN的计数。被计数RABRASHIAN的区域像素值会被当作RABRASHIANN影像的区域像素值处理。
步骤1510中,AOUij会利用与附近阵列运算单元100通讯,对于RABRASHIAN影像的各区域像素值会根据函数Zijk(x)抽出原点。被抽出原点的区域像素值会被当作原点影像的区域像素值处理。
步骤1511中,对于原点影像的各区域像素值根据函数Bijk(x)检查各区域像素值中的最大值。被检查出的最大区域像素值会被当作最大值原点影像的区域像素值处理。还有权宜上区域数为1。
步骤1512中,对于最大值原点影像的区域像素值会根据函数Tijk(x)反转0与1。被反转的区域像素值会被当作基础边缘资讯影像的区域像素值处理。
步骤1513中,已输入的粗边缘资讯影像113的区域像素值会被当作开始整形粗边缘资讯影像的区域像素值处理,因为AOUij会与附近阵列运算单元100通讯,使用基础边缘资讯影像的区域像素值,对于整形粗边缘资讯影像的区域像素值会根据函数Qijk(x,y)进行整形。被整形的区域像素值会再次被当作整形粗边缘资讯影像的区域像素值处理。在此的函数Qijk(x,y)会一直重复到原本的整形粗边缘资讯影像的区域像素值无变化为止。不过在计数时间的节约、被输入的粗边缘资讯影像113的品质、被形成的形成边缘资讯影像115中追求的品质等,整形处理以适当的重复次数计数较佳。
步骤1514中,AOUij会利用与附近阵列运算单元100通讯,对于整形粗边缘资讯影像的区域像素值会根据函数Cijk(x)进行线幅补修。被补修的区域像素值会被当作形成边缘资讯影像115的区域像素值处理。
步骤1515中,会输出形成边缘资讯影像115的区域像素值。之后就回到步骤1503。
因此,使用由阵列运算单元100构成的资料处理装置110,边缘资讯形成装置15可以将粗边缘资讯影像113形成为形成边缘资讯影像115。
在此所谓从粗边缘资讯影像113到形成边缘资讯影像115的形成,就是可以从由拍摄某一情况的低解像度的数字影像111作成的边缘资讯,推定从由拍摄同一情况的高解像度的数字影像111应作成的边缘资讯。因此对于自然数,如图25所表示,从将数字影像111的解像度设为低于1/n的低解像度数字影像116,利用边缘资讯作成装置14作成低解像度粗边缘资讯影像117时,可以用n倍扩大低解像度粗边缘资讯影像117作成粗边缘资讯影像113。不过因为数字影像111的解像度设为1/n,只要对水平及垂直方向单纯地抽出数字影像111的连续n个当中的1个即可。又因n倍扩大低解像度粗边缘资讯影像117,对水平及垂直方向只要单纯地在低解像度粗边缘资讯影像117的连续像素之间放入n-1个区域像素值为0的像素即可。如果此时的n不太大,则实现边缘资讯形成装置15的资料处理装置110,与形成扩大低解像度粗边缘资讯影像117的粗边缘资讯影像113的形成边缘资讯影像115几乎会相同;而实现边缘资讯形成装置15的资料处理装置110,与形成由数字影像111作成的粗边缘资讯影像113的形成边缘资讯影像115也几乎为相同。此原因是,为了参考边缘资讯形成装置15使用数字影像111,利用在内部作成的边缘资讯中的哪个边缘资讯,因为边缘资讯形成装置15只使用粗边缘资讯影像113。因此将扩大低解像度粗边缘资讯影像117的粗边缘资讯影像113输入边缘资讯形成装置15时,从低解像度数字影像116实现作成低解像度粗边缘资讯影像117的边缘资讯作成装置14的资料处理装置110可以减低计数量或硬件量。
若再继续发展此方法,会如图26所示,在从降低数字影像111解像度的低解像度数字影像116作成的低解像度粗边缘资讯影像117之中,可以作成切出粗边缘资讯112周围的低解像度切出粗边缘资讯影像118。若将扩大此低解像度切出粗边缘资讯影像118的切出粗边资讯影像119、与切出数字影像111中相同区域的切出数字影像120输入实现边缘资讯形成装置15的资料处理装置110,则可以作成切出作成边缘资讯影像121。此情况下,实现边缘资讯形成装置15的资料处理装置110可以减少硬件量。还有视觉装置2,也可以当作切出数字影像120要经常在数字影像111的中央,而让移动式摄影机10的方向及倍率变化。
如图27所表示,利用资料处理装置110达到的位置/大小检知装置17为了要从以粗边缘资讯112当作像素的粗边缘资讯影像113作成以重复资讯131当作像素的重复资讯影像132,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图28所示。
步骤1701中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤1702中,会设定AOUij的附近或变数的起始值。在附近的设定上,可以个别决定前述各函数使用的附近大小q,也可以全部统一。为了提高本发明的资料处理装置110作成的重复资讯影像132的正确性,将附近大小q全部设定为大值较佳。但是因计数物体的粗边缘资讯112重心的计数时间的规定、被输入粗边缘资讯影像113的大小等,位置/大小检知装置17可以配合需要变更适当的附近大小来处理。
步骤1703中,会判断有无依序被输入的粗边缘资讯影像113。如果无粗边缘资讯影像113(步骤1703:YES),则会结束算术。如果有粗边缘资讯影像113(步骤1703:NO),则会转移至步骤1704。只是当仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤1704中,会1区域分输入粗边缘资讯影像113的i行j列的像素。因此AOUij至少需要储存1区域分的影像资料的存储器102。
步骤1705中,会将粗边缘资讯影像113的粗边缘资讯112变换为重复资讯影像132的重复资讯131。重复资讯131会成为相当于1或0的区域像素值。
步骤1706中,AOUij通过与附近的阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Δijk(x)计数移动量。将移动量影像化的区域像素值会被当作移动量影像的区域像素值处理。
步骤1707中,AOUij通过与附近的阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的重复资讯影像132的区域像素值处理。
步骤1708中,会判断表示从步骤1706到步骤1707的重复次数的移动次数有没有达到指定次数。如果移动次数未达指定次数(步骤1708:NO),则会返回步骤1706。如果移动次数有达到指定次数(步骤1708:YES),就会移转到步骤1709。该指定次数是根据形成边缘资讯影像115的大小或形成边缘资讯115表示的物体大小,还有附近的大小q决定。若配合使用目的设定适当的参数,就算指定次数决定很多也没问题,但是指定次数太多的话,检知位置及大小的所需时间就会变长。
步骤1709中,AOUij会利用与附近阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Δijk(x)计数移动量。将移动量影像化的区域像素值会被当作移动量影像的区域像素值处理。
步骤1710中,AOUij会利用与附近阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的重复资讯影像132的区域像素值处理。
步骤1711中,会输出重复资讯影像132的区域像素值。之后就回到步骤1703。
另外重复资讯影像132的各重复资讯131因会表示以其位置为中心的周围上的粗边缘资讯112总数,结果就变成表示以该位置为中心的物体大小。
因此,使用由阵列运算单元100构成的资料处理装置110,位置/大小检知装置17可以从粗边缘资讯影像113作成重复资讯影像132。
在此图28算术中,若使用表示物体区域141的物体区域影像142代替由粗边缘资讯112构成的粗边缘资讯影像113,则会如图29所表示,利用资料处理装置110实现的位置/大小检知装置17也可以从表示物体区域141的物体区域影像142作成表示重复资讯131的重复资讯影像132。不过当使用物体区域影像142时,重复资讯影像132的各重复资讯131是表示以该位置为中心的物体区域141的像素总数,所以结果会成为表示以该位置为中心的物体面积。因此要从重复资讯影像132求出物体的大小时,要注意取重复资讯131的平方根等。还有在使用形成边缘资讯影像115及色彩资讯影像172时也一样。
如图30所表示,利用资料处理装置110实现的位置/大小/倾斜检知装置55,为了要从以粗边缘资讯112当作像素的粗边缘资讯影像113作成以重复资讯131当作像素的重复资讯影像132,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图31所示。
步骤4401中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤4402中,会设定AOUij的附近或变数的起始值。在附近的设定上,可以个别决定前述各函数使用的附近大小q,也可以全部统一。为了提高本发明的资料处理装置110作成的重复资讯影像132的正确性,将附近大小q全部设定为大值较佳。但是因计数物体的粗边缘资讯112重心的计数时间的规定、被输入粗边缘资讯影像113的大小等,位置/大小/倾斜检知装置55可以配合需要变更适当的附近大小来处理。
步骤4403中,会判断有无依序被输入的粗边缘资讯影像113。如果无粗边缘资讯影像113(步骤4403:YES),则会结束算术。如果有粗边缘资讯影像113(步骤4403:NO),则会转移至步骤4404。只是当仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤4404中,会1区域分输入粗边缘资讯影像113的i行j列的像素。因此AOUij至少需要储存1区域分的影像资料的存储器102。
步骤4405中,会将粗边缘资讯影像113的粗边缘资讯112变换为重复资讯影像132的重复资讯131。重复资讯131会成为相当于1或0的区域像素值。又8个移动源重复资讯183会用相当于0的区域像素值弄清楚。
步骤4406中,AOUij通过与附近的阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Δijk(x)计数移动量。将移动量影像化的区域像素值会被当作移动量影像的区域像素值处理。
步骤4407中,AOUij通过与附近的阵列运算单元100通讯,对于移动源重复资讯影像185的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的移动源重复资讯影像185的区域像素值处理。
步骤4408中,AOUij通过与附近的阵列运算单元100通讯,对于源重复资讯影像132的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的重复资讯影像132的区域像素值处理。
步骤4409中,会判断表示从步骤4406到步骤4408的重复次数的移动次数有没有达到指定次数。如果移动次数未达指定次数(步骤4409:NO),则会返回步骤4406。如果移动次数有达到指定次数(步骤4409:YES),就会移转到步骤4410。该指定次数是根据粗边缘资讯影像113的大小或粗边缘资讯112表示的物体大小,还有附近的大小q决定。若配合使用目的设定适当的参数,就算指定次数决定很多也没问题,但是指定次数太多的话,检知位置、大小及倾斜的所需时间就会变长。
步骤4410中,AOUij会利用与附近阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Δijk(x)计数移动量。将移动量影像化的区域像素值会被当作移动量影像的区域像素值处理。
步骤4411中,AOUij会利用与附近阵列运算单元100通讯,对于移动源重复资讯影像185的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的重复资讯影像132的区域像素值处理。
步骤4412中,AOUij会利用与附近阵列运算单元100通讯,对于重复资讯影像132的各区域像素值会按照函数Aijk(x)将之移动至移动量指示地。移动后的区域像素值会被当作新的重复资讯影像132的区域像素值处理。
步骤4413中,会判断表示从步骤4406到步骤4412的重复次数的退缩次数有没有达到指定次数。如果退缩次数未达指定次数(步骤4413:NO),则会返回步骤4406。如果退缩次数有达到指定次数(步骤4413:YES),就会移转到步骤4414。该指定次数是根据粗边缘资讯影像113的大小或粗边缘资讯112表示的物体大小,还有附近的大小q决定。若配合使用目的设定适当的参数,就算指定次数决定很多也没问题,但是指定次数太多的话,检知位置、大小及倾斜的所需时间就会变长。
步骤4414中,会输出重复资讯影像132的区域像素值及移动源重复资讯影像185的各区域像素值。之后就回到步骤4403。
另外重复资讯影像132的各重复资讯131因会表示以其位置为中心的周围上的粗边缘资讯112总数,结果就变成表示以该位置为中心的物体大小。又因为只在重复资讯131有像素时才有移动源重复资讯183,所以结果就成为表示以该位置为中心的物体倾斜度。
因此,使用由阵列运算单元100构成的资料处理装置110,位置/大小/倾斜检知装置44可以从粗边缘资讯影像113作成重复资讯影像132及移动源重复资讯影像184。
在此图31的算术中,可以用由形成边缘资讯114构成的形成边缘资讯影像115,代替由粗边缘资讯112构成的粗边缘资讯影像113。若使用表示物体区域141的物体区域影像142代替由粗边缘资讯112构成的粗边缘资讯影像113,则会如图32所表示,位置/大小/倾斜检知装置44也可以从表示物体区域141的物体区域影像142作成重复资讯影像132及移动源重复资讯影像184。不过当使用物体区域影像142时,重复资讯影像132的各重复资讯131是表示以该位置为中心的物体区域141的像素总数,所以结果会成为表示以该位置为中心的物体面积。因此要从重复资讯影像132求出物体的大小时,要注意取重复资讯131的平方根等。还有在使用由表示物体有无特定色彩的色彩资讯171构成的色彩资讯影像172代替物体区域影像142时也一样。
到目前为止,说明了有关从粗边缘资讯影像113、形成边缘资讯影像115、物体区域影像142及色彩资讯影172作成移动源重复资讯影像184的方法。以下则说明有关从移动源重复资讯183求出物体倾斜角度的方法。
首先在图17所示的将以从附近1到附近8当作移动源的移动源重复资讯183分别视为从N1到N8,则以反时钟转表示的倾斜角度θ会根据如公式47求出。而倾斜角度θ是以弧度表示,物体若为水平及垂直时,倾斜角度θ会呈0弧度。
&theta; = arctan ( N 2 + N 6 N 4 + N 8 ) - &pi; 4 if N 1 + N 5 &GreaterEqual; N 3 + N 7 , arctan ( N 4 + N 8 N 2 + N 6 ) - &pi; 4 otherwise . - - - ( 47 )
例如,从N1到N 8的移动源重复资讯183成为图33所示时,倾斜角度θ约呈-0.5弧度。公式47虽为求出倾斜角度θ的简单公式,但是当然如果用比公式47更详细的条件,本发明的使用者可以更正确地求出倾斜角度θ。如权利要求8项阵列运算单元100若计数公式47,则阵列运算单元100若与输出8个移动源重复资讯183比较,可以输出更少的资料量。再者倾斜角度θ如果也可以用一定的刻幅表示的话,存储器102相对于有对数表只要储存准备了需要数的倾斜角度的往上档案即可。
而在图30及图32,虽然对于个别1个物体会将包含被作成的粗边缘资讯112的粗边缘资讯影像113及包含物体区域141的物体区域影像142输入位置/大小/倾斜检知装置44,但是就算有数个物体,位置/大小/倾斜检知装置44也可以检知个别的物体位置、大小及倾斜。还有如图34所表示色彩资讯影像172为结构时,位置/大小/倾斜检知装置44也可以从个别的色彩资讯171的区块检知位置、大小及倾斜。因此位置/大小/倾斜检知装置44也可在结构解析上利用。
如图35所示,利用资料处理装置110实现的区域正规化装置27,为了从包括物体区域141的物体区域影像142、及包含与物体区域141重叠的分离物体区域143的数字影像111作成包含正规化区域144的正规化影像145,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图36所示。
步骤2701中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤2702中,会设定AOUij的附近或变数的起始值。在附近的设定上,可以个别决定前述各函数使用的附近大小q,也可以全部统一。为了提高本发明的区域正规化装置27作成的正规化影像145的正确性,将附近大小q全部设定为大值较佳。但是因要将分离物体区域143正规化的计数时间的规定、被输入数字影像111的大小等,区域正规化装置27可以配合需要变更适当的附近大小来处理。
步骤2703中,会判断有无依序被输入的物体区域影像142或数字影像111。如果无物体区域影像142或数字影像111(步骤2703:YES),则会结束算术。如果有物体区域影像142或数字影像111(步骤2703:NO),则会转移至步骤2704。只是当仅对特定的区域数及影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤2704中,会1区域分输入物体区域影像142的i行j列的像素、与数字影像111的i行j列的像素。这是因为AOUij会整批处理物体区域影像142的i行j列的像素与数字影像111的i行j列的像素。因此AOUij至少需要储存总区域数分的影像资料的存储器102。
步骤2705中,会分离物体区域影像142的i行j列的像素与数字影像111的i行j列的像素。这是因为AOUij会将物体区域影像142的i行j列的像素与数字影像111的i行j列的像素分别当作独立的影像的像素处理。如果物体区域影像142的i行j列的像素与数字影像111的i行j列的像素从一开始就被分离输入的话,就不必做任何处理。物体区域影像142与数字影像111会被分别复制于更新物体区域影像及更新数字影像。
步骤2706中,AOUij通过与附近的阵列运算单元100通讯,对于更新物体区域影像的各区域像素值会按照函数Rijk(x)计数移动量。将移动量影像化的区域像素值会被当作移动量影像的区域像素值处理。
步骤2707中,AOUij通过与附近的阵列运算单元100通讯,对于更新物体区域影像的各区域像素值可以按照函数Hijk(x、y)发现可移动的移动地区域像素值。表示是否为可移动的移动地的值就当作可移动影像的区域像素值处理。
步骤2708中,AOUij通过与附近的阵列运算单元100通讯,对于更新物体区域影像的各区域像素值会按照函数Uijk(x、y)将之移动至可移动地。移动的区域像素值会当作新的更新物体区域影像的各区域像素值处理。
步骤2709中,AOUij通过与附近的阵列运算单元100通讯,对于更新数字影像的各区域像素值会按照函数Uijk(x、y)将之移动至可移动地。移动的区域像素值会当作新的数字影像的各区域像素值处理。
步骤2710中,会判断表示从步骤2706到步骤2709的重复次数的移动次数有没有达到指定次数。如果移动次数未达指定次数(步骤2710:NO),则会返回步骤2706。如果移动次数有达到指定次数(步骤2710:YES),就会移转到步骤2711。另外该指定次数是根据数字影像111的大小或数字影像111的分离物体区域143的大小,还有附近的大小q决定。若配合使用目的设定适当的参数,就算指定次数决定很多也没问题,但是指定次数太多的话,正规化所需时间就会变长。
步骤2711中,AOUij会利用与附近阵列运算单元100通讯,对于完成移动的更新物体区域影像的各区域像素值会按照函数Vijk(x、y)以附近的平均值补全。而且x与y都为更新物体区域影像。用平均值放入的区域像素值会当作被正规化的更新物体区域影像的区域像素值处理。
步骤2712中,AOUij会利用与附近阵列运算单元100通讯,对于完成移动的更新数字影像的各区域像素值会按照函数Vijk(x、y)以附近的平均值填入。而且x为更新数字影像;y为更新物体区域影像。用平均值填入的区域像素值会当作被正规化的更新数字影像的区域像素值处理。
步骤2713中,会判断表示从步骤2711到步骤2712的重复次数的填补次数有没有达到指定次数。如果填补次数未达指定次数(步骤2713:NO),则会返回步骤2711。如果填补次数有达到指定次数(步骤2713:YES),就会移转到步骤2715。一般的填补次数有附近大小q的一半左右的次数就够了。
步骤2715中,会判断表示从步骤2706到步骤2713的重复次数的继续次数有没有达到指定次数。如果继续次数未达指定次数(步骤2715:NO),则会返回步骤2706。如果继续次数有达到指定次数(步骤2715:YES),就会移转到步骤2715。另外该指定次数是根据数字影像111的大小或数字影像111的分离物体区域153的大小,还有附近的大小q决定。若配合使用目的设定适当的参数,就算指定次数决定很多也没问题,但是指定次数太多的话,正规化所需时间就会变长。
步骤1715中,会将更新数字影像的区域像素值当作正规化影像155的区域像素值输出。之后就回到步骤2703。
因此,使用由阵列运算单元100构成的资料处理装置110,区域正规化装置27可以从物体区域影像142及数字影像111作成正规化影像145。
如图37所示,利用资料处理装置110实现的遮罩装置40,为了从数字影像111及物体区域影像142作成遮罩影像148,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图38所示。
步骤4001中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤4002中,会设定AOUij的附近或变数的起始值。
步骤4003中,会判断有无依序被输入的数字影像111或物体区域影像142。如果无数字影像111或物体区域影像142其中之一(步骤4003:YES),则会结束算术。如果有数字影像111或物体区域影像142其中之一(步骤4403:NO),则会转移至步骤4004。只是当仅对特定的区域数及影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤4004中,会区域数分输入数字影像111及物体区域影像142的i行j列的像素。这是因为AOUi j会整批处理数字影像111及物体区域影像142的i行j列的像素。因此AOUij至少需要储存区域数分的影像资料的存储器102。
步骤4005中,对于数字影像111的各区域像素值会按照函数Oijk(x、y)进行遮罩处理。被遮罩的区域像素值会当作遮罩影像148的区域像素值处理。
步骤4006中,会输出遮罩影像148的区域像素值。之后就回到步骤4003。
因此,使用由阵列运算单元100构成的资料处理装置110,遮罩装置40可以遮罩数字影像111中的分离物体区域143之外。
利用资料处理装置110实现的影像维持装置39为了储存正规化影像145,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图39所示。
步骤3801中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤3802中,会设定AOUij的附近或变数的起始值。
步骤3803中,会判断有无依序被输入的正规化影像145。如果无正规化影像145(步骤3803:YES),则会结束算术。如果有正规化影像145(步骤3803:NO),则会转移至步骤3804。只是仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤3804中,会区域数分输入正规化影像145的i行j列的像素。因此AOUij至少需要储存区域数分的影像资料的存储器102。
步骤3805中,若输出地的装置为必须,就会变换正规化影像145的格式。尤其是正规化影像145的区域数设为1;数字影像111的区域数若为4以上,则将正规化影像145的区域数设为3,容易作成模拟信号很权宜。否则什么都不做。
步骤3806中,为了将影像资料确实地传送至处理速度不同的输出地的装置,会储存正规化影像145的i行j列的像素。
步骤3807中,会输出正规化影像145的区域像素值。之后就回到步骤3803。
因此,使用由阵列运算单元100构成的资料处理装置110,影像维持装置39可以输出正规化影像145。另外维持数字影像111及遮罩影像148的影像维持装置39也会同样动作。
到此是说明了资料处理装置110输入1个或2个影像进行附近处理到影像处理的影像储存装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置14、位置/大小检知装置17、位置/大小/倾斜检知装置44、区域正规化装置27、遮罩装置40、及影像维持装置39。不过模型比照装置38必须用非常多的影像。因此下述是一边表示模型比照装置38用的附近处理;一边说明有关运用资料处理装置110实现模型比照装置38的方法。
首先以正规化影像145当作x;以n个导板影像146当作yl、y2、、、yh、、、yn。若使用自然数g,比照结果影像157的i行j列的比照结果σijl,会根据公式48比较正规化影像145及导板影像146的i行j列的像素,指示具有最像正规化影像145的像素的像素的导板影像146的号码。另外因为比照结果影像147为单区域影像,所以会当作权宜上区域数1的影像处理。因此比照结果σijl的第3加字为1。
&delta; ij 1 = g if &Sigma; k ( x ijk - y ijk g ) 2 = min 1 &le; h &le; n &Sigma; k ( x ijk - y ijk h ) 2 for 1 &le; g &le; n and only one of g , 0 otherwise . - - - ( 48 )
在此根据公式48作成的比照结果σijl在比照结果影像147中不一定要被统一。当导板影像146很多时,比照结果影像147成为镶结构状的可能性很高。因此资料处理装置110对于比照结果σijl与其q附近内的比照结果计数矩形图,并收敛比照结果σijl的方法,如下所示。
任一单区域影像x为比照结果影像147时,若使用自然数g、实数u与v,比照结果影像147会根据公式49及50更新。另外因为比照结果影像147为单区域影像,会当作权宜上区域数的影像处理。因此函数ψijl(x)的第3添字为1。
&Psi; ij 1 ( x &OverBar; ) = g if eq ( g , x ij 1 ) + &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) eq ( g , x lm 1 ) = ma x 1 &le; h &le; n { eq ( h , x ij 1 ) + &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) eq ( h , x lm 1 ) } and 2 [ ep ( g , x ij 1 ) + &Sigma; p ( l , m , 1 ) &Element; P ij 1 ( q ) eq ( g , x lm 1 ) ] &GreaterEqual; N ij 1 for 1 &le; g &le; n and only one of g , 0 otherwise . - - - ( 49 )
eq ( u , v ) = 1 if u = v , 0 otherwise . - - - ( 50 )
资料处理装置110等到比照结果影像147不变化后就反覆计数公式49及公式50,可以收敛比照结果影像147整体的比照结果。此时利用正规化影像145与导板影像146的组合,比照结果会如下收敛。如果正规化影像145约一半的像素最类似特定的导板影像146的像素,则比照结果影像147几乎的比照结果会收敛为此特定的导板影像146号码。不过正规化影像145的几个像素区块若与几个不同的导板影像146的像素区块类似的话,在比照结果影像147中会产生被0包围的几个导板影像146号码区块。再者正规化影像145若与导板影像146的集合无相关,则比照结果影像147的比照结果几乎为0。因此由资料处理装置110实现的模型比照很难特定最像正规化影像145的导板影像146,但是从导板影像146中可以选择几个相似的导板影像146。因此从模式比照的结果作成辨识结果的过程中,利用模式比照作成的比照结果影像147只要从导板影像146的类似候补中,选择最有力的1个候补即可。
如图40所示,利用资料处理装置110实现的模式比照,为了作成由表示最像导板影像146中的正规化影像145的影像号码的比照结果构成的比照结果影像147,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图41所示。
步骤2901中,是将AOUij排列于格子上的i行j列上。无论这是理论上或实际上,都必须决定AOUij的附近。
步骤2902中,会设定AOUij的附近或变数的起始值。在附近的设定上,可以个别决定前述各函数使用的附近大小q,也可以全部统一。为了提高本发明的资料处理装置110作成的比照结果影像147的正确性,故将附近大小q全部设定为大值较佳。但是因要更新比照结果的计数时间的规定、被输入正规化影像145的大小等,模式比照可以配合需要变更适当的附近大小来处理。
步骤2903中,会判断有无依序被输入的导板影像146。如果无导板影像146(步骤2903:YES),则会转移至步骤2905。如果有导板影像146(步骤2903:NO),则会转移至步骤2904。
步骤2904中,会区域数分输入导板影像146的i行j列的像素。因此AOUij至少需要储存具有区域数与导板影像146数的像素资料的存储器102。之后则回到步骤2903。步骤2905中,会判断有无依序被输入的正规化影像145。如果无正规化影像145(步骤2905:YES),则会结束算术。如果有正规化影像145(步骤2905:NO),则会转移至步骤2906。只是仅对特定的影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤2906中,会区域数分输入正规化影像145的i行j列的像素。因此AOUij至少需要储存区域数分的像素资料的存储器102。
步骤2907中,会从正规化影像145与导板影像146计数比照结果影像147的比照结果σijl。比照结果会成为表示最接近正规化影像145的导板影像146号码的区域像素值。
步骤2908中,AOUij通过与附近的阵列运算单元100通讯,对于比照结果影像147的各区域像素值会按照函数ψijk(x)更新比照结果。被更新的区域像素值会当作比照结果影像147的区域像素值处理。在此的函数ψijk(x)会一直反覆直到原本的比照结果影像147的区域像素值不变化。不过根据在计数时间的规定、被输入的正规化影像145的品质、被更新的比照结果影像147上所追求的品质等,更新处理是以适当的反覆次数结束计数较佳。
步骤2909中,会输出比照结果影像147的区域像素值。之后就回到步骤2905。
因此,使用由阵列运算单元100构成的资料处理装置110,影像辨识装置29中的模式比照可以从正规化影像145作成比照结果影像147。
到目前为止是说明了有关使用由阵列运算单元100构成的资料处理装置110,进行仅从附近处理到影像处理。以下是说明有关使用由阵列运算单元100构成的资料处理装置110,仅在附近处理的物体/背景分离装置16。
首先非线形振动子一般会发生拉进现象。此拉进现象,在范围周期或引力等的周期性动作中,具有不同周期的非线形振动子有相互作用以简单的定数比周期来限制振动的现象。这时会让1个非线形振动子的振动变化与配合其他非线形振动子变化,所以这些非线形振动子是同步。而且利用调整非线形振动子的相互作用,可以尽量让彼此的振动位相差变小或变大。因此若操作此相互作用,可以将一群非线形振动子分割为具有不同位相的数个群组。物体/背景分离装置16利用这样的非线形振动子的拉进现象,分离以边缘资讯影像中的边缘资讯为界线的物体与背景,作成表示物体区域141的物体区域影像142。另外,在此举例说明使用当作非线形振动子的功能三角电极的情况。
首先,在由阵列于格子状上的非线形振动子构成的非线形振动子网路中,若将i行j列上的非线形振动子当作ωij,则在非线形振动子ωij的q附近的非线形振动子的集合Ωij(q)会依公式51表示。不过q为4、8、24、48、80、120、(2r+1)2-1的连续数列,r为自然数。另外超出网路大小范围的非线形振动子被包含于附近集合Ωij(q)时,会当作代用非线形振动子ωij。因此边缘处理会自动进行。因此附近集合Ωij(q)的要素数通常都为q。由此判断,非线形振动子网路会成为与单区域像素相同处理。为了简单地表现,在非线形振动子网路中添字仅使用宽度方向与高度方向2种。
&Omega; ij ( q ) = { &omega; i + 1 , j &omega; i , j + 1 , &omega; i - 1 , j , &omega; i , j - 1 } if q = 4 , { &omega; l , m | i - r &le; l &le; i + r , j - r &le; m &le; j + r , &omega; l , m &NotEqual; &omega; i , j } if q = ( 2 r + 1 ) 2 - 1 - - - ( 51 )
接着,非线形振动子在与包含于qa附近的附近集合Ωij(q)上非线形振动子之间会利用按照公式计数的结合值τijkl结合。另外不用对数表的状况下利用公式53也可以很接近。而μ、v为适当的正定数。
&tau; ijkl = &mu; sin c ( ( i - k ) 2 + ( j - l ) 2 v 2 ) for &ForAll; &omega; kl &Element; &Omega; ij ( q a ) . - - - ( 52 )
sin c ( x ) &ap; 1 - 2 | x | 2 + | x | 3 if 0 &le; | x | < 1 , 4 - 8 | x | + 5 | x | 2 - | x | 3 if 1 &le; | x | < 2 , 0 otherwise . - - - ( 53 )
非线形振动子网路的全部非线形振动子以完全同位相进行同步时,只要以处理器101计数,非线形振动子当作ωij就会永久持续同位相的动作。因此如果发生外乱ρij可以避免这样的状态。当作外乱也可以使用疑似乱数,但是用公式54那样简单的公式求出就可以了。另外ζij表示有无边缘资讯影像的i行j列的边缘资讯。如果有边缘资讯就视为1;没有就视为0。而κ为适当的正定数。
ρij=kζij    (54)
非线形振动子ωij因与附近集合Ωij(q)的非线形振动子ωkl同步,所以根据公式55计数附近输入合计σij。
&sigma; ij = &Sigma; &omega; kl &Element; &Omega; ij ( q a ) &tau; ijkl ( 1 - &zeta; kl ) &xi; kl ( &psi; kl - &psi; ij ) - - - ( 55 )
构成功能三角电极非线形振动子ωij的2个参数Φij与ψij会按照公式56及公式57计数的。而γ、ε为适当的正定数。
d&phi; ij dt = &psi; ij - - - ( 56 )
d&psi; ij dt = - &gamma; &phi; ij - &epsiv; ( 1 - &phi; ij 2 ) &psi; ij + &sigma; ij + &rho; ij - - - ( 57 )
虽然要将非线形振动子分离为物体区域141与背景区域必须要计数全部的非线形振动子的位相偏移,单是只是单纯地分离为物体区域141与背景区域2个,所以参数ψij会以是否为门槛值θ以上或未满来计数位相偏移。输出分离物体区域141与背景区域的结果的输出λij可用公式58求出。而θ为适当的正定数。
&lambda; ij = 1 if &psi; ij &GreaterEqual; &theta; , 0 otherwise . - - - ( 58 )
边缘资讯虽分离物体与背景却不充分时,就必须补充边缘资讯。因此必须在非线形振动子ωij的qb附近上的非线形振动子ωij的集合Ωij(qb)中找出有多少非线形振动子发生位相偏移。因此用公式59计数轮廓参数ηij。
&eta; ij = &Sigma; &omega; kl &Element; &Omega; ij ( q b ) &lambda; ij &lambda; kl + ( &lambda; ij ) 2 - - - ( 59 )
表示以此结果为基础的边缘资讯补充比例的限制参数ζij会用公式60计数的。而α、β、ηmin、ηmax为适当的正定数。
d&xi; ij dt = - &alpha; &xi; ij if &eta; min &le; &eta; ij &le; &eta; max , &beta; ( 1 - &xi; ij ) otherwise . - - - ( 60 )
在此虽说明了当作非线形振动子的功能三角电极的状况,但其他用距齿及integrate-and-fire形振动子那样的限制周期安定的非线形振动子、或发生重引力及摔力方程序的引力的混乱振动子等,产生拉进现象的任一非线形振动子也可能有动作。这时只要追加用个别的非线形振动子的参数置换参数Φij与ψij即可。这时候仅在适当的参数上加进附近输入合计σij与外乱ρij。但是,混乱振动子的情况下特别是不将外乱ρij当作必要。
利用公式51到公式60,可以叙述能装设物体/背景分离装置16的资料处理装置110的全部阵列运算单元100的算术。以下,是使用资料处理装置110中的任一阵列运算单元100的算术,说明有关物体/背景分离装置16。
如图42所示,利用资料处理装置110实现的物体/背景分离装置16,因为要利用三角形的边缘资讯151分离为三角形的内侧区域152与三角形的外侧区域153,格子状上排列的阵列运算单元100会同步并列动作。若将配置于格子上i行j列的阵列运算单元100当作AOUij,则AOUij算术会如图43所示。
步骤1601中,是将AOUij排列于格子上的i行j列上。
步骤1602中,是根据公式52及53以结合值τijkl连接附近同伴ωij与ωkl。
步骤1603中,会在非线形振动子的参数Φij与ψij上设定适当的初始值。
步骤1604中,会判断有无依序被输入的形成边缘资讯影像115。如果无形成边缘资讯影像115(步骤1604:YES),则会结束算术。如果有形成边缘资讯影像115(步骤1605:NO),则会转移至步骤1605。只是仅对特定的区域数及影像大小装设阵列运算单元100时,也可以设定为无限循环。
步骤1605中,会输入形成边缘资讯114的ζij。
步骤1606中,会从的前刚输入的形成边缘资讯114的ζij按照公式54计数外乱ρij。
步骤1607中,会从有附近集合Ωij(q a)中的非线形振动子ωkl的阵列运算单元100的AOUkl输入ζkj、ξkj、ψkj,再按照公式55计数合计值σij。
步骤1608中,会按照公式56及57计数非线形振动子的参数Φij与ψij。亦即,以鲁根哥达法解这些公式上表示的微分方程。
步骤1609中,会根据公式58计数非线形振动子的输出λij。在此,若ψij>θ则会当作λij=1,若为其他就当作λij=0。
步骤1610中,会从有附近集合Ωij(q b)中的非线形振动子ωkl的阵列运算单元100的AOUkl输入λij,再按照公式59计数轮廓参数ηij。
步骤1611中,会按照公式60计数界线参数ξkj。亦即,以差异法或鲁根哥达法解这些公式上表示的微分方程。
步骤1612中,会判断表示从步骤1606到步骤1611的重复次数的分离次数有没有达到指定次数。如果分离次数未达指定次数(步骤1612:NO),则会返回步骤1606。如果分离次数有达到指定次数(步骤1612:YES),就会移转到步骤1613。
步骤1613中,会输出成为物体区域影像142的区域像素值的非线形振动子的输出λij。之后就回到步骤1605。
另外在求出步骤1612中的分离次数时,可以用下述方法。在物体/背景分离装置16上,若影像大小为一定,则不管非线形振动子的初期状态,几乎在全部的形成边缘资讯114中会于一定时间结束分离,所以事先计数好该时间,然后再求出从步骤1606到步骤1611的反覆次数即可。这是因为若非线形振动子的初期状态在一定的范围内,因拉进现象到非线形振动子进行同步的时间不会有很大的差异。
像这样仅计数非线形振动子,就可以用三角形的边缘资讯151分离三角形的内侧区域152与三角形的外侧区域153,是因为利用非线形振动子的性质的拉进现象。也就是,以正的结合值结合2个非线形振动子时,会成为同位相、或以负的结合值结合时,位相差异会变得很大。利用这个性质,将排列于格子状上的非线形振动子以相近同伴正的结合值结合的,未直接结合的非线形振动子同伴会成为同位相。再者若以负的结合值结合在夹带形成边缘资讯114的像素场所上的非线形振动子同伴,则边缘资讯的两边会彼此极力互相偏移位相。如此一来,不用结合全部的非线形振动子就可以在三角形的边缘资讯151的内侧与外侧集合各个不同的位相。因此物体/背景分离装置16会如图42那样分离为三角形的内侧区域152与三角形的外侧区域153。此时三角形的内侧区域152与三角形的外侧区域153的位相差尽可能超越90度接近180度,三角形与背景区域可以分离。
在此重要的为,本实施型态中,会用每次去得形成边缘资讯114时所表示的方法将结合值变更为拟似形式。首先如公式52及53所制定的,将把非线形振动子ωkl结合为非线形振动子ωij的结合值当作τijkl(参照步骤1602)。形成边缘资讯114中ζij与ξkl都是一样,有边缘时为1;没有时为0。若输入形成边缘资讯114中的ζij与kl(参照步骤1605),则会从阵列运算单元100的AOUij转送形成边缘资讯114ζkl到AOUij,在AOUij计数结合值τijkl(1-ζkl)后当作结合值τijkl的代用(参照步骤1607)。对于此代用的结合值τijkl(1-ζkl),界线参数ξij会当作从0到1的倍率作用(参照步骤1607)。
如图44所表示,形成边缘资讯114为虚线状态的三角形边缘资讯154时,就有需要补全虚线。首先一开始使用虚线状态的三角形边缘资讯154使系统运作(参照步骤1605),则虚线状态的三角形边缘资讯154的内侧与外侧的位相差大约超过90度,但是三角形的内侧与外侧的界线部分不明确。因此各AOUij会计数非线形振动子的输出λij(参照步骤1609)。此输出λij为1时,若将附近的非线形振动子中的λkl为1的非线形振动子当作ωkl,则参数ψij与ψkl都为θ以上。也就是λij与λkl大致为同位相,若θ为正值,最差的状况位相差也不会超过90度。此位相差的最大值依θ的值决定,在λij与λkl都为1的范围下若加大θ,此位相差则会接近于0度。因此使用λij与λkl,表示附近非线形振动子中大约同位相者数量的轮廓参数ηij会依照公式59计数的(参照步骤1610)。接着此轮廓参数ηij在附近全体中,如果大约一半则会按照公式60减少为结合值的倍率的界线参数ξij,若以外情况则会按照公式60增加的(参照步骤1611)。例如,8附近182的情况下若在3到5之间,若能按照公式60减少界线参数则很好。若重复继续动作该过程,当如图44所表示虚线状态的三角形边缘资讯154被设定,会分离为虚线三角形的内侧区域155与虚线三角形的外侧区域156。
如图45所示,2个三角形重叠时,可取得前方三角形的边缘资讯157与后方三角形的边缘资讯158。此时因为前方三角形的内侧区域159与后方三角形的内侧区域160与双重三角形的背景区域161的3个区域的非线行振动子的位相会相互偏移,所以会分离为3个区域。又如图46所示,2个重叠的圆形边缘资讯162就算为虚线,也会分离为前方圆形的内侧区域163与后方圆形的内侧区域164与双重圆形的背景区域165的3个。
因此,利用由阵列运算单元100构成的资料处理装置110,物体/背景分离装置16可以将形成边缘资讯影像115的形成边缘资讯114当作界线,分离物体区域141与背景区域。另外,被分离的数个区域虽会利用输出λij一起与时间的经过被读取,但是阵列运算单元100会计数非线形振动子的位相,可以将被分离的数个区域当作位相群组输出于一览表上。
到目前是说明了有关视觉装置2。这些视觉装置2可以利用一般用电脑安装,但当作搜寻移动物体的对象时,有需要根据移动物体的移动速度快速实施每个前述装置。尤其是提升画面影像的影像大小或解像度时,以影像本身作为处理对象的影像储存装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、物体/背景分离装置16、区域正规化装置27、遮罩装置40、影像维持装置39、及模式比照装置38,对于各个宽度方向及高度方向会依影像大小或解像度增大计数量。因此视觉装置2有可能根据用途而无法达到期望的功能。
为了使用数字技术安装影像储存装置12、色彩资讯作成装置41、边缘资讯作成装置14、边缘资讯形成装置15、位置/大小检知装置17、物体/背景分离装置16、区域正规化装置27、遮罩装置40、影像维持装置39、及模式比照装置38,阵列运算单元100在资料处理装置110中如图16那样配置于格子状上,且阵列运算单元100的回路仅可以与资料处理装置110中邻接的阵列运算单元100相互通讯。亦即成为4附近同类者呈直接回路。因此与配线8附近182同类的情况比较,可以用少的电子零件与回路量,以同程度的快速动作,而且在扩充将来附近大小时也具有简单的扩充性。
阵列运算单元100如图47所不,由影像处理上要计数公式的处理器(PROCESSOR)101;储存公式中所使用的全部参数、定数、函数及操作数的存储器(MENORY)102;及与附近阵列运算单元100通讯的控制器(CONTROLER)103所构成,处理器101可以利用地址电解槽51指定的地址(ADDRESS)选择存储器102及控制器103任一存储器晶片及电阻器。另外处理器101会通过资料电解槽52与存储器102及控制器103连结为双向可通讯,并可存取地址电解槽51指定的任一存储器晶片及电阻器的资料(DATA)。阵列运算单元100若输入由1个以上的输入画面构成的前输入资料群(FRONT INPUR DATA SET),控制器103会将前述入资料群储存于存储器102。控制器103,除了将由函数作成的存储器102中的计数资料传送至邻接的阵列运算单元100外,还会将从邻接的阵列运算单元100接收的计数资料储存于存储器102,如有需要,会转送至输入的以外阵列运算单元100。最后的控制器103,会将输出影像的影像资料当作结果资料(RESULT DATA)输出。
在这样的各个阵列运算单元100上装设控制器103的理由:是因为阵列运算单元100之间在通讯时处理器101可动作,故处理器101利用通讯也可以在等待时间内计数后做到快速处理;即使变化附近的阵列运算单元100的数硬件也不需要变更;因为控制器103对于影像的边缘处理,亦即影像中的边缘像素,会自动进行例外处理,所以处理器101的程序就不需要做边缘处理而变得非常单纯。
处理器101与存储器102可以使用一般用的数字回路。控制器103的具体性的回路图如图48所表示。地址缓冲器(ADDRESS BUFFER)53会通过地址电解槽(ADDRESS BUS)51从处理器101接收地址(ADDRESS),并利用地址解码器(ADDRESS DECODER)54选择各个地址及其他功能区块。资料缓冲区(DATA BUFFER)55会通过资料电解槽(DATABUS)52从处理器101接收资料(DATA),并通过内部资料电解槽56与地址解码器54所选择的电阻器排他性地通讯。通讯方向由读取(READ)指定。电阻器指定标帜电阻器(FLAG REGISTER)57时,资料会储存于标帜电阻器57,利用标帜解码器(FLAG DECODER)58编译,当作数个信号(SIGNALS)传送至连接的阵列运算单元100。数个信号会利用标帜编码器(FLAG ENCODER)59收讯,被解析后会储存于状态电阻器(STATUSREGISTER)60,并视为接收(RECEIVE)被传回传送源的阵列运算单元100。接收是以数个信号的传送源的标帜编码器59收讯,并当作结果确认数个信号的传送完了。若利用地址选择状态电阻器60,则状态电阻器60的内容会当作资料通过资料电解槽52传送至处理器101。标帜编码器59若接收对应1个以上的输入影像(INPUT IMAGE)的1个以上的前输入送达(FRONT INPUT SEND),会读入由1个以上的输入影像形成的前输入资料群(FRONT INPUT DATA SET)所需要的储存容量部分被准备的前输入资料电阻器(FRONT INPUT DATA REGISTER)61。若利用地址选择前输入资料电阻器61,则前输入电阻器的内容会当作资料传送至处理器101。处理器101结束计数后,利用地址选择结果资料电阻器(RESULT DATA REGISTER)62,结果资料电阻器62会将输出影像的影像资料当作结果资料(RESULT DATA)读入。在同时,标帜编码器59会传送结果送达(RESULT SEND)。
从附近的阵列运算单元100求出计数时需要的资料,当作地址选择输出资料电阻器(OUTPUT DATA REGISTER)62,并将应送至附近的阵列运算单元100的资料当作计数资料(CALCURATION DATA)读入输出资料地址63。然后,在邻接的全部阵列运算单元100上当作计数资料传送。若从上方的阵列运算单元100接收数个信号(SIGNALS),则会将计数资料读入上输入资料电阻器(UPPER INPUT DATA REGISTER)64。之后,若从地址选择上输入资料地址64,则上输入资料电阻器65的内容会当作计数资料被传送。从下方、左方、右方的阵列运算单元100接收数个信号时都是一样,下输入资料电阻器65、左输入资料电阻器66、右输入资料电阻器67会做同样动作。
各种缓冲器、各种电阻器、地址解码器55的各个区块为一般用的电子回路。标帜解码器58与标帜编码器59具体来说有像图49与图50所表示那样的输出入信号。种类(TYPE)是用6位元表示被读入输出资料电阻器(OUTPUT DATA REGISTER)63的内容种类。此位元数虽是区别阵列运算单元100应送收讯的全部计数资料,却是很充分的值。计数-X(COUNT-X)及计数-Y(COUNT-Y)是分别表示无4位元的符号的整数,并显示阵列运算单元100之间的转送次数。阵列运算单元100传送计数资料时各个计数为0,再次从左右的阵列运算单元100传送已被传送过的计数资料时,标帜编码器59的计数-X上为足够1的值,再次从上下的阵列运算单元100传送已被传送过的计数资料时,标帜编码器59的计数-Y上为足够1的值。处理器101在标帜电阻器57的送达标帜(SENT FLAG)上指定要将输出资料电阻器63的内容传送到上下左右中的哪个方向后,标帜编码器58若接收指定输出资料电阻器63的地址解码器55的中央译码(CENTRAL DECODING),标帜编码器58会配合送达标帜的指定方向输出送达(SEND)。送达标帜是以5位元表示,且当将阵列运算单元100的计数资料传送至四方的阵列运算单元100时,处理器101会设定为1111;若从右方的阵列运算单元100将被传送的计数资料转送至上下左方时,处理器101会设定为1110;从左方转送至上下右方时则设定为1101;从下方转送至上方时则设定为1000;从上方转送至下方时则设定为0100。因此,不仅转送时可以不必重复有效率地转送,转送方向的决定规则也很明确,所以利用组合种类、计数-X及计数-Y,标帜编码器59可以判断要从哪个阵列运算单元100传送哪个种类的计数资料。在结果资料电阻器62上的计数资料当作结果资料被读入的同时,标帜解码器58会接收结果译码(RESULTDECODING),并传送结果送达(RESULT SEND)。
标帜编码器59若无论四个方向中的哪个方向都接收送达,则会接收接收方向的种类与计数-X、计数-Y,并更新该部分的状态电阻器60的内容。与该更新的同时会在收讯方向上设定接收为1后传送。传送源的阵列运算单元100的标帜编码器59上接收会再成为1的瞬间收讯,并更新状态电阻器60的接收状况(RECEIVE STATUS)。因此在各个阵列运算单元100中,处理器101只要检查状态电阻器60的接收状况,就可以判断在哪个输入资料地址上会储存有效的计数资料。因此例如在上输入资料电阻器65上读入计数资料,处理器101虽然可以利用指定地址从上输入资料电阻器65读入资料,但是同时会从地址解码器55传送上译码(UPPER DECODING)到标帜编码器59,且接收状况中的上部分会回到0,朝上方的接收会当作0被传送。下左右方的情况也是相同的动作。标帜编码器59如果1个也要接收输入影像用的前输入送达,则对应状态电阻器60中的以接收的前输入送达的输入影像用的前输入送得状况(FRONT INPUT SEND STATUS)会设为1。另外当处理器101从输入影像用的前输入资料电阻器61读入资料时,地址解码器55会传送前译码(FRONT DECODING)到标帜编码器59,对应已接收的前输入送达的前输入状况设为0。处理器101可以利用读入状态电阻器60的内容,判断最新的输入影像是否被储存于前输入资料电阻器61。
处理器101通过控制器103在四方的阵列运算单元100上传送计数资料时的算术如图51所示。图51,表示利用处理器101与程序控制;利用标帜解码器58及标帜编码器59与硬件逻辑的混合处理。针对图51,步骤71中,处理器101会读入状态电阻器60的内容。步骤72中,判断已读入的内容中接收状况是否全部为0。如果为N O则结束处理。如果为YES就进行步骤73。步骤73中,处理器101会决定传送至邻接的阵列运算单元100的资料的种类与计数与传送方向,并将该内容写入标帜电阻器57。步骤75中,处理器101会将传送至邻接的阵列运算单元100资料写入输出资料电阻器63。步骤75中,会将输出资料电阻器63的内容当作计数资料,传送至邻接的阵列运算单元100。步骤76中,将仅送达至标帜电阻器57的送达标帜所指定的方向设为1后传送。因此处理器101的1次传送算术就结束。处理器101,每次在应传送的资料于存储器102内被更新时就开始此传送算术。
控制器103从上方的阵列运算单元100接收计数资料时的算术表示于图52。图52,是利用标帜解码器58及标帜编码器59与硬件逻辑表示处理。针对图52,步骤81中,标帜编码器59会输入送达。步骤82中,由标帜编码器59判断送达是否为1。如果为NO则结束处理。如果为YES就进行步骤83。步骤83中,上输入资料电阻器65会从上方读入被传送的计数资料。步骤85中,标帜编码器59会在状态电阻器60中的上方用接收的状况设为1的同时,接收会设为1后传送至上方的阵列运算单元100。下左右方时也相同。因此控制器103的1次接收算术就结束。控制器103会监视平常从上下左右的阵列运算单元100的送达,每次在接收该送达时就开始此接收算术。
处理器101从上输入资料电阻器65接收资料时的算术如图53所示。图53,是表示利用处理器101与程序控制;利用标帜解码器58及标帜编码器59与硬件逻辑的混合处理。针对图53,步骤91中,处理器101会读入状态电阻器60的内容。步骤92中,判断已读入的内容中上方用的接收状况是否为1。如果为NO则结束处理。如果为YES就进行步骤93。步骤93中,处理器101会从上输入资料电阻器65读入资料。步骤95中,标帜编码器59会在状态电阻器60中的上方用的接收状况设为0的同时,接收会设为0后传送至上方的阵列运算单元100。下左右方时也相同。因此处理器101的1次接收算术就结束。处理器101会以一定间隔监视状态电阻器60的内容,每次再上下左右任一方的接收状况为1时,该接收算术就会开始。另外,就算处理器101不以一定间隔监视状态电阻器60的内容,也可以利用插入处理装设。此阵列运算单元100,主要虽以从1个以上的输入影像作成1个输出影像为前提叙述,但是配合用途有必要变更回路使的可以输出计数途中的计数资料。此时,只有应输出的计数资料数增加标帜解码器58的结果送达,只要变更程序让仅对应被读入结果资料电阻器62的计数资料的结果送达设为1即可。
到此是说明了有关阵列运算单元100。不过像移动源重复资讯影像185那样要转送区域数很多的影像时,阵列运算单元100有可能会有只具备1个控制器103,与转送效率降低的情况。因此最后,是说明具备数个控制器103的阵列运算单元100。
如图55所示,权利要求9项的阵列运算单元100可以具备数个控制器103。图55的情况,是阵列运算单元100具备配置于对角线上的5个控制器103,各个控制器103连接于地址电解槽51及资料电解槽52。处理器101为了可以辨识5个控制器103,在各个控制器103的地址解码器55上分配不同的地址。各个控制器103因具备前输入资料电阻器61及结果资料电阻器62,所以全部的控制器103可以独立输入前输入资料群,及输出结果资料。还有各个控制器103,因为与邻接的阵列运算单元100的5个控制器103中不同的1个连接,阵列运算单元100可以将通讯区域扩大到最大5倍。因此,就算是像移动源重复资讯影像185那样要转送区域输很多的影像时,若增加控制器103的数量就不会降低转送效率。
另外阵列运算单元100具备数个控制器103时,处理器101必须根据图51及图53中所表示的算术,监视全部控制器103的状态电阻器60中的状况。监视调度主要是用圆形巡逻方式。
圆形巡逻方式,控制器103理论上是环状并列,处理器101会沿著环状依顺序对控制器103做存取。处理器101对于1个控制器103执行如图53表示的算术。若有应传送的资料,处理器101会对控制器103执行如图51表示的算术。之后处理器101会移动到下个顺序的控制器103。因此全部的控制器103会被对等地处理。与阵列运算单元100短时间内转送的资料量比起来,控制器103的通讯区域狭窄时,此方法是有效的。
除此之外,控制器103上会附上优先度的不同号码,也可以用从处理器101每次最高的优先度依序存取控制器103的优先度方式。与阵列运算单元100在短时间内转送的资料量相比,当控制器103的通讯区域较广时,此方法为有效。
一般来说因为阵列运算单元100仅备有少数的控制器103,所以当视觉装置2执行局部并列影像处理时,以优先度方式比较是圆形巡逻方式较为有利。不过视觉装置2为了快速执行包含必须转送大量资料的函数的局部并列影像处理,当阵列运算单元100具备充分数量的控制器103时,剩下的函数若只参照5附近或8附近182的区域像素值,圆形巡逻方式的通讯效率就会下降。此时则优先度方式较为有利。当然全部的控制器103及处理器101若装设插入功能,处理器101则不需要定期地监视每个控制器103的状态电阻器60中的状况。
另外,在权利要求9项中,将控制器103排列于LSI(大规模集成电路)的安装平面时,主要问题是LSI的安装面积会变大、控制器103之间的配线会变复杂且长,还有不容易增加控制器103的数量等3个问题。不过若使用三次元LSI技术,LSI设计者可以很容易地解决这些问题。以下是说明有关使用三次元LSI技术的阵列运算单元100。
如图55所表示,权利要求10项的控制器103是使用三次元LSI技术堆积于阵列运算单元100内。图55的情况,是有5个控制器103堆积于处理器101及存储器102上,各个控制器103会利用被垂直配线的地址电解槽51及资料电解槽52,与处理器101及存储器102连接。从图55可确定的是,就算增加控制器103的数量,各层的安装面积不必扩大,而控制器103只要与位于同一层的邻接控制器103连接即可。再者,LSI设计,若增加控制器103只要增加安装控制器103层的需要数即可,而且只要适当地设计地址电解槽51,LSI设计者对下位层完全不必加工。各层的控制器103因全部以地址解码器55以外的回路所构成,所以新堆积层的控制器103的设计变得非常简单。
还有,如图54及图55所示,阵列运算单元100因具有数个控制器103,所以阵列运算单元100,不仅可以扩大与阵列运算单元100之间的通讯区域,还可以辨识要从哪个控制器103接收哪个计数资料。因此以下,是说明有关使用数个控制器103,将连续的数个阵列运算单元100归纳为1个群组,而且该群组中的阵列运算单元100共用处理器101及存储器102的资料处理装置110。
首先,如图56所示,排列于二维格子状上的阵列运算单元100会被整理为适当大小的矩形群组。该群组称为虚拟阵列运算单元105。图56的情况,虚拟阵列运算单元105是将3x3的阵列运算单元100整理为1个群组者。接着如图57、图54及图55所示,虚拟阵列运算单元105具备处理器101、存储器102、及阵列运算单元100的纵与横的个数最大值以上的控制器103。图56的情况,虚拟阵列运算单元105需要3个以上的控制器103。还有这些控制器103会被编上权宜性的不同号码。而如图57所示,在阵列运算单元100的通讯途径上也有与控制器103同样相异的号码。不过,相对号码要设为一样。最后,让处理器101可执行9个阵列运算单元100的程序会被储存于存储器102上。不过,阵列运算单元100若与邻接的虚拟阵列运算单元105的阵列运算单元100通讯,一定要通过与通讯途径上所编的号码一致的控制器103安装程序。因此,虚拟阵列运算单元105,可以辨识计数资料是从哪个阵列运算单元100被传送往哪个阵列运算单元100。
而虚拟阵列运算单元105只增加控制器103数量是不能完全装设数个阵列运算单元100的。这是因为,虚拟阵列运算单元105,必须从其他虚拟阵列运算单元105输入前输入资料群、或必须将结果资料输出至其他虚拟阵列运算单元105。如图55所示控制器103被安装于二维平面上时,如果控制器103数很充分,则与计数资料一样在控制器103上编号,利用程序解决这个问题。不过图57的情况也是,控制器103需要9个。因此当包含于虚拟阵列运算单元105的阵列运算单元100的数量增加时,这个方法就会非常没有效率。何况如图55那样控制器103被堆叠时,就非常难确保前输入资料群及结果资料用的通讯途径。因此以下,是说明有关利用仅变更控制器103的前输入资料电阻器61,以解决此问题的方法。
首先,考虑控制器103从别的控制器103当作前输入资料群的1个前输入资料,再将结果资料当作前输入送达输入结果送达的情形。此时如图58所示,前输入资料电阻器61,具备由与虚拟阵列运算单元105中的阵列运算单元100数相等的数量电阻器所构成的前输入转换电阻器68、与前输入计数器69。前输入计数器69,是为将电阻器的数量当作起始值的下降计数,前输入计数器69的计数为0时,前输入计数器69会输出前输入送达。然后若输入结果资料,前输入计数器69会被起始化为起始值。图58中,前输入转移电阻器68是由9个电阻器构成,若在前输入转移电阻器68输入9个结果资料,则前输入送达会被输出。接着,前输入转移电阻器68的各个电阻器与前输入计数器69会当作触发器信号输入结果送达。再者,地址解码器55,会译码地址,选择前输入转移电阻器68的电阻器中的1个。因此,处理器101若指定前输入转移电阻器68中适当的电阻器地址,则每个电阻器可以在资料电解槽52上输出结果资料。另外图58中,地址解码器55的其他信号线会被省略。而虚拟阵列运算单元105若依一定的顺序输出9个阵列运算单元100的结果资料,则这些结果资料会依输出顺序储存前输入转移电阻器68的电阻器。因此前输入计数器69输出的前输入送达被储存于资料电阻器60的时点,若处理器101对各电阻器做存取,则处理器101可以取得特定阵列运算单元100的结果资料。
到目前为止是说明了视觉装置2。虽然限制数字影像111的影像大小、忍受某程度的计数时间,即使是市面上贩卖的单芯片电脑也可以实现视觉装置2,不过要加大影像大小或达成实际时间性就必须安装专用的大规模集成电路。特别是将视觉装置2中的几个装置安装于大规模集成电路上,视觉装置2可以做到省空间、低消耗电力及实际时间性。以下是说明使用视觉装置2的影像感测器。
权利要求7项的发明中所使用的影像感测器,是将如图59所表示的功能栏201如图60所示阵列于二维格子状后配线。另外在图59中,是将阵列运算单元100略记为AOU;图60中,是将功能栏201略记为FC。而为了从影像感测器容易输出重复资讯131及比照结果,对图15追加3个影像维持装置39。图59中数个阵列运算单元100虽达到各个装置,但如图61所示即使是1个阵列运算单元100也可以利用程序实现数个装置。当然如图62所示即使是1个虚拟阵列运算单元105也可以利用程序实现数个阵列运算单元100。
在图59、图61及图62中,功能栏201上除了阵列运算单元100及虚拟阵列运算单元105的外、还放入光电二极管及CCD那样的摄影像素207、及A/D转换电路204。不过在功能栏201,也可以用个别的振荡电路,取代从功能栏201外部的时钟信号的输入。还有因为光电二极管与CMOS(相辅性金属氧化膜半导体)相同可以安装在LSI(大规模集成电路上),所以影像感测器的设计及安装非常单纯。
如图60所示,图59的各个阵列运算单元100,会位于4附近,并通过信号线与执行相同装置的阵列运算单元100通讯。因此,每个阵列运算单元100可以配合处理构成资料处理装置110。影像感测器利用三次元大规模集成电路(三次元VLSI)技术安装时,如图63所示的功能栏201中的全部阵列运算单元100若利用三次元VLSI像垂直排列那样安装,则功能栏201间的信号线连在阵列运算单元100间都不会交叉。因此影像感测器的设计及安装会变得非常容易。
到目前为止是说明了影像感测器。不过,若想利用LSI制造实用性的规模及处理速度的影像感测器,就不能避开时钟信号及恢复信号等的同步问题。因此下述,就举本发明的互锁装置的实施形态,参照画面说明之。
首先,如图64所示,互锁式计数器416是由计数器部分及互锁部分构成。而图64中,互锁式计数器416是由4个互锁式计数器416输入互锁信号BLK 1’、BLK 2’、BLK 3’、BLK 4’。
计数器部分中,同步式计数器411、结束值判别用非门412及计数用非门415为环状连接。而图64虽表示时钟信号(CLK)上同步的3个触发电路所构成的2进3位的同步式计数器411,但因为使用N个触发电路数量,故要变更为2进N位的同步式计数器411就很容易。而在同步式计数器411上因将或非门的输入从触发电路的Q’端子变更为Q端子,故也可以把同步式计数器411变更为下降计数器。
同步式计数器411会边在时钟信号上做同步边输出计数。计数若到达结束值,也就是同步式计数器411输出波纹贯彻信号(RCO),结束值判断用非门412会输出互锁信号BLKO’。计数用或非门415会在互锁信号BLKO’被输入的前输出有效信号(G’)。因此同步式计数器411,计数会计数到达到结束值为止,计数若到达结束值就会停止计数。
互锁部分,会根据从外部被输入的互锁信号BLK 1’、BLK 2’、BLK 3’及BLK 4’,互锁用或非门414及互锁用锁定电路413会控制计数用或非门415。因此互锁部分,可以将互锁信号BLK 0’的位相与周期配合互锁信号BLK 1’、BLK 2’、BLK 3’及BLK 4’的位相及周期。互锁式计数器416会与时钟信号同步后动作,但是时钟信号本身不一定会同时提供全部的互锁式计数器416。因此互锁式计数器416在接收时钟信号前,互锁信号BLK 1’、BLK 2’、BLK 3’及BLK 4’的任何一个会成为High阶层(H阶层),结果有效信号有可能会变成H阶层。故利用互锁用锁定电路413,互锁部分可以在计数部份开始计数的前使有效信号保持为Low阶层(L阶层)。而在图64虽表示互锁式计数器416是从4个互锁式计数器416输入互锁信号的状况,但是只要配合被连接的互锁式计数器416数变更互锁用或非门414的输入数、或左曲下降互锁用或非门414的输入中不需要的输入即可。
在图64中表示的同步式计数器411,计数的起始值固定为0、结束值固定为7。不过也有会依LSI的规格变更计数的起始值及结束值的情况。因此互锁式计数器416,使用像市面上贩卖的同步式计数411那样的同步式清晰装置及具有同步式负荷装置的同步式计数器411,可以设定任一起始值及结束值。此时,结束值的判断会利用在结束值判断用非门412前加上非门实现的。当然,结束值判断用非门412与非门的组合会根据NAMD闸被置换。
到目前为止是说明了互锁式计数器416单体的回路机构。以下则使用适时的图表,说明数个互锁式计数器416被连接时,互锁式计数器416会如何彼此互锁。
首先如图65所示,考虑3个互锁式计数器416被连接的情况。而图65中,将互锁式计数器416略记为ICU。每个互锁式计数器416的互锁信号BLK 0’会被输入至剩余的互锁式计数器416的互锁用或非门414。因此互锁用或非门414若为2输入或非门即可。当这些3个互锁式计数器416稳定后动作时,任何1个互锁式计数器416的适时图表会表示于图66。而因为全部的互锁式计数器416为对称式,所以剩余的互锁式计数器416的适时图表也相同。
从图66可明确地是,当全部的互锁式计数器416的计数为一致时,计数用的或非门415的输出会瞬间成为H阶层,但是因为马上就会回到L阶层,因此计数用的或非门415可以连续计数。因此全部的互锁式计数器416可以连续输出相同的计数。
如图67所示,互锁信号BLK 1’的波形因某种理由变短时,互锁式计数器416会无关互锁信号BLK 1’而动作。因此互锁信号BLK 1’对于计数没有影响。另外作成互锁信号BLK 1’的互锁式计数器416会配合互锁信号BLK 0’及BLK 2’的位相,运作互锁信号BLK 1’。
如图68所示,,互锁信号BLK 2’的波形因某种理由变长时,互锁式计数器416会配合互锁信号BLK 2’的位相动作互锁信号BLK 0’的位相。因此在互锁信号BLK 2’成为L阶层的前,互锁式计数器416会当作计数持续输出结束值。
如图69所示,互锁信号BLK 1’的波形因某种理由变短;互锁信号BLK 2’的波形因某种理由变长时,互锁式计数器416会配合互锁信号BLK 2’的位相动作互锁信号BLK 0’的位相。因此在互锁信号BLK 2’成为L阶层之前,互锁式计数器416会当作计数持续输出结束值。
利用上述的适时图表,3个互锁式计数器416会对计数最慢的判断配合计数。此对结束值不同的互锁式计数器416被连接的情况也成立。因此投入电源时,就算3个互锁式计数器416的计数不同,依时钟信号的周期在乘上结束值的最大数的时间以内全部的互锁式计数器416的计数会一致。
互锁式计数器416,并不一定要如图65那样与其他的全部互锁式计数器416连接。因此以下,是说明有关互锁式计数器416被规则性阵列时的情况。
如图70所示,由互锁式计数器416构成的互锁装置,是邻接同类连接排列于正方格子状上的互锁式计数器416的网路。此状况下,互锁用或非门414的输入数为4。另外,在边缘的互锁式计数器416上,没有连接地的互锁用或非门414的输入会被左区降下。取代将互锁式计数器416排列于正方格子状,也可以如图71所示排列于六角格子状的邻接同类。像这样配置互锁式计数器416,因全部的互锁信号用信号线的长度几乎一样,所以互锁式计数器416很容易相互互锁。因此,对于管线处理装置、DSP(Digital Signal Processor)、鼓动阵列、资料流动机器、及并列影像处理装置那样大规模又有规则的数字回路,这些二维计数器网路,可以很容易提供互锁式计数器416的计数,亦即时钟信号的分周信号。
再者三次元计数器网路,是利用三次元LSI技术将前述排列于正方格子状及六角格子状的互锁式计数器416多数叠合的网路。因此排列于正方格子状时,互锁用或非门414的输入数为6;排列于六角格子状时,互锁用或非门414的输入数为8。而利用调整各层互锁式计数器416的位置,可以将信号线的长度设为最短,所以每个互锁式计数器416的互锁信号的传送延迟时间几乎相等,互锁式计数器416彼此就很容易互锁。这些三次元计数器网路,会排列于正方格子状及六角格子状的处理器101所一起处理的资料朝垂直方向,对于想做管线处理的鼓动阵列及并列影像处理装置可以很有效率地提供互锁式计数器416的计数,亦即时钟信号的分周信号。
再者,分配互锁式计数器416的计数时,也可以将排列于正方格子状及六角格子状的互锁式计数器416的网路与处理器101及运算回路等的数字回路安装在三次元LSI的不同层上。因此为了数字回路的配置,互锁式计数器416的配置不会偏移,而且互锁信号BLK 0’的信号线也不会迂回。因为互锁式计数器416不会受数字回路的噪音影像,故互锁式计数器416会稳定动作。另外因为数字回路可以从互锁式计数器416的网路的任一互锁式计数器416输入计数,所以很容易设计数字回路。
不过,若使用二维计数器网路及三次元计数器网路,则全部的互锁式计数器416可以交给LSI全体并提供计数。亦即使用此计数,设计互锁式信号分配回路以便将适当的信号同时分配给LSI全体。
如图72所示,在时钟信号的周期正数倍形成输入信号的互锁装置,会利用信号分配用解码器421将互锁式计数器416的计数符号化,作成与时钟信号(CLK)同步的适时信号。因此表示计时开始时间与计时结束时间,利用不同的2个适时信号,信号分配用解码器421可以计数时钟信号的周期正数倍的时间。另外图72中,为表示计时开始时间与计时结束时间而分别使用适时信号3号及5号,但是当然也可以使用其他的适时信号。若从外部输入适当的信号(SIGIN),信号分配用锁定电路422一旦储存了此信号后,会利用信号分配用或非门423输入到计时开始时间上的信号分配用触发电路424。信号分配用触发电路424会同步为时钟信号,并储存输入信号,重设为计时结束时间。因此不管输入信号的传送延迟时间,互锁式信号分配回路可以将到达计时开始时间前的输入信号从计时开始时间输出到计时结束时间。另外在输入信号的理论反转时,由在信号分配用锁定电路422前加入非门,互锁式信号分配回路可以正常动作。
因此图72所示的互锁式信号分配回路的适时图表会表示于图73。从图73明确地,输入信号(SIGIN)若被输入,则从适时信号3号输出中的时钟信号(CLK)结束时间到适时信号5号输出中的时钟信号(CLK)结束时间,输出信号(SIGOUT)会被输出。因此数字回路无论要配置在LSI的何处,都可以在适时信号5号开始时确实地输入输出信号(SIGOUT)。这样的功能是在几乎不变更复原信号、插入信号及输出入信号等,已经被设计的数字回路并排入1个系统LSI时必要且不可缺少的。
截至目前说明了互锁式计数器416、计数器网路及互锁式信号分配回路。以下是说明有关,时钟信号变为高周波数时,在LSI全体让互锁式计数器416同步所需要的同步式振荡电路410。
首先,如图74所示,同步式振荡电路410,是由振荡部分、同步部分及起始化用或非门402构成,振荡部分与同步部分个别分类为A侧与B侧2边。而且图74中,同步式振荡电路410是视为从4个同步式振荡电路410输入同步信号SyncA 1’、SyncA 2’、SyncA 3’、SyncA 4’、SyncB 1’、SyncB 2’、SyncB 3’及SyncB 4’。
在振荡部分,A侧振荡用或非门401a、A侧振荡用电容器404a、B侧振荡用或非门401b及B侧振荡用电容器404b会被连接为环状,再者A侧振荡用或非门401a及B侧振荡用或非门401b的输出与输入,分别用A侧振荡用电阻403a及B侧振荡用电阻403b被连接。在此A侧振荡用电阻403a及B侧振荡用电阻403b的阻抗值一起视为R欧姆,A侧振荡用电容器404a及B侧振荡用电容器404b的容量一起视为C法拉,振荡部分会配合时定数RC利用自励振荡,可以产生2个时钟信号ClockA及ClockB、与2个同步信号SyncA 0’及SyncB0’。在同步部分,会根据同步信号SyncA 1’、SyncA 2’、SyncA 3’、SyncA4’、SyncB 1’、SyncB 2’、SyncB 3’及SyncB 4’,A侧同步用锁定电路405a与A侧同步用或非门406a、及B侧同步用锁定电路405b与B侧同步用或非门406b会分别控制A侧振荡用或非门401a及B侧振荡用或非门401b。因此同步部分可以将同步信号SyncA 0’及SyncB 0’的位相和周期,配合同步信号SyncA 1’、SyncA 2’、SyncA 3’、SyncA 4’、SyncAB 1’、SyncAB 2’、SyncAB 3’及SyncAB 4’的位相和周期。起始化用或非门402在电源投入时等会利用控制A侧振荡用或非门401a,决定同步信号SyncAB 0’的位相。另外在图74虽表示同步式振荡电路410从4个同步式振荡电路410输入同步信号的情况,但是只要配合被连接的同步式振荡电路410数变更A侧同步用或非门406a及B侧同步用或非门406b的输入数,或左曲下降A侧同步用或非门406a及B侧同步用或非门406b输入中不必要的输入即可。
图74的同步式振荡电路410,可以使用TTL(Transister-Transister Logic)及ECL(发射体结合逻辑回路)等多样半导体技术安装。不过使用像CMOS(互补形金属氧化膜半导体)那样的FET(电界效果型半导体管)时,若被储存于A侧振荡用电容器404a及B侧振荡用电容器404b的电荷一起在或非门的输入时流出,恐怕或非门会被破坏。如图75所示,同步式振荡电路410,为了避免这个问题而使用A侧输入电阻407a及B侧输入电阻407b。因此被储存于A侧振荡用电容器404a及B侧振荡用电容器404b的电荷不会在全部或非门的输入时一起流出。而利用A侧输入电阻407a及B侧输入电阻407b,因会减少A侧振荡用或非门401a及B侧振荡用NOR闸401b的输入时流出的电流,所以会提高从A侧输入电阻407a与A侧振荡用电容器404a、及B侧输入电阻407b与B侧振荡用电容器404b求出的时定数的准确度。另外A侧输入电阻407a及B侧输入电阻407b的阻抗值一起当作RO欧姆。阻抗值R0会参考电源电压、或非门的输入特性及容量C等后决定。
使用LSI技术不仅或非门就算实现电阻及电容器,在图74及图75的每个零件性能上会产生零落情况。更何况要产生如同步式振荡电路410所期望的时计周波数是很困难的。因此如图76所示,同步式振荡电路410,利用取代A侧振荡用电容器404a的水晶振动子408,可以调整水晶振动子408的振动数自励振荡。不过B侧振荡用电容器404b的容量C,同步式振荡电路410必须以大约的水晶振动子408振动数设定自励振荡的值。
在这的前说明了同步式振荡电路410单体的回路机构。以下,是说明有数个同步式振荡电路410被连接时,同步式振荡电路410彼此要如何取得同步、及使用适时图表。另外CMOS,因输入阻抗高,而且可以将输入电压的门槛值设定为电源电压与接地电压的中央,下述的适时图表是将CMOS作成念头。不过即使在TTL及ECL等的情况,适时图表也是呈相同的波形。
首先如图77所示,考虑3个同步式振荡电路410被连接的情况。而在图77中,将同步式振荡电路410略记为SOU。每个同步式振荡电路410的同步信号SyncA 0’及SyncB 0’会被输入至剩余的同步式振荡电路410的A侧同步用或非门406a及B侧同步用或非门406b。因此A侧同步用或非门406a及B侧同步用或非门406b若为2输入或非门即可。当这些3个同步式振荡电路410稳定后自励振荡时,任何1个同步式振荡电路410的适时图表会表示于图78。而因为全部的同步式振荡电路410为对称式,所以剩余的同步式振荡电路410的适时图表也相同。
从图78很明显地,同步式振荡电路410自励振荡时,时钟信号ClockA及ClockB不会同时成为High阶层(H阶层)。因此起始化用或非门402的输出通常为Low阶层(L阶层)。而根据A侧振荡用或非门401a及B侧振荡用或非门401b的真理值表的非对称性,A侧振荡用电容器404a及B侧振荡用电容器404b的电压会利用放电,将到达A侧振荡用或非门401a及B侧振荡用或非门401b的输入电压门槛值的时点当作起点,同步式振荡电路410会自励振荡。
如图79所示,同步信号SyncA 1’及SyncB 1’的波形因某种理由变短时,同步式振荡电路410会无关同步信号SyncA 1’及SyncB 1’而动作。因此对于时钟信号ClockA及ClockB没有影响。另外作成同步信号SyncA 1’及SyncB 1’的同步式振荡电路410会将同步信号SyncA 1’及SyncB 1’配合同步信号SyncA 0’、SyncA 2’、SyncB 0’及SyncB 2’的位相动作。
如图80所示,同步信号SyncA 1’及SyncB 2’的波形因某种理由变长时,同步式振荡电路410会让同步信号SyncB 0’(或SyncA 0’)的位相配合同步信号SyncB 2’(或SyncA 2’)的位相动作。因此时钟信号ClockA及ClockB的周期会配合同步信号SyncB 2’(或SyncA 2’)的周期变长。
如图81所示,同步信号SyncA 1’及SyncB 1’的波形因某种理由变短;同步信号SyncA 2’及SyncB 2’的波形因某种理由变长时,同步式振荡电路410会让同步信号SyncB 0’(或SyncA 0’)的位相配合同步信号SyncB 2’(或SyncA 2’)的位相动作。因此时钟信号ClockA及ClockB的周期会配合同步信号SyncB 2’(或SyncA 2’)的周期变长。
利用上述的适时图表,3个同步式振荡电路410会判断对周期最长的做同步。此在时定数有微妙不同的同步式振荡电路410被连接的情况也成立。
如图82所示,投入电源时,因全部的信号为0伏特,故A侧振荡用或非门401a及B侧振荡用或非门401b的输出被视为L阶层。因此起始化用或非门402的输出,亦即信号Osc’会马上变为H层次。同时A侧振荡用或非门401a及B侧振荡用或非门401b的输出也会马上变为H层次。不过信号Osc’若成为H层次,A侧振荡用或非门401a的输出因会强制性地使其变更为L阶层,结果就只有B侧振荡用或非门401b的输出呈H层次。此时信号Osc’会成为L阶层,之后就维持L阶层。因此电源投入后,同步信号SyncA 0’及SyncB’的位相被决定为一致。
到此虽说明了连接3个同步式振荡电路410的适时图表,但是使用在3个同步式振荡电路410中至少1个包含水晶振动子408的同步式振荡电路410时也会做相同的动作。不过因为水晶振动子408的周期被视为一定,所以不含水晶振动子408的同步式振荡电路410的位相,为了要符合包含水晶振动子408的同步式振荡电路410的位相,不含水晶振动子408的同步式振荡电路410的波形长度会优先地变化。因此,在同步式振荡电路410的网路上,若有1个包含水晶振动子408的同步式振荡电路410,就可以将网路整体的时计周波数保持一定。
再者,同步式振荡电路410,并不一定要如图77那样与其他全部的同步式振荡电路410连接。因此下述,是说明同步式振荡电路410被有规则性的排列情况。
如图83所示,二维振荡电路网路,是邻接同类连接排列于正方格子状上的同步式振荡电路410的网路。此状况下,A侧振荡用或非门401a及B侧振荡用或非门401b的输入数为4。另外,在边缘的同步式振荡电路410上,没有连接地的A侧振荡用或非门401a及B侧振荡用或非门401b的输入会被左区降下。取代将同步式振荡电路410排列于正方格子状,也可以如图84所示排列于六角格子状的邻接同类。像这样配置同步式振荡电路410,因全部的同步信号用信号线的长度几乎一样,所以同步式振荡电路410很容易相互同步。因此,对于管线处理装置、DSP(Digital Signal Processor)、鼓动阵列、资料流动机器、及并列影像处理装置那样大规模又有规则的数字回路,这些二维网路,与分配从外部输入的时钟信号的情况比起来,可以很容易提供位相齐全的时钟信号。
三次元振荡电路网路,是如上述那样利用三次元LSI技术将排列于正方格子状及六角格子状的同步式振荡电路410多数叠合的网路。因此排列于正方格子状时,A侧同步用或非门406a及B侧同步用或非门406b的输入数为6;排列于六角格子状时,A侧同步用或非门406a及B侧同步用或非门406b的输入数为8。而利用调整各层同步式振荡电路410的位置,可以将信号线的长度设为最短,所以每个同步式振荡电路410的同步信号的传送延迟时间几乎相等,同步式振荡电路410彼此就很容易同步。这些三次元振荡电路网路,会排列于正方格子状及六角格子状的处理器101所一起处理的资料朝垂直方向,对于想做管线处理的鼓动阵列及并列影像处理装置可以很有效率地提供位相齐全的时钟信号。
再者,分配时钟信号时,若将将排列于正方格子状及六角格子状的同步式振荡电路410的网路与处理器101及运算回路等的数字回路,安装在三次元LSI的不同层上,则为了数字回路的配置,同步式振荡电路410的配置不会偏移,而且同步信号SyncA 0’及SyncB 0’的信号线也不会迂回。因为同步式振荡电路410不会受数字回路的噪音影像,故同步式振荡电路410会稳定动作。另外因为数字回路可以从同步式振荡电路410的网路的任一同步式振荡电路410输入时钟信号ClockA及ClockB,所以很容易设计数字回路。
在此之前是说明了有关人工眼球1、视觉装置2、通讯装置7及影像探测器。因此在最后说明有关中央控制装置221。
首先,将图85所示的中央控制装置221分为3个群组说明之:亦即将视觉装置2输出的环境地图及任一物体数变换为声音合成装置226可输入的地图本文及物体数本文的群组;与将声音辨识装置227输出的指令本文变换为视觉装置2可输入的控制指令的群组;与在视觉装置2输出的数字影像111上插入地图本文、物体数本文及指令本文的群组。
第一个群组中包括环境地图输入装置301、地图/本文变换装置302、物体数输入装置303、物体数/本文变换装置304及地图/物体数本文维持装置305。
首先由表示物体区域141的种类及位置的环境资料构成的环境地图每次从视觉装置2被输出时,环境地图输入装置301会输入此环境地图,并依次储存于缓冲区。地图/本文变换装置302若可以输入,环境地图输入装置301会依照输入顺序按每个环境资料输入。地图/本文变换装置302若输入环境资料,则会将物体区域141的种类及位置变换为文字列(地图本文)。此时地图/本文变换装置302,以使用者的位置当作原点,将物体的位置及位置的变化变换为使用者常看的方向,亦即以正面为基准的座标,并变更为使用者容易了解的用语:如前、后、右、左、上、下、近、远、接近、远去、横过、交错、越过等。使用例外序列及特殊记号等,地图/本文变换装置302会将以环境地图上包含的移动式摄影机10的方向及倍率为基准的位置变换为当作原点的座标,变更为前述用语后会追加至地图本文。因此,地图本文可以用不同座标表示相同物体区域141的位置。地图/物体数本文维持装置305会根据地图/本文变换装置302将被变换的地图本文依序储存于缓冲区,且输出至声音合成装置226。
同样的,环境地图上表示一定期间被记录的物体个数的任一物体数,每次从视觉装置2被输出时,物体数输入装置303会输入该任一物体数,并依序储存至缓冲区。物体数/本文变换装置304若为可输入,物体数输入装置303会根据输入顺序输出任一物体数。物体数/本文变换装置304若输入任一物体数,便会将物体区域141的个数变换为文字列(物体数本文)。地图/物体数本文维持装置305会根据物体数/本文变换装置304将被变换的物体数本文依序储存于缓冲区,并输出至声音合成装置226。
第二个群组是包括指令本文输入装置306、本文/指令变换装置307及控制指令维持装置308。首先是使用者指示的指令的辨识结果,前、后、右、左、上、下、近、远、更、再一点、等的文字列(指令本文)每次从声音辨识装置被输出时,指令本文输入装置306会输入该指令本文,并依序储存于缓冲区。本文/指令变换装置307若为可输入,则指令本文输入装置306会根据输入顺序输出每个指令本文。另外指令本文输入装置306也会将分配于控制按钮223上的控制码依序储存至缓冲区。本文/指令变换装置307若输入指令本文,则会将指令本文变换为对视觉装置2而言可以输入的控制指令。此时本文/指令变换装置307,会将指令本文变换为移动式摄影机10的方向,亦即将以显示器222的中心、及移动式摄影机10的倍率为基准的位置变换为当作原点的座标,算出从移动式摄影机10的现在位置的相对性的移动量。由此使用者可以边看显示器222,边简单地控制移动式摄影机10。控制指令维持装置308会利用本文/指令变换装置307将被变换的控制指令依序储存于缓冲区,并输出至视觉装置2。
第三个群组包括数字影像接收装置309、本文插入装置310及录影机信号输出装置311。首先数字影像接收装置309会输入通讯装置7传送的数字影像111,并输出至本文插入装置310。本文插入装置310是从地图/本文变换装置302输入地图本文、或是从物体数/本文变换装置304输入物体数本文、或是从指令本文输入装置306输入指令本文,无论是何者,都会用实现叠印功能的软件将地图本文、物体数本文及指令本文插入数字影像111。本文插入装置310不管有无地图本文、物体数本文及指令本文,都会将数字影像111输出至录影机信号输出装置311。录影机信号输出装置311若从本文插入装置310输入数字影像111,则会变换为NTSC、PAL、HDTV、VGA、MPEG格式等的录影机信号,并输出至显示器222。
以上,虽说明了本实施形态,但本发明并非被限定于上述的实施形态,只要是业者都可以实施各种形态,在不脱离本发明的技术司巷的范围内,当然可以适当地变更本发明的机构,像这样的变更,也属于本发明的技术范围。
产业上的使用可能性
根据权利要求1及权利要求3的发明,因人工眼球1可以将移动式摄影机10拍摄的物体种类传送至使用者终端机4,故使用者可以通过使用者终端机4知道人工眼球1的周围有特定的种类物体存在。因此可以将数个人工眼球1配置在车辆、船只、住家、建筑物及太空站等的周围及内部,并将1个或数个使用者终端机4设置在特定的房子;或放在使用者身上,使用者可以发现接近人工眼球1的物体,或监视徘徊在人工眼球1附近的人物。尤其是利用作为使用者终端机4的行动电话211及携带型资讯终端机,使用者即使在外出地及寝室,都可以掌握车辆、船只、住家、建筑物及太空站等的状况。例如,在车辆周围装设人工眼球1,驾驶人可以知道位于死角上的物体的存在,同时还可掌握数个物体的位置。还有为了拍摄车辆内部而装设的人工眼球1,使用者可以防止因将婴儿放置于车上而致死的事故发生。另外停在夜间停车场的车辆,就算有可疑人物接近,人工眼球1也可以将可疑人物的影像传送至使用者终端机4,所以使用者无论身处何处都可以很快地采取对策,还可以利用被储存的影像,当做日后车辆受害的证据。另外,若将使用者终端机4的一部分当作监视终端机5使用,因为操作监视终端机5的监视人员会时常监视人工眼球1的周围,使用者终端机4的使用者会因为监视人工眼球1的周围很烦人所以开放的。另一方面,因为人工眼球1会通知监视终端机5周围有物体接近,所以1个监视人员可以管理多个人工眼球1。因此保全公司及企业的保全部门就可以用很少的监视人员监视多个场所。
根据权利要求2及权利要求3的发明,因为人工眼球1可以将移动式摄影机10所拍摄的物体种类传送至资料库6,使用者可以通过使用者终端机4知道特定种类的物体会存在于何时何地。因此将数个人工眼球1配置在道路、商店街、店及车站等的周围及内部,使用者可以调查人物及车辆的通行量,还可以从统计资料预测人物及车辆的通行量。也就是店的经营者,利用从资料库6调查店前的通行量及顾客的来店者数,可以调整商品的生产及库存。尤其是将统计资料与天气预报结合,此效果会很显著。另外汽车驾驶者,可以从资料库6调查道路的塞车状况,以便建立躲避塞车路段的开车计划。另外,若把使用者终端机4的一部份当作监视终端机5使用,因为操作监视终端机5的监视人员会时常监视人工眼球1的周围,使用者终端机4的使用者会因为监视人工眼球1的周围很烦人所以开放的。而监视员因会堆叠解析资料库6的统计资料的技能,所以对使用者而言并不需要解析统计资料的特别知识。因此合约连锁店等的组织,可以迅速且很有效率地拓展店。
根据权利要求4的发明,视觉装置2会由控制移动式摄影机10,移动式摄影机10会用高解像度拍摄物体、而且视觉装置2会辨别物体的种类、及特定物体的位置。因此装设本发明,特制机器人可以朝搜寻的人物移动。另外此特制机器人若安装辨别人物长相的装置及程序,则该特制机器人就可以很容易地判断该人物是否为主人。
根据权利要求5的发明,因为视觉装置2会由控制移动式摄影机10,移动式摄影机10会自动追踪物体,所以在远处的使用者及计数机不需要时常控制移动式摄影机10。而且物体若为人类,那个人也不需要常常去检查自己有没有在镜头上。因此在远处的使用者及计数机可以有闲暇时间去做别的工作,所以使用者及计数机可以很有效率地工作的外,通讯装置7也不需要时常传送控制指令。例如,电视记者在事件事故现场架设本发明,可以一个人拍摄报告及采访后,直接传送至电视台。也就是个人在网际网路上传送动态影像时,本发明即成为有用的摄影器材。而视觉装置2,会判断在移动式摄影机10拍摄的动态影像中物体是否放映著,因为通讯装置7仅会传送物体放映的数字影像111及遮罩影像148,所以就算是通讯速度慢的通讯装置7也可以有效率地传送物体放映的动态影像。因此本发明,可以有效地利用行动电话211等通讯回路容量有限的媒体。特别是因为视觉装置2很容易抽出当作物体区域151的脸型,所以将行动电话211连接在远处的电脑系统上,使用者可以把本发明当作个人认证机器使用。当然背景上设定适当的影像,本发明除了保护使用者个人的秘密外,使用者也可以利用本发明用来拍摄表情大头贴。再者因为视觉装置2只在辨识物体时,通讯装置7才会传送数字影像111及遮罩影像148,所以在办公室、住屋、工厂、道路、汽车等装设本发明,使用者及保全公司就算以便宜的监视装置也可以利用本发明。
根据权利要求6的发明,比较使用固定于眼镜上的CCD(电荷结合晶片)摄影机的情况,移动式摄影机10做摇摄、俯仰、翻滚及变焦,人工眼球1就算使用相同的集积度的CCD也可以实现宽广视野及高度视力。而且因为视觉装置2会自动地搜寻物体,所以可以事先发现行人324、脚踏车及汽车321等,接近使用者的物体,使用者就可以安全地行走。虽然使用者会辨识物体,但是因为有用的资讯是由视觉装置2提供给使用者,所以本发明与单纯使用CCD摄影机的情况比较起来,可以减轻使用者的负担,本发明还可以提供使用者舒适的生活。另外使用电极排列端子214,若可以从使用者的脑中取出控制直接让眼球转动的神经的电器刺激,视觉装置2可以使用该电器刺激控制移动式摄影机10。再者移动式摄影机10在控制摇摄、俯仰、翻滚及变焦的机构上使用多自由度马达时,因为多自由度马达是很接近实际眼球形状的球形,所以很容易将人工眼球1埋进眼窝。特别是多自由度马达是使用压电晶片的超音波马达及压电暂存器时,多自由度马达可以做到省空间、低重量及低消耗电力,使用者可以减轻来自混乱、不小心的事故或重量的不安感。使用者将人工眼球1埋入眼窝时,使用者可以戴上太阳眼镜让人工眼球1所面对的人不容易看到,对双方而言都会减轻心理上的负担。再者通过眼窝将电极排列端子214埋进视神经、外侧漆状体、后头叶、侧头叶及头顶叶中,医生也不需要在使用者的头盖骨上开洞,使用者也不需要担心在头盖骨外有管线跑出。因此本发明可以减轻使用者的负担。
根据权利要求7的发明,以视觉装置2进行的影像处理几乎的部分是被装设在移动式摄影机10的拍摄部分。亦即本发明虽然是省空间及低消耗电力,还是可以快速做到影像处理。本发明可以减轻使用者的负担,并容易做到人工眼球1的维护。
根据权利要求8的发明,位置/大小/倾斜度检知装置44以像素单位并列进行处理,可以从形成边缘资讯影像115、物体区域影像142及色彩资讯影像172检知物体的位置、大小及倾斜度。而且物体的形状就算事前不知道,位置/大小/倾斜度检知装置44也可以求出物体的倾斜度。位置/大小/倾斜度检知装置44从用录影机拍摄的动态影像的画面影像、或用数字相机拍摄,用扫描器读取的静止影像,也利用于辨识数个物体的前处理,可以快速有便宜地达到动态影像及静止影像的模式辨识算术等。位置/大小/倾斜度检知装置44也可以当作辨识构造的前处理使用。阵列运算单元100因不输出8个移动源重复资讯183,所以从位置/大小/倾斜度检知装置44输入重复资讯影像132及倾斜角度的系统,可以让通讯机构单纯。
根据权利要求9的发明,阵列运算单元100可以在短时间内将大量的资料转送至附近的阵列运算单元100。因此像移动源重复资讯影像184那样必须将多数的资料转送至附近时,本发明不会因通讯的瓶颈就降低性能,可以做到权利要求8的发明。另外要一起执行几个局部并列影像处理时,本发明也可以有效率地执行这些局部并列影像处理。再者各个控制器103因具备前输入资料电阻器61及结果资料电阻器62,故阵列运算单元100可以一起输出入数个资料。特别是本发明,使用数个影像,对执行局部并列影像处理那样的边缘资讯形成装置及区域正规化装置很有效。而在跨层的阵列运算单元100之间的通讯,会利用几个控制器103之前输入资料电阻器61及结果资料电阻器62,LSI设计者可以有效地活用三次元LSI的冲撞。
根据权利要求10的发明,阵列运算单元100可以在短时间内将大量的资料转送至附近的阵列运算单元100。因此像移动源重复资讯影像184那样必须转送多数的资料到附近时,本发明不会因通讯的瓶颈就降低性能,可以做到权利要求8的发明。另外要一起执行几个局部并列影像处理时,本发明也可以有效率地执行这些局部并列影像处理。本发明将控制器103安装在独立的层,而且控制器103因为会通过地址电解槽51及资料电解槽52,与处理器101及存储器102通讯,所以LSI设计者只要配合需要增加安装控制器103的层数,就可以提高阵列运算单元100之间的通讯性能。另外组合权利要求8及9的发明,LSI可以高密度地集积控制器103。
根据权利要求11的发明,视觉装置2在处理一定的像素数的动态影像时,视觉装置2,与使用阵列运算单元100时比较起来,只需要少数的虚拟阵列运算单元105。亦即以过去的LSI(大规模集成电路)技术可以安装的阵列运算单元100的数未满动态影像的像素数时,LSI的设计者利用虚拟阵列运算单元105,可以将视觉装置2安装于LSI上。还有像位置/大小/倾斜度检知装置44那样的阵列运算单元100必须与邻接的阵列运算单元100通讯多数的计数资料时,虚拟阵列运算单元105因为只要在存储器102内参照这些计数资料即可,所以LSI的设计者,会适当地决定分配于虚拟阵列运算单元105上的阵列运算单元100数,也可快速地让视觉装置2动作。而且阵列运算单元100因为在虚拟阵列运算单元105内可以共有程序及Lookup Table,所以资料处理装置110可以减少整体的存储器102的消耗量。
根据权利要求12、13及14的发明,CCD(电荷结合晶片)及CMOS(相辅形金属氧化膜半导体)影像感测器的制造厂商,该制造厂商可以直接使用保有的LSI、CCD及CMOS制造技术,以制造出高功能的影像感测器。因此制造厂商因为可以在短时间且用便宜价钱制造高功能的影像感测器,所以本发明的使用者,可以在住屋、便利商店、超级市场、办公室、工厂、一般道路、停车场、车站、公益机关、汽车、船只、及太空站上,利用监视装置、保安装置、搜寻装置、警戒装置、跟纵装置、计数装置、特制机器人、柜台机器人、作业机器人、及福祉机器人等各种用途中的高功能影像感测器。而本发明中,CCD及CMOS影像感测器的设计者,只将1个功能栏201排列于二维格子状上,可以拍摄适当的大小影像,并容易设计高功能影像感测器。因此这些设计者,可以在短期间内,且以便宜价格设计高功能影像感测器。
根据权利要求15及16的发明,就算时钟信号的周波数很高,传送延迟时间为了要算进时钟信号的周期的内的互锁式计数器416被分散配置在LSI整体上,可以让全部的互锁式计数器416的计数一致。特别是使用要作成时钟信号的同步式振荡电路410,因为就算时钟信号的周波数变高,时钟信号会LSI整体同步,所以可以让全部的互锁式计数器416同步。因此互锁式计数器416及同步式振荡电路410很容易从其他的数字回路被分离,所以LSI设计者,可以将互锁式计数器416及同步式振荡电路410、与除了互锁式计数器416及同步式振荡电路410以外的数字回路,独立并快速化。因此LSI设计者,很容易设计对应高周波数的时钟信号的LSI。本发明,在管线处理装置、DSP(Didital SignalProcessor)、鼓动阵列、资料流程机器、及并列影像处理装置等越大规模功能就越提升的并列系统整体上,因可以提供时钟信号同步的分周信号及计时插入信号,所以LSI设计者可以避免传送延迟时间的问题,也可以设计大规模并列系统。
根据权利要求17的发明,配置于LSI整体上的数字回路可以从LSI的任一场所同时接收被发送的信号。尤其是像系统LSI那样1个LSI上装设有数个功能群组的情况,时钟信号的周波数越高,要符合回复信号、插入信号及输出入信号的时间点而变更每个功能群组的设计就越难。不过使用本发明,可以不管每各功能群组的配置而只要考虑最大传送延迟时间就可以控制回复信号、插入信号及输出入信号的时间点,所以LSI设计者几乎不用变更这些功能群组的设计,就可以将这些功能群组装设于1个LSI中。再者像SIMD(Single Instruction Stream Multi Data Stream)型多重处理器那样的多数处理器101输入相同的指令时,不管从储存指令的存储器102到各处理器101的信号的传送延迟时间是否不同,全部的处理器101必须在同一时间点动作。不过使用本发明,因为不依时计周波数将指令同时提供到全部处理器101上,所以LSI设计者可以很容易地设计处理器101。
根据权利要求18及19的发明,与TTL(Transister-TransisterLogic)及ECL(发射体结合逻辑回路)那样的双向半导体、及CMOS(相辅形金属氧化膜半导体)等的半导体制造技术无关,只要追加简单的回路就可以让LSI(大规模集成电路)整体的数字回路同步。尤其是近年来因为数字回路的快速化使得时计周波数变高,维持LSI整体的同步性越来越困难。因此使用本发明,半导体厂商可以很容易地设计快速动作所需要的处理器101及测量机器。再者互锁装置中一部分的同步式振荡电路410会从像水晶振动子408那样安定的振荡电路输入同步信号,也可以将互锁装置整体的时计周波数去配合水晶振动子408的振动数。本发明,在管线处理装置、DSP(Digital Signal Processor)、鼓动阵列、资料流程机器、及并列影像处理装置等越大规模功能就越提升的并列系统整体上,因可以提供时钟信号同步的分周信号及计时插入信号,所以LSI设计者可以避免传送延迟时间的问题,也可以设计大规模并列系统。

Claims (5)

1.一种互锁装置,是由排列成正方格子状及六角形格子状的多个互锁式计数器所构成,其特征在于:
前述互锁式计数器,具备同步式计数器、结束值判定用非门、互锁用锁定电路、互锁用或非门、及计数用或非门;
其中互锁式计数器中的同步式计数器、结束值判定用非门及计数用或非门为环状连接,该计数用非门的一输入端串接互锁用锁定电路,该互锁用锁定电路串接互锁用或非门;
由前述结束值判定用非门所输出的互锁信号让邻接的前述互锁式计数器停止,以掌握全部前述互锁式计数器的计数。
2.如权利要求1所述的互锁装置,其特征在于,其中前述互锁式计数器,具备用以判定前述计数的结束值的结束值判定用非门;前述同步式计数器,具有同步清除装置与同步载入装置。
3.如权利要求1或2所述的互锁装置,其特征在于,其中至少1个前述互锁式计数器,连接信号分配用解码器、信号分配用锁定电路、信号分配用或非门、及信号分配用触发电路,并使互锁装置的输入信号成为时钟信号周期的正数倍;
其中互锁式计数器连接分配用解码器,该分配用解码器的输出连接信号分配用触发电路;所述的信号分配用锁定电路的输出连接一信号分配用或非门,该信号分配用或非门的输出连接信号分配用触发电路的输入。
4.一种互锁装置,是排列成正方格子状及六角格子状的多个同步式振荡电路所构成,其特征在于:
前述同步式振荡电路,具备2个振荡用或非门、2个振荡用电阻、2个振荡用电容、2个同步用锁定电路、2个同步用或非门、及起始化用或非门,并从前述振荡用电容所输出的同步信号使邻接的前述同步式振荡电路的时钟信号位相移动,以使全部的前述同步式振荡电路的前述时钟信号位相一致;
其中2个振荡用或非门的输出端分别与2个振荡用电阻连接,该2个振荡用电阻并联2个振荡用电容;2个同步用锁定电路分别与2个振荡用或非门的输入连接;2个同步用或非门分别与2个同步用锁定电路的输入连接;一起始化用或非门的两输入端分别与2个振荡用或非门的输出端连接。
5.一种互锁装置,其特征在于:
是在权利要求4的前述同步式振荡电路中具有2个输入电阻而构成,该2个输入电阻分别连接在2个振荡用或非门的输入端。
CNB2006100657273A 1999-11-30 2000-11-24 互锁装置 Expired - Fee Related CN100442819C (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP1999339360 1999-11-30
JP33936099A JP2001157196A (ja) 1999-11-30 1999-11-30 警戒装置及び警戒方法
JP1999369220 1999-12-27
JP200021315 2000-01-31
JP200064544 2000-03-09
JP200068155 2000-03-13
JP2000111675 2000-04-13
JP2000138125 2000-05-11
JP2000174616 2000-06-12
JP2000236461 2000-08-04
JP2000322422 2000-10-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB008147329A Division CN100355284C (zh) 1999-11-30 2000-11-24 视觉装置

Publications (2)

Publication Number Publication Date
CN1848909A CN1848909A (zh) 2006-10-18
CN100442819C true CN100442819C (zh) 2008-12-10

Family

ID=18326739

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100657273A Expired - Fee Related CN100442819C (zh) 1999-11-30 2000-11-24 互锁装置

Country Status (2)

Country Link
JP (1) JP2001157196A (zh)
CN (1) CN100442819C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926400B2 (ja) 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
JP6643027B2 (ja) * 2015-10-05 2020-02-12 株式会社コムテック 徘徊監視システム
JP7042167B2 (ja) * 2018-06-13 2022-03-25 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN111402874B (zh) * 2020-02-26 2023-07-07 中国民航大学 一种基于语音和视觉结合的飞机牵引车智能驾驶控制系统
WO2022181428A1 (ja) * 2021-02-24 2022-09-01 株式会社Space Power Technologies 送電装置、送電制御方法、送電制御プログラム、送電制御装置、および無線給電システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591829A (en) * 1982-08-26 1986-05-27 Canon Kabushiki Kaisha Run length code decoder
JPH0918870A (ja) * 1995-06-30 1997-01-17 Sony Corp タイミング検出回路及びその方法
CN1210423A (zh) * 1997-04-04 1999-03-10 哈里公司 具有同步置信计数器的数字信号系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591829A (en) * 1982-08-26 1986-05-27 Canon Kabushiki Kaisha Run length code decoder
JPH0918870A (ja) * 1995-06-30 1997-01-17 Sony Corp タイミング検出回路及びその方法
CN1210423A (zh) * 1997-04-04 1999-03-10 哈里公司 具有同步置信计数器的数字信号系统

Also Published As

Publication number Publication date
CN1848909A (zh) 2006-10-18
JP2001157196A (ja) 2001-06-08

Similar Documents

Publication Publication Date Title
Piasco et al. A survey on visual-based localization: On the benefit of heterogeneous data
US7664220B2 (en) Visual device, interlocking counter, and image sensor
CN102216941B (zh) 用于内容处理的方法和系统
Snavely Scene reconstruction and visualization from internet photo collections: A survey
CN103402052B (zh) 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
KR100402361B1 (ko) 시각장치
GB2379823A (en) Selecting images based on the similarity between images
CN106529517A (zh) 图像处理方法和图像处理设备
CN111311010B (zh) 车辆风险预测方法、装置、电子设备及可读存储介质
CN106203277A (zh) 基于sift特征聚类的固定镜头实时监控视频特征提取方法
CN112132205B (zh) 一种基于卷积神经网络的遥感图像分类方法
CN108898171A (zh) 图像识别处理方法、系统及计算机可读存储介质
CN100442819C (zh) 互锁装置
CN110517270A (zh) 一种基于超像素深度网络的室内场景语义分割方法
CN100355284C (zh) 视觉装置
CN106971142A (zh) 一种图像处理方法及装置
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
Xing et al. A small object detection solution by using super-resolution recovery
CN110378059A (zh) 一种村落改造规划系统
Agoes et al. Fine tuning based squeezenet for vehicle classification
CN106899829B (zh) 一种视频处理方法及装置
CN116612427A (zh) 一种基于改进的轻量型YOLOv7的密集行人检测系统
CN116665091A (zh) 一种智慧交通场景下的实时多摄像头视频分析方法
Tuytelaars et al. The cascaded Hough transform as support for grouping and finding vanishing points and lines
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20111124