CN112788260B - 结合图像传感器的智能辨识单芯片系统 - Google Patents
结合图像传感器的智能辨识单芯片系统 Download PDFInfo
- Publication number
- CN112788260B CN112788260B CN201911095011.1A CN201911095011A CN112788260B CN 112788260 B CN112788260 B CN 112788260B CN 201911095011 A CN201911095011 A CN 201911095011A CN 112788260 B CN112788260 B CN 112788260B
- Authority
- CN
- China
- Prior art keywords
- image
- image sensor
- black
- microprocessor
- dynamic detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000011065 in-situ storage Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002618 waking effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims 1
- 238000006467 substitution reaction Methods 0.000 claims 1
- 230000006855 networking Effects 0.000 abstract description 3
- 230000003068 static effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明为一种结合图像传感器的智能辨识单芯片系统，主要结合低功耗的黑白图像传感器、图像预处理器、动态检测器、缩放阵列、图像撷取器、与微处理器等，形成单芯片系统结构，藉由微处理器控制图像传感器获取图像，经预处理、缩放，同时配合动态检测器和图像撷取器，获得可以用于图像辨识的特征向量，提供快速图像辨识功能，而无需动态或静态随机存取内存，及云端连网，增进实用进步性。
Description
技术领域
本发明为一种结合图像传感器的智能辨识单芯片系统，主要结合低功耗的黑白图像传感器、图像预处理器、动态检测器、缩放阵列、图像撷取器、与微处理器等，形成单芯片系统结构，可比对预设非挥发性内存数据库，提供快速图像辨识功能，而无需动态或静态随机存取内存，及云端连网。。
背景技术
人工智能技术已发展多年，其方向大部分在于追求更准确、更快的计算能力，并均与云端技术相结合，但是至今尚无法落实于大量应用，其原因主要是云端技术存在大数据规模的限制，以供特定产业的行为模式研究，或作为大量语音助理所使用。由于所需数据数据太过庞大，运用时无法及时反馈，对于必须立即采取行动的措施缓不济急，在少数高端产业或人工智能汽车专用智能芯片的应用，其规格为达到安全和精确度的要求，所费不费，在开发成果中，所能体现的成本及效益相对较高，有其必要性；然而对于非专门产业，因其只需简单应用或决策而言，如使用上网型的人工智能芯片，因过多的无用数据上传，占据过多带宽，产生了许多不必要的动作和浪费，是无法享受到智能效益的发挥。
发明内容
图像传感器、图像预处理器、动态检测器、缩放阵列、图像撷取器、与微处理器等，形成单芯片系统结构，无需云端连接，即提供快速图像辨识功能。
本发明的特点在于将黑白图像传感器及图像处理辨识电路组合在单芯片系统内，以降低制造成本。图像的辨识过程是从图像传感器开始，本发明的辨识只使用于黑白(灰阶)的存取，而后将该取得图像输出至图像预处理器，进行清理和扩展，然后再传送到动态检测器，进步行动态侦测、暂存记忆和目标定位，将图像网格化，并与先前的图像比对，如果与先前图像的差异超过可编程门坎时，可认定动作存在于一特定网格中。动态检测器在网格或矩形坐标中特定动态，此动态坐标可应用于现地曝光控制，从图像传感器到动态检测器的现地对比/亮度的反馈回路，可受微处理器读取控制进行编程，或利用图像传感器的自动曝光功能，这有利于优化传感器对动态对象的曝光效果。
前述的预处理器同时将图像传送到图像缩放阵列，这些是独立的编程，将不同的感兴趣区域(A0I)缩小到较小的尺寸，这小尺寸图像再送到H0G特征撷取器以撷取图像，以获得可以用于图像辨识的特征向量。
本发明的图像辨识方式是由微处理器使用各种现存的技术，例如针对数据库的KNN或SVM的执行，当系统关闭时，该数据库为储存于外部的非挥发性内存内。
本发明不仅可以针对预先设定的图像进行辨识，用户亦可以经由H0G中的特征向量，将其储存到非挥发内存中，加以设定，以获得更广泛的运用领域，例如行人检测、面部识别、追踪、只能玩具、和智能室内/外电子设备的应用等。
附图说明
图1为本发明的组合结构示意图；
图2为本发明图像处理和特征撷取的流程图；
图3为本发明现地曝光控制状态图；
图4为本发明对各种缩放阵列于A0I的示意图。
附图标记说明：1-黑白图像传感器；2-图像预处理器；3-动态检测器31-动态侦测；4-缩放阵列；5-特征撷取器；6-微处理器；61-图像分类器；7-暂存记忆；8-目标定位；9-现地对比/亮度。
具体实施方式
请先参阅图1，本发明为一种结合图像传感器的智能辨识单芯片系统，主要包括有一黑白图像传感器1、一图像预处理器2、一动态检测器3、一缩放阵列4、一H0G特征撷取器5和一微处理器6，组合为一单芯片智能辨识系统，微处理器6与黑白图像传感器1、图像预处理器2、H0G特征撷取器5以及动态检测器3连接，图像预处理器2进一步与黑白图像传感器1、动态检测器3以及缩放阵列4连接，缩放阵列4进一步与动态检测器3以及H0G特征撷取器5连接。请再配合图2，该图像传感器1只使用对于黑白(灰阶)的存取，再将该取得图像输出至图像预处理器2，进行清理和扩展后，同时将图像馈入动态检测器3和图像缩放阵列4，该动态检测器3以动态侦测31、暂存记忆7和目标定位8的运算方式，将图像网格化，并与先前的图像比对，如果与先前图像的差异超过可编程门坎时，可认定该动作存在于一特定网格中并在网格或矩形坐标中特定动作，此特定动作可应用于现地曝光控制，其使用黑白图像传感器1到动态检测器3的现地对比/亮度9的反馈回路，此反馈回路受微处理器6读取控制进行编程，或利用黑白图像传感器1的自动曝光功能，以优化传感器对动作对象的曝光，即可从该动态检测器3获取物体动作中的位置和对比/亮度，进行使黑白图像传感器1优化对象物体的曝光作用，以取得清晰的图像，如图3。
前述的图像同时传送到图像缩放阵列4，这些是独立的编程，将不同的感兴趣区域(AOI)缩小到较小的尺寸，这小尺寸图像再送到H0G特征撷取器5撷取图像，以获得可以用于图像辨识的特征向量，如图4，该特征向量是指基于图像某些区别特征的一串数字。进一步说，该相同的图像进入缩放阵列4，被编程分割和缩放于图像的各个区域中，例如，HOG特征撷取器5可处理8X8素像区块，微处理器6可对H0G特征撷取器5进行编程，将来自缩放阵列4的图像划分为8X8的区块，特征撷取器5将会对于每一区块回传一小串数字序列组。微处理器6再从撷取结果中提取这些小串数字序列组，组织成一个向量馈送到与微处理器6连接的图像分类器61，该图像分类器61输出的图像类别，就是图像辨识过程的最终结果，可提供与非挥发内存的数据库相比对，作为判读辨识的使用。
因此，本发明设计的单芯片系统，可藉由内部微处理器6的监控，将获取的分类及辨识结果，直接用来执行特定于某些应用程序的任务，如指定一回馈动作，或是播放声音文件，更具体而言，例如点亮一个或数个LED、播放预录的声音文件、转动马达、回报坐标信息装置唤醒LED或切换GPI0，因此，进而可轻易应用组合在一般的填充玩具，或室内/外电子设备的开关控制，形成无需连网即可迅速图像辨识的智能应用，具有极佳的进步性和经济价值。
综上，本发明以单一芯片结合图像传感器及独有的辨识技术，具有以下的功效：
(1)整合多组不同元件为单一芯片，节省系统整合工程，并降低风险，为全球第颗结合影像传感器的人工智能芯片。
(2)可有效依据效能需求，将特定计算功能设计于内部硬件，优化反应效率，有别于传统人工智能应用时必须以大量数据输入及软件计算，费时费力。
(3)具有智能特征撷取算法，在实际运作时，仅需配合少量内存容量，且可根据不同需求，配合可程序化软件，进行各种不同辨识目标数据库的替换。而在使用过程中没有图像被存取保留，故可避免被逆转图像还原的风险，获得隐私权的保障。
Claims (6)
1.一种结合图像传感器的智能辨识单芯片系统，包括有一黑白图像传感器、一图像预处理器、一动态检测器、一缩放阵列、一特征撷取器和一微处理器，其特征在于：
该微处理器与该黑白图像传感器、该图像预处理器、该特征撷取器以及该动态检测器连接，该图像预处理器进一步与该黑白图像传感器、该动态检测器以及该缩放阵列连接，该缩放阵列进一步与该动态检测器以及该特征撷取器连接，
该黑白图像传感器，用以侦测获取图像，并将图像传送到图像预处理器；
该图像预处理器，将接收的图像进行清理和扩展后，同时将图像馈入动态检测器和缩放阵列；
该动态检测器，经动态侦测、暂存记忆和目标定位运算过程，将图像网格化，并与先前的图像比对，如果与先前图像的差异超过可编程门坎时，则认定动作存在于一特定网格中；
该缩放阵列将不同的感兴趣区域缩小到较小的尺寸，将小尺寸图像再送到特征撷取器；
该特征撷取器以所撷取图像，获得用于图像辨识的特征向量，其为基于图像某些区别特征的一小串数字序列组；
该微处理器，从撷取结果中的小串数字序列组，组织成一个向量，馈送到其图像分类器，该图像分类器输出的图像类别即为图像辨识过程的最终结果，供与非挥发性内存的数据库比对辨识。
2.如权利要求1所述的结合图像传感器的智能辨识单芯片系统，其特征在于，该黑白图像传感器只使用于灰阶的存取。
3.如权利要求1所述的结合图像传感器的智能辨识单芯片系统，其特征在于，该动态检测器在网格中的特定动作应用于现地曝光控制，从黑白图像传感器到动态检测器的现地对比/亮度的反馈回路，该反馈回路受微处理器读取控制进行编程，或利用黑白图像传感器自动曝光功能，以优化图像传感器对动作对象的曝光。
4.如权利要求1所述的结合图像传感器的智能辨识单芯片系统，其特征在于，藉由微处理器的监控，将获取的图像分类结果加以辨识，直接用来执行特定应用程序任务，特定应用程序任务为指定回馈动作或是播放声音文件。
5.如权利要求4所述的结合图像传感器的智能辨识单芯片系统，其特征在于，特定应用程序任务的具体指令包含点亮一个或数个LED、播放预录声音文件、转动马达、回报坐标信息、装置唤醒LED或切换GPIO。
6.如权利要求1所述的结合图像传感器的智能辨识单芯片系统，其特征在于，该非挥发性内存进行各种不同辨识目标数据库的替换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911095011.1A CN112788260B (zh) | 2019-11-11 | 2019-11-11 | 结合图像传感器的智能辨识单芯片系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911095011.1A CN112788260B (zh) | 2019-11-11 | 2019-11-11 | 结合图像传感器的智能辨识单芯片系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112788260A CN112788260A (zh) | 2021-05-11 |
| CN112788260B true CN112788260B (zh) | 2024-06-04 |
Family
ID=75749680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911095011.1A Active CN112788260B (zh) | 2019-11-11 | 2019-11-11 | 结合图像传感器的智能辨识单芯片系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112788260B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014107300A (ja) * | 2012-11-22 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮像装置、及び、撮像システム |
| CN106778449A (zh) * | 2015-11-23 | 2017-05-31 | 创意点子数位股份有限公司 | 动态影像的物件辨识方法及自动截取目标图像的互动式影片建立方法 |
| KR20180037557A (ko) * | 2016-10-04 | 2018-04-12 | 삼성전기주식회사 | 홍채인식 겸용 카메라 모듈 및 이를 포함하는 휴대용 전자기기 |
| CN108537154A (zh) * | 2018-03-28 | 2018-09-14 | 天津大学 | 基于hog特征和机器学习的输电线路鸟巢识别方法 |
| CN109600578A (zh) * | 2017-09-29 | 2019-04-09 | 株式会社理光 | 图像处理装置、图像处理系统、图像处理方法 |
| CN109858310A (zh) * | 2017-11-30 | 2019-06-07 | 比亚迪股份有限公司 | 车辆和交通标志检测方法 |
| CN210781070U (zh) * | 2019-11-11 | 2020-06-16 | 吴日正 | 结合图像传感器的智能辨识单芯片 |
-
2019
- 2019-11-11 CN CN201911095011.1A patent/CN112788260B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014107300A (ja) * | 2012-11-22 | 2014-06-09 | Nippon Hoso Kyokai <Nhk> | 撮像装置、及び、撮像システム |
| CN106778449A (zh) * | 2015-11-23 | 2017-05-31 | 创意点子数位股份有限公司 | 动态影像的物件辨识方法及自动截取目标图像的互动式影片建立方法 |
| KR20180037557A (ko) * | 2016-10-04 | 2018-04-12 | 삼성전기주식회사 | 홍채인식 겸용 카메라 모듈 및 이를 포함하는 휴대용 전자기기 |
| CN109600578A (zh) * | 2017-09-29 | 2019-04-09 | 株式会社理光 | 图像处理装置、图像处理系统、图像处理方法 |
| CN109858310A (zh) * | 2017-11-30 | 2019-06-07 | 比亚迪股份有限公司 | 车辆和交通标志检测方法 |
| CN108537154A (zh) * | 2018-03-28 | 2018-09-14 | 天津大学 | 基于hog特征和机器学习的输电线路鸟巢识别方法 |
| CN210781070U (zh) * | 2019-11-11 | 2020-06-16 | 吴日正 | 结合图像传感器的智能辨识单芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112788260A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Asano et al. | A critical analysis of self-supervision, or what we can learn from a single image | |
| Marée et al. | Random subwindows for robust image classification | |
| Murtaza et al. | Multi‐view human action recognition using 2D motion templates based on MHIs and their HOG description | |
| WO2018102918A1 (en) | System and method for cnn layer sharing | |
| CN111476709A (zh) | 人脸图像处理方法、装置及电子设备 | |
| CN104598897A (zh) | 视觉传感器、图像处理方法和装置、视觉交互设备 | |
| JP2009510542A (ja) | カメラによって取得されたシーンのテスト画像内の人物を検出する方法及びシステム | |
| Zhang et al. | Fast face detection on mobile devices by leveraging global and local facial characteristics | |
| CN110298296B (zh) | 应用于边缘计算设备的人脸识别方法 | |
| CN112861695A (zh) | 行人身份再识别方法、装置、电子设备及存储介质 | |
| CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
| Lage et al. | Low-cost IoT surveillance system using hardware-acceleration and convolutional neural networks | |
| CN110633733B (zh) | 图像智能匹配方法、装置及计算机可读存储介质 | |
| Rao et al. | RTOS based image recognition & location finder using GPS, GSM and OpenCV | |
| CN112788260B (zh) | 结合图像传感器的智能辨识单芯片系统 | |
| CN102792675A (zh) | 用于根据条件自适应地执行图像匹配的方法、系统和计算机可读记录介质 | |
| CN210781070U (zh) | 结合图像传感器的智能辨识单芯片 | |
| CN115147894A (zh) | 图像处理方法、装置、电子设备及介质 | |
| Kaur et al. | Face detection using haar cascades classifier | |
| TWM589864U (zh) | 結合圖像傳感器之智能辨識單晶片系統 | |
| Tomita et al. | Visual place recognition with low-resolution images | |
| TW202119350A (zh) | 結合圖像傳感器之智能辨識單晶片系統 | |
| Erhan et al. | Patterns of approximated localised moments for visual loop closure detection | |
| Lee et al. | Object Recognition and Tracking based on Object Feature Extracting. | |
| CN112487994A (zh) | 一种烟火检测方法及系统、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231220 Address after: B-66, No. 69 Shuangfeng Road, Pukou Economic Development Zone, Pukou District, Nanjing City, Jiangsu Province Applicant after: Nuoli Technology (Nanjing) Co.,Ltd. Address before: 3120 Scott Avenue, Santa Clara, CA 95054 Applicant before: Newland best technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |