CN112149686A - 以非还原校正方式及人工智能处理撷取影像的方法、装置及系统 - Google Patents
以非还原校正方式及人工智能处理撷取影像的方法、装置及系统 Download PDFInfo
- Publication number
- CN112149686A CN112149686A CN201911077027.XA CN201911077027A CN112149686A CN 112149686 A CN112149686 A CN 112149686A CN 201911077027 A CN201911077027 A CN 201911077027A CN 112149686 A CN112149686 A CN 112149686A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution kernel
- processed
- remolded
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012937 correction Methods 0.000 title claims abstract description 81
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000004148 unit process Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000002829 reductive effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种以非还原校正方式及人工智能处理撷取影像的方法、装置及系统，此方法包括以下步骤：a)撷取初始影像；b)以非还原校正方式及人工智能处理该初始影像；以及c)特征抽取已处理的影像。本发明能不漏失较小目标，且应用于资源较少的装置或组件。
Description
技术领域
本发明是关于影像辨识的领域，更特定而言是关于以非还原校正方式及人工智能处理撷取影像的方法、装置及系统。
背景技术
在先前技术的人工智能影像辨识的实行中，由于先前技术仅以单一画素大小的特征图进行卷积及/或特征抽取，故在处理大小目标时往住会漏失小目标的特征或信号。另外由于先前技术仅以单一种卷积核处理影像，故往往会消耗大量运算资源，从而只能使用高阶处理器处理而不能使用例如GPU等低阶芯片，其导致成本大幅上升。
有鉴于此，本发明提出一种以非还原校正方式及人工智能处理撷取影像的方法、装置及系统，以解决先前技术的人工智能影像辨识的实行中种种缺失。
发明内容
本发明提供一种以非还原校正方式及人工智能处理撷取影像的方法，其包括以下步骤：a)撷取初始影像；b)以非还原校正方式及人工智能处理该初始影像；以及c)特征抽取已处理的影像。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，该初始影像以鱼眼镜头撷取。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，步骤b)至少分为以下步骤：b1)基于该初始影像而产生第一数组重塑影像及第二数组重塑影像；b2)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及b3)串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，更包括在串接该浅层特征图及该深层特征图为串接图之后对该串接图进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，该初始影像具有(第一初始画素数目、第二初始画素数目、初始通道数目)，该第一数组重塑影像具有(第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目)，该第二数组重塑影像具有(第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目)，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，步骤b)至少分为以下步骤：b1)以调整的卷积核处理该初始影像；以及b2)以超列方式处理由调整的卷积核已处理的初始影像。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，更包括在以超列方式处理由调整的卷积核已处理的初始影像之后对以该超列方式处理的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，以调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以超列方式处理由调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在以超列方式处理由调整的卷积核已处理的初始影像之后更包括步骤b3)串接该超列处理影像与该第三卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，更包括在串接该超列处理影像与该第三卷积核处理影像之后对串接的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，步骤b)至少分为以下步骤：b1)以调整的卷积核处理该初始影像；b2)以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及b5)串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，其中，特征抽取已处理的影像以得到目标，且在步骤c)之后更包括步骤d)追踪该目标。
本发明的以非还原校正方式及人工智能处理撷取影像的方法，在步骤a)及步骤b)之间更包括卷积该初始影像，且步骤b)以非还原校正方式及人工智能处理已卷积的初始影像。
本发明另提供一种以非还原校正方式及人工智能处理撷取影像的装置，其包括影像撷取单元及处理单元，该影像撷取单元撷取初始影像，且该处理单元连接该影像撷取单元且以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该初始影像以该影像撷取单元具有的鱼眼镜头撷取。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元基于该初始影像而产生第一数组重塑影像及第二数组重塑影像，之后将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图，再者串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元对该串接图进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该初始影像具有(第一初始画素数目、第二初始画素数目、初始通道数目)，该第一数组重塑影像具有(第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目)，该第二数组重塑影像具有(第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目)，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元对串接的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元至少依以下步骤以非还原校正方式及人工智能处理撷取影像，步骤b1)以调整的卷积核处理该初始影像；步骤b2)以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；步骤b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；步骤b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及步骤b5)串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元以调整的卷积核处理该初始影像，之后以超列方式处理由调整的卷积核已处理的初始影像。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元对以该超列方式处理的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，以调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以超列方式处理由调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在产生超列处理影像之后该处理单元串接该超列处理影像与该第三卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元特征抽取已处理的影像以得到目标，且在特征抽取已处理的影像之后追踪该目标。
本发明的以非还原校正方式及人工智能处理撷取影像的装置，其中，该处理单元在撷取该初始影像与以非还原校正方式及人工智能处理该初始影像之间对该初始影像进行卷积，且以非还原校正方式及人工智能处理已卷积的初始影像。
本发明又提供一种以非还原校正方式及人工智能处理撷取影像的系统，其包括影像捕获设备及处理装置，该影像捕获设备包含影像撷取单元及连接该影像撷取单元的第一传输单元，该影像撷取单元撷取初始影像，且该处理装置包含处理单元及连接该处理单元的第二传输单元，该第一传输单元接收该初始影像并传输予该第二传输单元，且该第二传输单元传输予该处理单元，而该处理单元以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该初始影像以该影像撷取单元具有的鱼眼镜头撷取。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元基于该初始影像而产生第一数组重塑影像及第二数组重塑影像，之后将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图，再者串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元对该串接图进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该初始影像具有(第一初始画素数目、第二初始画素数目、初始通道数目)，该第一数组重塑影像具有(第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目)，该第二数组重塑影像具有(第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目)，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元以调整的卷积核处理该初始影像，之后以超列方式处理由调整的卷积核已处理的初始影像。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元对以该超列方式处理的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，以调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以超列方式处理由调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在产生超列处理影像之后该处理单元串接该超列处理影像与该第三卷积核处理影像。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元对串接的影像进行卷积。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，该处理单元至少依以下步骤以非还原校正方式及人工智能处理撷取影像，步骤b1)以调整的卷积核处理该初始影像；步骤b2)以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；步骤b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；步骤b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及步骤b5)串接该浅层特征图及该深层特征图为串接图。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元特征抽取已处理的影像以得到目标，且在特征抽取已处理的影像之后追踪该目标。
本发明的以非还原校正方式及人工智能处理撷取影像的系统，其中，该处理单元在撷取该初始影像与以非还原校正方式及人工智能处理该初始影像之间卷积该初始影像，且以非还原校正方式及人工智能处理已卷积的初始影像。
相较于公知技术，本发明能在进行单至多重卷积时不漏失较小目标，且解决以单一卷积核处理所导致耗用资源过大的问题，从而可应用于资源较少的装置或组件。
附图说明
图1为本发明的以非还原校正方式及人工智能处理撷取影像的方法的流程图；
图2为本发明进行非还原校正方式及人工智能处理该初始影像的第一种方式的流程图；
图3为本发明进行非还原校正方式及人工智能处理该初始影像的第二种方式的流程图；
图4为以调整的卷积核处理该初始影像的示意图；
图5为本发明进行非还原校正方式及人工智能处理该初始影像的第三种方式的流程图；
图6为本发明进行非还原校正方式及人工智能处理该初始影像的第四种方式的流程图；
图7为本发明的以非还原校正方式及人工智能处理撷取影像的装置的方块图；
图8为本发明的以非还原校正方式及人工智能处理撷取影像的系统的方块图。
符号说明：
20 影像捕获设备
201 影像撷取单元
2011 鱼眼镜头
202 第一传输单元
21 处理装置
211 处理单元
212 第二传输单元
1000 初始影像
1001 第一卷积核处理影像
1002 第二卷积核处理影像
1003 第三卷积核处理影像
S10、S11、S12、S1111、S1112、S1113、S1121、S1122、S1131、S1132、S1133、S1141、S1142、S1143、S1144、S1145 步骤
具体实施方式
为充分了解本发明的目的、特征及功效，兹通过下述具体的实施例，并配合所附的图式，对本发明做一详细说明，说明如后：
请参考图1，本发明以非还原校正方式及人工智能处理撷取影像的方法的流程图，其步骤包括步骤S10至步骤S12。在步骤S10中，可撷取初始影像，特定而言，可以鱼眼镜头撷取初始影像。在步骤S11中，可以非还原校正方式及人工智能处理该初始影像，又或者可指代为以非扭曲校正方式及人工智能处理该初始影像也就是本发明可不对鱼眼镜头所撷取初始影像的周边扭曲部分进行影像还原(扭曲/反扭曲)校正而可进行对象辨识。
本发明进行非还原校正方式及人工智能处理该初始影像的方式可有以下数种。第一种方式，请参考图2，其步骤包括步骤S1111至步骤S1113。在步骤S1111中，可基于该初始影像而产生第一数组重塑影像及第二数组重塑影像。特定而言，若该初始影像具有(第一初始画素数目、第二初始画素数目、初始通道数目)，举例而言为104X104X32，则该初始影像经数组重塑(reshape)的该第一数组重塑影像具有(第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目)，举例而言为52X52X128，且该第二数组重塑影像具有(第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目)，举例而言为52X52X128。其中，该第一数组重塑影像画素数目及该第三数组重塑影像画素数目可小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目可小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目可大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积可等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
在步骤S1112中，可将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图。该浅层特征图可以较大张的特征图，例如3画素X3画素，在之后步骤进行单至多重卷积时不漏失较小目标，而该深层特征图可以较小张的特征图，例如1画素X1画素。
在步骤S1113中，可串接(concate)该浅层特征图及该深层特征图为串接图。另外，第一种方式可在步骤S1113之后对该串接图进行卷积。
第二种方式，请参考图3，其步骤包括步骤S1121至步骤S1122。在步骤S1121中，可以调整的卷积核(kernel size)处理该初始影像。特定而言，如图4所示，以调整的卷积核处理该初始影像1000可依序以第一卷积核处理初始影像1000以产生第一卷积核处理影像1001，接着以第二卷积核处理第一卷积核处理影像1001以产生第二卷积核处理影像1002，再以该第一卷积核处理第二卷积核处理影像1002以产生第三卷积核处理影像1003。该第一卷积核小于该第二卷积核，举例而言，调整的卷积核处理顺序可为1X1，3X3及1X1，然而，可扩展调整的卷积核处理顺序，举例而言，调整的卷积核处理顺序可为1X1，3X3，1X1，3X3及1X1。如此，本发明可通过调整的卷积核处理顺序而解决先前技术以单一卷积核处理所导致耗用资源过大的问题，从而可应用于资源较少的装置或组件上，例如GPU等。
之后在步骤S1122中，可以超列方式处理由调整的卷积核已处理的初始影像。特定而言，以超列方式处理由调整的卷积核已处理的初始影像可为串接第三卷积核处理影像1003与第二卷积核处理影像1002。而在扩展调整的卷积核处理的范例中，可串接最终卷积核处理影像及其前一级卷积核处理影像。另外，第二种方式可在步骤S1122之后对以该超列方式处理的影像进行卷积。
第三种方式，请参考图5，其步骤包括步骤S1131至步骤S1133。在步骤S1131中，可以调整的卷积核处理该初始影像。在步骤S1132中，可参照步骤S1122而串接第三卷积核处理影像1003与第二卷积核处理影像1002而产生超列处理影像，接着，在步骤S1133中，可串接该超列处理影像与第三卷积核处理影像1003。另外，第三种方式可在步骤S1133之后对串接的影像进行卷积。
第四种方式，请参考图6，其步骤包括步骤S1141至步骤S1145。在步骤S1141中，可以调整的卷积核处理该初始影像。在步骤S1142中，可以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像。在步骤S1143中，可基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像。在步骤S1144中，可将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图。在步骤S1145中，可串接该浅层特征图及该深层特征图为串接图。另外，第四种方式可在步骤S1145之后对该串接图进行卷积。
再回到图1，在步骤S12中，可特征抽取已处理的影像，也就是对在第一至四种方式的最后步骤所产生的已处理的影像进行特征抽取。进一步而言，可特征抽取已处理的影像以得到目标，且在得到该目标之后追踪该目标。
另外，在步骤S10及步骤S11之间更包括卷积该初始影像，且步骤S11以非还原校正方式及人工智能处理已卷积的初始影像。
再者，若该初始影像的大小目标分别位于该初始影像的二部分，本发明可将该初始影像的二部分分开，且各自对此二部分以上述方法进行处理。另外，也可对此二部分进行标注以减少训练时间，并使辨识准确度提升。
本发明另提供如图7所示的一种以非还原校正方式及人工智能处理撷取影像的装置，其包括影像撷取单元201及处理单元211。
如上所述的影像撷取单元201可撷取初始影像，特定而言，该初始影像以影像撷取单元201具有的鱼眼镜头2011撷取。另外，如上所述的处理单元211可连接影像撷取单元201且以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。处理单元211可为芯片、电路及/或微处理器。
处理单元211可进行以下至少四种方式的各种方式而以非还原校正方式及人工智能处理该初始影像。
第一种方式，处理单元211可基于该初始影像而产生第一数组重塑影像及第二数组重塑影像，之后将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图，再者串接该浅层特征图及该深层特征图为串接图。另外，处理单元211可对该串接图进行卷积。
第二种方式，处理单元211可以调整的卷积核处理该初始影像，之后以超列方式处理由调整的卷积核已处理的初始影像。另外，处理单元211可对以该超列方式处理的影像进行卷积。特定而言，以调整的卷积核处理该初始影像可依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以超列方式处理由调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
第三种方式，依上所述，处理单元211可串接该第三卷积核处理影像与该第二卷积核处理影像而产生超列处理影像，且在产生超列处理影像之后处理单元211串接该超列处理影像与该第三卷积核处理影像。另外，处理单元211可对串接的影像进行卷积。
第四种方式，处理单元211可至少依以下步骤以非还原校正方式及人工智能处理撷取影像，步骤一：以调整的卷积核处理该初始影像；步骤二：以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；步骤三：基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；步骤四：将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及步骤五：串接该浅层特征图及该深层特征图为串接图。另外，处理单元211可对该串接图进行卷积。
再者，处理单元211可特征抽取已处理的影像以得到目标，且在特征抽取已处理的影像之后追踪该目标。又，处理单元211在撷取该初始影像与以非还原校正方式及人工智能处理该初始影像之间可对该初始影像进行卷积，且以非还原校正方式及人工智能处理已卷积的初始影像。以非还原校正方式及人工智能处理撷取影像的装置的其它内容已于上文叙述，不再赘述。
本发明又提供如图8所示的一种以非还原校正方式及人工智能处理撷取影像的系统，其包括影像捕获设备20及处理装置21。如上所述的影像捕获设备20包含影像撷取单元201及连接影像撷取单元201的第一传输单元202，影像撷取单元201可撷取初始影像。特定而言，该初始影像可以影像撷取单元201具有的鱼眼镜头2011撷取。
如上所述的处理装置21可包含处理单元211及连接处理单元211的第二传输单元212，第一传输单元202接收该初始影像并传输予第二传输单元212，且第二传输单元212传输予处理单元211，而处理单元211以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。第一传输单元202与第二传输单元212可有线或无线连接。以非还原校正方式及人工智能处理撷取影像的系统的其它内容已于上文叙述，不再赘述。
值得注意的是，上述的该连接可为电性连接、量子耦接(量子缠结)及/或光学连接等可传递信号或指令的连接方式。
综上所述，本发明通过将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图而在之后步骤进行单至多重卷积时不漏失较小目标，另外本发明通过调整的卷积核处理顺序而解决以单一卷积核处理所导致耗用资源过大的问题，从而可应用于资源较少的装置或组件。
本发明在上文中已以较佳实施例揭露，然熟习本项技术者应理解的是，该实施例仅用于描绘本发明，而不应解读为限制本发明的范围。应注意的是，举凡与该实施例等效的变化与置换，均应设为涵盖于本发明的范畴内。因此，本发明的保护范围当以申请专利范围所界定者为准。
Claims (42)
1.一种以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，包括以下步骤：
a)撷取初始影像；
b)以非还原校正方式及人工智能处理该初始影像；以及
c)特征抽取已处理的影像。
2.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，该初始影像以鱼眼镜头撷取。
3.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，步骤b)至少分为以下步骤：
b1)基于该初始影像而产生第一数组重塑影像及第二数组重塑影像；
b2)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及
b3)串接该浅层特征图及该深层特征图为串接图。
4.如权利要求3所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，更包括在步骤b3)之后对该串接图进行卷积。
5.如权利要求3所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，该初始影像具有第一初始画素数目、第二初始画素数目、初始通道数目，该第一数组重塑影像具有第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目，该第二数组重塑影像具有第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
6.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，步骤b)至少分为以下步骤：
b1)以调整的卷积核处理该初始影像；以及
b2)以超列方式处理由调整的卷积核已处理的初始影像。
7.如权利要求6所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，更包括在步骤b2)之后对以该超列方式处理的影像进行卷积。
8.如权利要求6所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，以该调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以该超列方式处理由该调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
9.如权利要求8所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在步骤b2)之后更包括步骤b3)串接该超列处理影像与该第三卷积核处理影像。
10.如权利要求9所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，更包括在步骤b3)之后对串接的影像进行卷积。
11.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，步骤b)至少分为以下步骤：
b1)以调整的卷积核处理该初始影像；
b2)以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；
b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；
b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及
b5)串接该浅层特征图及该深层特征图为串接图。
12.如权利要求11所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，更包括在步骤b5)之后对该串接图进行卷积。
13.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，特征抽取已处理的影像以得到目标，且在步骤c)之后更包括步骤d)追踪该目标。
14.如权利要求1所述的以非还原校正方式及人工智能处理撷取影像的方法，其特征在于，在步骤a)及步骤b)之间更包括卷积该初始影像，且步骤b)以非还原校正方式及人工智能处理已卷积的初始影像。
15.一种以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，包括：
影像撷取单元，撷取初始影像；以及
处理单元，连接该影像撷取单元且以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。
16.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该初始影像以该影像撷取单元具有的鱼眼镜头撷取。
17.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元基于该初始影像而产生第一数组重塑影像及第二数组重塑影像，之后将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图，再者串接该浅层特征图及该深层特征图为串接图。
18.如权利要求17所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元对该串接图进行卷积。
19.如权利要求17所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该初始影像具有第一初始画素数目、第二初始画素数目、初始通道数目，该第一数组重塑影像具有第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目，该第二数组重塑影像具有第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
20.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元以调整的卷积核处理该初始影像，之后以超列方式处理由该调整的卷积核已处理的初始影像。
21.如权利要求20所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元对以该超列方式处理的影像进行卷积。
22.如权利要求20所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，以该调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以该超列方式处理由该调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
23.如权利要求22所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在产生该超列处理影像之后该处理单元串接该超列处理影像与该第三卷积核处理影像。
24.如权利要求23所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元对串接的影像进行卷积。
25.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元至少依以下步骤以非还原校正方式及人工智能处理撷取影像，步骤b1)以调整的卷积核处理该初始影像；步骤b2)以超列方式处理由调整的卷积核已处理的初始影像而产生超列处理影像；步骤b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；步骤b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及步骤b5)串接该浅层特征图及该深层特征图为串接图。
26.如权利要求25所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元对该串接图进行卷积。
27.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元特征抽取已处理的影像以得到目标，且在特征抽取该已处理的影像之后追踪该目标。
28.如权利要求15所述的以非还原校正方式及人工智能处理撷取影像的装置，其特征在于，该处理单元在撷取该初始影像与以非还原校正方式及人工智能处理该初始影像之间对该初始影像进行卷积，且以非还原校正方式及人工智能处理已卷积的初始影像。
29.一种以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，包括：
影像捕获设备，包含影像撷取单元及连接该影像撷取单
元的第一传输单元，该影像撷取单元撷取初始影像；以及
处理装置，包含处理单元及连接该处理单元的第二传输单元，该第一传输单元接收该初始影像并传输予该第二传输单元，且该第二传输单元传输予该处理单元，而该处理单元以非还原校正方式及人工智能处理该初始影像，之后特征抽取已处理的影像。
30.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该初始影像以该影像撷取单元具有的鱼眼镜头撷取。
31.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元基于该初始影像而产生第一数组重塑影像及第二数组重塑影像，之后将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图，再者串接该浅层特征图及该深层特征图为串接图。
32.如权利要求31所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元对该串接图进行卷积。
33.如权利要求31所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该初始影像具有第一初始画素数目、第二初始画素数目、初始通道数目，该第一数组重塑影像具有第一数组重塑影像画素数目、第二数组重塑影像画素数目、第一数组重塑影像信道数目，该第二数组重塑影像具有第三数组重塑影像画素数目、第四数组重塑影像画素数目、第二数组重塑影像信道数目，且该第一数组重塑影像画素数目及该第三数组重塑影像画素数目小于该第一初始画素数目，该第二数组重塑影像画素数目及该第四数组重塑影像画素数目小于该第二初始画素数目，该第一数组重塑影像信道数目及该第二数组重塑影像信道数目大于该初始通道数目，该第一初始画素数目，该第二初始画素数目与该初始通道数目的乘积等于该第一数组重塑影像画素数目，该第二数组重塑影像画素数目与该第一数组重塑影像信道数目的乘积及该第三数组重塑影像画素数目，该第四数组重塑影像画素数目与该第二数组重塑影像信道数目的乘积。
34.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元以调整的卷积核处理该初始影像，之后以超列方式处理由该调整的卷积核已处理的初始影像。
35.如权利要求34所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元对以该超列方式处理的影像进行卷积。
36.如权利要求34所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，以该调整的卷积核处理该初始影像依序以第一卷积核处理该初始影像以产生第一卷积核处理影像，接着以第二卷积核处理该第一卷积核处理影像以产生第二卷积核处理影像，再以该第一卷积核处理该第二卷积核处理影像以产生第三卷积核处理影像，该第一卷积核小于该第二卷积核，之后以该超列方式处理由该调整的卷积核已处理的初始影像串接该第三卷积核处理影像与该第二卷积核处理影像。
37.如权利要求36所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，串接该第三卷积核处理影像与该第二卷积核处理影像产生超列处理影像，且在产生该超列处理影像之后该处理单元串接该超列处理影像与该第三卷积核处理影像。
38.如权利要求37所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元对串接的影像进行卷积。
39.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元至少依以下步骤以非还原校正方式及人工智能处理撷取影像，步骤b1)以调整的卷积核处理该初始影像；步骤b2)以超列方式处理由该调整的卷积核已处理的初始影像而产生超列处理影像；步骤b3)基于该超列处理影像而产生第一数组重塑影像及第二数组重塑影像；步骤b4)将该第一数组重塑影像及该第二数组重塑影像分别设为浅层特征图及深层特征图；以及步骤b5)串接该浅层特征图及该深层特征图为串接图。
40.如权利要求39所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元对该串接图进行卷积。
41.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元特征抽取已处理的影像以得到目标，且在特征抽取该已处理的影像之后追踪该目标。
42.如权利要求29所述的以非还原校正方式及人工智能处理撷取影像的系统，其特征在于，该处理单元在撷取该初始影像与以非还原校正方式及人工智能处理该初始影像之间卷积该初始影像，且以非还原校正方式及人工智能处理已卷积的初始影像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108122344A TWI727352B (zh) | 2019-06-26 | 2019-06-26 | 以非還原校正方式及人工智慧處理擷取影像的方法、裝置及系統 |
| TW108122344 | 2019-06-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149686A true CN112149686A (zh) | 2020-12-29 |
Family
ID=73891769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911077027.XA Pending CN112149686A (zh) | 2019-06-26 | 2019-11-06 | 以非还原校正方式及人工智能处理撷取影像的方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112149686A (zh) |
| TW (1) | TWI727352B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598985A (zh) * | 2008-06-03 | 2009-12-09 | 广达电脑股份有限公司 | 用以产生座标校正点的影像处理装置及方法 |
| CN102509098A (zh) * | 2011-10-08 | 2012-06-20 | 天津大学 | 一种鱼眼图像车辆识别方法 |
| CN107527327A (zh) * | 2017-08-23 | 2017-12-29 | 珠海安联锐视科技股份有限公司 | 一种基于gpu的鱼眼校正方法 |
| JP2018056786A (ja) * | 2016-09-28 | 2018-04-05 | 京セラ株式会社 | 画像処理装置、撮像装置、移動体、及び画像処理方法 |
| US20180204364A1 (en) * | 2017-01-13 | 2018-07-19 | Flir Systems, Inc. | High visibility overlay systems and methods |
| CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
| US20190080430A1 (en) * | 2018-11-13 | 2019-03-14 | Intel Corporation | Circular fisheye camera array rectification |
| TW201923707A (zh) * | 2017-10-11 | 2019-06-16 | 香港商阿里巴巴集團服務有限公司 | 圖像處理方法和處理設備 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8922591B2 (en) * | 2011-08-25 | 2014-12-30 | Innovare Solutions, LLC | Holographic display |
| TWI545523B (zh) * | 2013-08-30 | 2016-08-11 | 國立中央大學 | 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置 |
-
2019
- 2019-06-26 TW TW108122344A patent/TWI727352B/zh active
- 2019-11-06 CN CN201911077027.XA patent/CN112149686A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598985A (zh) * | 2008-06-03 | 2009-12-09 | 广达电脑股份有限公司 | 用以产生座标校正点的影像处理装置及方法 |
| CN102509098A (zh) * | 2011-10-08 | 2012-06-20 | 天津大学 | 一种鱼眼图像车辆识别方法 |
| JP2018056786A (ja) * | 2016-09-28 | 2018-04-05 | 京セラ株式会社 | 画像処理装置、撮像装置、移動体、及び画像処理方法 |
| US20180204364A1 (en) * | 2017-01-13 | 2018-07-19 | Flir Systems, Inc. | High visibility overlay systems and methods |
| CN107527327A (zh) * | 2017-08-23 | 2017-12-29 | 珠海安联锐视科技股份有限公司 | 一种基于gpu的鱼眼校正方法 |
| TW201923707A (zh) * | 2017-10-11 | 2019-06-16 | 香港商阿里巴巴集團服務有限公司 | 圖像處理方法和處理設備 |
| CN109034245A (zh) * | 2018-07-27 | 2018-12-18 | 燕山大学 | 一种利用特征图融合的目标检测方法 |
| US20190080430A1 (en) * | 2018-11-13 | 2019-03-14 | Intel Corporation | Circular fisheye camera array rectification |
Non-Patent Citations (1)
| Title |
|---|
| MENANDRO ROXAS ET AL.: "Real-time Variational Fisheye Stereo without Rectification and Undistortion", 《ARXIV:1909.07545V1》, pages 1 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI727352B (zh) | 2021-05-11 |
| TW202101375A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490828B (zh) | 视频直播中的图像处理方法和系统 | |
| CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
| US20070086675A1 (en) | Segmenting images and simulating motion blur using an image sequence | |
| KR20130019430A (ko) | 미리 계산된 스케일-공간으로부터의 데이지 서술자 생성 | |
| CN110796600B (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
| Gui et al. | A new method for soybean leaf disease detection based on modified salient regions | |
| CN109190617B (zh) | 一种图像的矩形检测方法、装置及存储介质 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN113902785B (zh) | 一种深度图像的处理方法、系统、装置及计算机存储介质 | |
| CN112712536B (zh) | 图像处理方法、芯片及电子装置 | |
| CN111191582A (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
| KR20210157194A (ko) | 영상처리를 이용한 작물 생육량 측정 장치 및 그 방법 | |
| CN112348778A (zh) | 一种物体识别方法、装置、终端设备及存储介质 | |
| CN113313645B (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| US9830527B2 (en) | Image processing system for extraction of contextual information and associated methods | |
| CN112149686A (zh) | 以非还原校正方式及人工智能处理撷取影像的方法、装置及系统 | |
| WO2019152184A3 (en) | Apparatus and method for object recognition | |
| CN111079585B (zh) | 图像增强结合伪孪生卷积神经网络的行人再识别方法 | |
| US9392146B2 (en) | Apparatus and method for extracting object | |
| CN108076365B (zh) | 人体姿势识别装置 | |
| CN112084840A (zh) | 一种基于三维nmi的指静脉识别方法 | |
| CN111414823A (zh) | 人体特征点的检测方法、装置、电子设备以及存储介质 | |
| CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
| CN116739926A (zh) | 一种对Demura相机拍摄结果进行透视变换矫正的方法 | |
| CN113159037B (zh) | 图片矫正方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |