CN103716529A - 阈值设定装置、被摄体检测装置、阈值设定方法 - Google Patents
阈值设定装置、被摄体检测装置、阈值设定方法 Download PDFInfo
- Publication number
- CN103716529A CN103716529A CN201310449757.4A CN201310449757A CN103716529A CN 103716529 A CN103716529 A CN 103716529A CN 201310449757 A CN201310449757 A CN 201310449757A CN 103716529 A CN103716529 A CN 103716529A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- specific subject
- unit
- image
- conversion treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 7
- 239000003086 colorant Substances 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 53
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 15
- 238000004891 communication Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 15
- 230000033228 biological regulation Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000005755 formation reaction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000013501 data transformation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明提供一种阈值设定装置、被摄体检测装置、阈值设定方法。适当进行二值化处理涉及的阈值的设定。本发明的终端装置(100)具备：图像获取部(7a)，其获取包含特定的被摄体在内的图像；比率获取部(7d)，其获取特定的被摄体的多个颜色的比率涉及的比率信息；以及阈值设定部(7e)，其基于获取到的比率信息，设定针对获取到的包含特定的被摄体在内的图像进行的二值化处理所涉及的阈值。
Description
技术领域
本发明涉及增强现实(augmented reality：AR)技术等中设定对标记(marker)图像进行检测时的阈值的技术。
背景技术
以往以来，作为增强现实(augmented reality：AR)技术，已知使虚拟对象(例如，三维模型等)与拍摄到的图像中的标记(实际对象)的图像建立对应地进行显示的图像处理装置(例如，参照JP特开2006-72667号公报)。
在该图像处理装置中，基于拍摄到的帧图像的图像分析的结果，检测帧图像中的标记的图像的倾斜度(例如，从显示画面内的正视状态起的旋转角度等)，将该标记的图像的倾斜度作为初始值进行记录。此外，图像处理装置计算被逐次拍摄的帧图像中的标记的倾斜度和作为初始值而记录的倾斜度之间的相对差分，具体来说，计算坐标值的差分。并且，图像处理装置进行以下处理，即，根据计算出的坐标值的差分使虚拟对象的图像倾斜以沿着规定的向量并逐次显示。
发明内容
本发明的一方式为一种阈值设定装置，其特征在于，具备：图像获取单元，其获取包含特定的被摄体在内的图像；比率获取单元，其获取与上述特定的被摄体的多个颜色的比率相关的比率信息；以及设定单元，其基于由上述比率获取单元获取到的比率信息，设定针对由上述图像获取单元获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值。
本发明的又一方式为一种被摄体检测装置，其特征在于，具备：图像获取单元，其获取包含特定的被摄体在内的图像；比率获取单元，其获取上述特定的被摄体的多个颜色的比率涉及的比率信息；设定单元，其基于由上述比率获取单元获取到的比率信息，设定针对由上述图像获取单元获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值；二值化处理单元，其基于由上述设定单元设定的阈值，对包含上述特定的被摄体在内的图像实施二值化处理；以及检测单元，其从通过上述二值化处理单元进行二值化后的包含上述特定的被摄体在内的图像中，检测上述特定的被摄体。
本发明的再又一方式为一种使用阈值设定装置的阈值设定方法，其特征在于，包括：获取包含特定的被摄体在内的图像的处理；获取与上述特定的被摄体的多个颜色的比率相关的比率信息的处理；以及基于获取到的比率信息，设定针对获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值的处理。
附图说明
图1是表示应用本发明的一实施方式的便携式终端的概略构成的方框图。
图2是表示图1的便携式终端的标记检测处理涉及的动作的一例的流程图。
图3A是示意表示图2的标记检测处理涉及的图像的一例的图。
图3B是示意表示图2的标记检测处理涉及的图像的一例的图。
图4A是示意表示图2的标记检测处理涉及的二值化处理图像的一例的图。
图4B是示意表示图2的标记检测处理涉及的二值化处理图像的一例的图。
具体实施方式
以下，针对本发明，使用附图说明具体的方式。其中，发明的范围不限定于图示例。
图1是表示应用本发明的一实施方式的便携式终端100的概略构成的方框图。
如图1所示，便携式终端100具备：中央控制部1、存储器2、摄像部3、摄像控制部4、图像数据生成部5、标记信息记录部6、标记检测处理部7、显示部8、显示控制部9、送受话部10、通信控制部11、以及操作输入部12等。
另外，便携式终端100例如由具备通信功能的摄像装置、在便携式电话和PHS(Personal Handy-phone System，个人手持式电话系统)等移动体通信网络中使用的移动站、PDA(Personal DataAssistants，个人数据助理)等构成。
中央控制部1控制便携式终端100的各个部分。具体来说，中央控制部1具备对便携式终端100的各个部分进行控制的CPU(CentralProcessing Unit：中央处理器(省略图示))，按照各种处理程序(省略图示)来进行各种控制动作。
存储器2例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，具备：暂时记录图像信息等的缓冲存储器、中央控制部1等的工作存储器、保存该便携式终端100的功能涉及的各种程序和数据的程序存储器等(均省略图示)。
摄像部(摄像单元)3拍摄特定的被摄体(例如，标记M：参照图3B)来生成帧图像F(参照图3A)的图像信号。
这里，所谓特定的被摄体可以是二维图像，也可以是三维形状的立体。例如，在将特定的被摄体作为二维图像的情况下，列举表示留白的大致“L”字的正方形形状的标记M等(参照图3B)。
此外，摄像部3具备透镜部3a和电子摄像部3b。
透镜部3a由变焦透镜和聚焦透镜等多个透镜构成。
电子摄像部3b例如由CCD(Charge Coupled Device，电荷耦合器件)和CMOS(Complementary Metal-oxide Semiconductor，互补金属氧化物半导体)等图像传感器等构成，将透过透镜部3a的各种透镜后的光学像变换为二维的图像信号。
另外，虽然省略图示，但是摄像部3可以具备对通过透镜部3a的光的量进行调整的光圈。
摄像控制部4控制摄像部3对被摄体的拍摄。即，摄像控制部4虽然省略图示，但是具备定时产生器和驱动器等。并且，摄像控制部4通过定时产生器和驱动器对电子摄像部3b进行扫描驱动，按照每个规定周期通过电子摄像部3b将光学像变换为二维的图像信号，从该电子摄像部3b的摄像区域中各一个画面一个画面地读出帧图像F并使之输出至图像数据生成部5。
此外，摄像控制部4进行AF(自动合焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等的被摄体的拍摄条件的调整控制。
图像数据生成部5对从电子摄像部3b传送来的帧图像F的模拟值的信号按照RGB的各颜色成分的每一个成分适当进行增益调整之后，由采样保持电路(省略图示)进行采样保持并由A/D变换器(省略图示)变换为数字数据，在由彩色处理电路(省略图示)进行了包括像素插值处理以及γ修正处理在内的彩色处理之后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。
此外，图像数据生成部5，在水平以及垂直上均按照规定倍率对所生成的帧图像F的YUV数据进行缩小处理，生成实况显示用的低分辨率(例如，VGA和QVGA尺寸等)的图像数据。具体来说，图像数据生成部5按照与显示部8的实况图像的规定的显示帧频相应的规定的定时，从帧图像F的YUV数据中生成实况显示用的低分辨率的图像数据。
并且，图像数据生成部5将生成的各帧图像F的YUV数据依次输出至存储器2，并保存在该存储器2中。
标记信息记录部6记录与标记M(参照图3B)相关的各种信息。
具体来说，标记信息记录部6，例如记录与黑白两种颜色的标记(特定的被摄体)M的白色和黑色的比率R相关的比率信息。此外，标记信息记录部6，也可以记录与标记M的形状和尺寸(例如，一边12mm的正方形等)相关的形状信息和尺寸信息等。
另外，上述的标记M的颜色、形状、尺寸是一个例子，并不限定于此，可以适当任意变更。
标记检测处理部7具备：图像获取部7a、第一二值化处理部7b、区域提取部7c、比率获取部7d、阈值设定部7e、以及第二二值化处理部7f。
另外，标记检测处理部7的各个部分例如由规定的逻辑电路构成，但是该构成是一个例子，并不限定于此。
图像获取部7a逐次获取多个帧图像F、......。
即，图像获取部(图像获取单元)7a逐次获取连续拍摄到标记(特定的被摄体)M的多个图像。具体来说，图像获取部7a从存储器2逐次获取由摄像部3连续拍摄标记M并由图像数据生成部5逐次生成的多个帧图像F、......的规定的分辨率的图像数据(例如，亮度数据)。
第一二值化处理部7b对帧图像F实施自适应型二值化处理。
即，第一二值化处理部7b将由图像获取部7a获取到的多个帧图像F、......的图像的数据的每一个作为处理对象，实施按照该帧图像F的每个规定区域来设定局部不同的阈值并进行二值化的自适应二值化处理，并生成第一二值化图像(省略图示)的图像数据。具体来说，第一二值化处理部7b将取了周围像素的加权平均后得到的值作为自适应二值化处理的阈值，并设定权重使之成为以关注像素为中心的正态分布。
此外，成为处理对象的帧图像F，是在摄像部进行的特定的被摄体的拍摄时，由摄像控制部4自动进行曝光和白平衡等的拍摄条件的调整控制，并由图像数据生成部5生成的帧图像F。
另外，自适应二值化处理是公知的技术，因此这里省略详细的说明。
区域提取部7c从帧图像F中提取标记区域S的图像。
即，区域提取部7c从由图像获取部7a获取到的帧图像F中提取包含标记(特定的被摄体)M的标记区域S的图像。具体来说，区域提取部7c对第一二值化图像的图像数据进行规定的特征提取处理，其中，该第一二值化图像是通过对由图像获取部7a获取到帧图像F由第一二值化处理部7b实施自适应二值化处理而生成的。此外，区域提取部7c对第二二值化图像G的图像数据进行规定的特征提取处理，其中，该第二二值化图像G是通过由第二二值化处理部7f对由图像获取部7a获取的帧图像F实施阈值固定型二值化处理而生成的。并且，区域提取部7c获取构成表示留白的大致“L”字的正方形形状的标记M的4角的位置坐标，将比该四角更靠内侧的部分提取为标记区域S的图像。
另外，特征提取处理是公知的技术，所以省略详细的说明。
比率获取部7d获取与标记M相关的比率信息。
即，比率获取部(比率获取单元)7d，获取与标记(特定的被摄体)M的多个颜色的比率R相关的比率信息。具体来说，比率获取部7d例如从标记信息记录部6中读出并获取与标记M的图像的白色和黑色的比率R相关的比率信息。
阈值设定部7e，设定与第二二值化处理部7f针对帧图像F进行的二值化处理相关的阈值。
即，阈值设定部(阈值设定单元)7e，基于由比率获取部7d获取到的比率信息，设定与针对由图像获取部7a获取的含标记(特定的被摄体)M的图像进行的二值化处理相关的阈值。具体来说，阈值设定部7e例如按照下述式(1)，针对所有的阈值计算采用以比率信息为基准的权重w对与基于判别分析法的二值化处理相关的分离度d进行加权后得到的评价值a。并且，阈值设定部7e比较计算出的多个评价值a，并在这些之中确定评价值a最大的阈值，设定为与基于第二二值化处理部7f的阈值固定型二值化处理相关的阈值。
(数1)
a＝wd (式1)
(数2)
d＝n1n2(m1-m2)2 (式2)
所谓基于判别分析法的二值化处理，指的是以处理对象图像(标记区域S的图像)的像素值(例如，亮度值)的方差为基准进行二值化的处理，确定按临时的阈值对该像素值的直方图进行分离的2个类间的分离度d(参照式(2))为最大的阈值。被分离的2个类彼此之间的类间方差越大或者各类内方差越小，则该分离度d越大。
另外，式(2)中，“n1”表示分离的2个类之中任一个类(例如，与黑色相对应的类等)的像素数，“m1”表示该1个类的像素值的平均值。此外，“n2”表示2个类之中与1个类不同的其他类(例如，与白色相对应的类等)的像素数，“m2”表示该其他的类的像素值的平均值。
(数3)
此外，以比率信息为基准的权重w(参照式(3))，基于被分离的2个类的像素数的比率(n1/n2)和黑白的标记M的白色和黑色的比率R、或标记区域S的图像的像素值的总方差(σ)，被规定为使权重程度不同。
即，2个类的像素数的比率(n1/n2)越接近标记M的白色和黑色的比率R，则权重w越大。
此外，标记区域S的图像的像素值的总方差(σ)越小，则权重w越大。即，总方差(σ)越大，则设定与通过判别分析法设定的阈值越接近的值的阈值，另一方面，总方差(σ)越小，则设定与通过P-片法(PercentileMethod：百分位数法)设定的阈值越接近的值的阈值。
另外，式(3)中，“σ”表示处理对象图像(标记区域S的图像)的像素值的类间方差和类内方差之和即总方差，“exp”表示以Napier数e为底数的指数函数。
另外，上述阈值固定型二值化处理涉及的阈值的设定方法是一例，并不限定与此，可以适当任意变更。
此外，例如，在倾斜开始拍摄标记M等情况下，标记M相对于终端主体的相对姿势发生倾斜，所以可以基于该相对的姿势来修正黑白的标记M的白色和黑色的比率R，也可以将规定的矩形变换处理后的标记区域S的图像作为处理对象图像来使用。
第二二值化处理部7f，对帧图像F实施阈值固定型二值化处理。
即，第二二值化处理部(二值化处理单元)7f，基于由阈值设定部7e设定的阈值来对由图像获取部7a获取到的帧图像F实施阈值固定型二值化处理。具体来说，第二二值化处理部7f，将由图像获取部7a获取到的多个帧图像F、......的图像数据的每一个作为处理对象，实施按照由阈值设定部7e设定的阈值进行二值化的阈值固定型二值化处理，生成第二二值化图像G的图像数据(参照图4A)。
此外，基于第二二值化处理部7f的阈值固定型二值化处理，可以在由区域提取部7c提取了标记区域S的图像后，在通过摄像控制部4固定了曝光和白平衡等拍摄条件的状态下进行。
显示部8例如由液晶显示面板构成，基于来自显示控制部9的视频信号在显示画面中显示由摄像部3拍摄到的图像(例如，实况图像等)。
显示控制部9，进行读出在存储器2中暂时存储的显示用的图像数据并使其显示在显示部8中的控制。
具体来说，显示控制部9具备：VRAM(Video RandomAccess Memory，视频随机存取存储器)、VRAM控制器、数字视频编码器等。并且，数字视频编码器，经由VRAM控制器从VRAM中按照规定的再生帧频(例如，30fps)读出在中央控制部1的控制下从存储器2读出并存储在VRAM(省略图示)中的亮度信号Y以及色差信号Cb、Cr，基于这些数据来产生视频信号并输出至显示部8。
例如，显示控制部9，一面按照规定的显示帧频逐次更新由摄像部3以及摄像控制部4拍摄并由图像数据生成部5生成的多个帧图像F、......，一面在显示部8中进行实况显示。此外，显示控制部9，例如从存储器2逐次获取虚拟图像的图像数据，并使该虚拟图像逐次实况显示在显示部8中。即，显示控制部9，使虚拟图像(省略图示)逐次实况显示在显示部8中，其中，该虚拟图像是使与标记M相对应的虚拟对象(例如，三维模型等：省略图示)和由图像数据生成部5生成的多个帧图像F、......之中的标记区域S的图像相重叠而得到的。
送受话部10，与经由通信网络N连接的外部设备的外部用户之间进行通信。
具体来说，送受话部10具备：麦克风10a、扬声器10b、数据变换部10c等。并且，送受话部10，通过数据变换部10c对从麦克风10a输入的用户的送话声音进行A/D变换处理后，将送话声音数据输出至中央控制部1，并且在中央控制部1的控制下，通过数据变换部10c对被从通信控制部11输出后输入的受话声音数据等的数据进行D/A变换处理，并从扬声器10b输出。
通信控制部11，经由通信网络N以及通信天线11a进行数据的收发。
即，通信天线11a，是能够进行与该便携式终端100在与无线基站(省略图示)之间的通信中采用的规定的通信方式(例如，W-CDMA(WidebandCode Division MultipleAccess)方式、GSM(Global System for MobileCommunications：注册商标)方式等)相对应的数据的收发的天线。并且，通信控制部11按照与规定的通信方式相对应的通信协议，通过由该通信方式设定的通信信道在与无线基站之间经由通信天线11a进行数据的收发。
即，通信控制部11，基于被从中央控制部1输出后输入的指示信号，对通信对方的外部设备进行与该外部设备的外部用户之间的通话中的声音的收发、电子邮件的数据的收发。
另外，通信控制部11的构成是一例，不限定于此，可以适当任意变更，例如，虽然省略图示，但是可以构成为搭载无线LAN模块，且能够经由接入点(Access Point)与通信网络N进行接入的构成。
另外，通信网络N，是经由无线基站、网关服务器(省略图示)等连接便携式终端100的通信网络。此外，通信网络N，是利用专用线、已有的常用公共线路构建的通信网络，能够应用LAN(Local Area Network，局域网)和WAN(WideAreaNetwork，广域网)等各种线路方式。此外，关于通信网络N，包括例如电话线路网、ISDN线路网、专用线、移动体通信网、通信卫星线路、CATV线路网等各种通信网络网、和IP网络、VoIP(Voice over Internet Protocol)网关、因特网服务提供等。
操作输入部12用于对终端主体输入各种指示。
具体来说，操作输入部12具备：被摄体的拍摄指示涉及的快门按钮、模式和功能等的选择指示涉及的上下左右的光标按钮和决定按钮、电话的接听拨打和电子邮件的收发等的执行指示涉及的通信关联按钮、文本的输入指示涉及的数字按钮和记号按钮等各种按钮(均省略图示)。
并且，若由用户操作各种按钮，则操作输入部12将与被操作的按钮相应的操作指示输出至中央控制部1。中央控制部1，按照被从操作输入部12输出后输入的操作指示，使各部执行规定的动作(例如，被摄体的拍摄、电话的接听拨打、电子邮件的收发等)。
另外，操作输入部12，可以具有与显示部8一体设置的触摸面板，也可以基于用户对触摸面板的规定操作，向中央控制部1输出与该规定的操作相应的操作指示。
接着，参照图2以及图3，来说明便携式终端100的应用了阈值设定方法的标记检测处理。
图2是表示标记检测处理涉及的动作的一例的流程图。此外，图3A是示意性表示帧图像F的一例的图，图3B是示意表示标记M的一例的图。
另外，在以下的标记检测处理中检测的标记M，例如配置在盆栽的赏叶植物的盆内的规定位置。
如图2所示，首先，摄像控制部4使摄像部3拍摄标记M，图像数据生成部5生成从电子摄像部3b传送来的多个帧图像F、......的图像数据(步骤S1：参照图3A)。此时，摄像控制部4自动进行曝光和白平衡等拍摄条件的调整控制。并且，图像数据生成部5将所生成的各帧图像F的YUV数据依次输出至存储器2，并保存在该存储器2中。
标记检测处理部7的图像获取部7a，从存储器2中获取由图像数据生成部5生成的任一个帧图像F的图像数据(步骤S2)。并且，第二二值化处理部7b，实施按照由图像获取部7a获取到的帧图像F的每个规定区域来设定局部不同的阈值并进行二值化的自适应型二值化处理，生成第一二值化图像的图像数据(步骤S3)。
接着，区域提取部7c，对通过由第一二值化处理部7b实施自适应二值化处理而生成的第一二值化图像的图像数据进行规定的特征提取处理(图周S4)，判定是否检测到了表示留白的大致“L”字的正方形形状的标记M(步骤S5)。
这里，若判定为没有检测到标记M(步骤S5：否)，则中央控制部1的CPU将处理返回步骤S2，控制这以后的处理的执行。即，直至在步骤S5中判定为检测到标记M(步骤S5：是)为止，重复执行上述步骤S2～S4的各处理。
另一方面，若判定为检测到标记M(步骤S5：是)，则区域提取部7c获取构成标记M的四角的位置坐标，将比该四角更靠内侧的部分提取作为标记区域S的图像(步骤S6：参照图3A)。
然后，比率获取部7d，从标记信息记录部6中读出并获取与标记M的图像的白色和黑色的比率R相关的比率信息(步骤S7)。
接着，阈值设定部7e，基于由比率获取部7d获取到的比率信息按照下式(1)，计算采用以比率信息为基准的权重w对与采用判别分析法的二值化处理相关的分离度d进行了加权后得到的评价值a，将该评价值a最大的阈值设定为与阈值固定型二值化处理相关的阈值(步骤S8)。
(数4)
a＝wd (式4)
之后，摄像控制部4维持将曝光和白平衡等拍摄条件固定的状态(步骤S9)。
接着，图像获取部7a，从存储器2获取由摄像部3拍摄标记M后由图像数据生成部5生成的任一个帧图像F的图像数据(步骤S10)。
并且，第二二值化处理部7f，实施按照由阈值设定部7e设定的阈值来对由图像获取部7a获取到的帧图像F的图像数据进行二值化的阈值固定型二值化处理，生成第二二值化图像G的图像数据(步骤S11：参照图4A)。
接着，区域提取部7c，作为检测单元对通过由第二二值化处理部7f实施阈值固定型二值化处理而生成的第二二值化图像G的图像数据进行规定的特征提取处理(步骤S12)，判定是否检测到了表示大致“L”字的正方形形状的标记M(步骤S13)。
这里，如果判定为检测到标记M(步骤S13：是)，则中央控制部1的CPU将处理返回步骤S10，控制这以后的处理的执行。即，直至在步骤S13中判定为检测到标记M(步骤S13：是)为止，重复执行上述步骤S10～S12的各处理。
另一方面，若判定为没有检测到标记M(步骤S13：否)，则摄像控制部4解除曝光和白平衡等的拍摄条件的固定(步骤S14)，之后，中央控制部1的CPU将处理返回步骤S2，控制这以后的处理的执行。
此外，若在步骤S13中判定为检测到标记M(步骤S13：是)，则标记检测处理部7解开规定的坐标变换式，将标记M的各点在三维空间中的坐标变换为与帧图像F相对应的二维的平面坐标，显示控制部9，在帧图像F的标记区域S的图像中按照坐标变换后的位置以及姿势来重叠与标记M相对应的虚拟对象，将所得到的虚拟图像实况显示在显示部8中。
按照以上所述，根据本实施方式的便携式终端100，基于与特定的被摄体(标记M)的多个颜色的比率R相关的比率信息，来设定针对特定的被摄体的图像的阈值固定型二值化处理涉及的阈值，所以能够利用已知的特定的被摄体的多个颜色的比率R来设定阈值固定型二值化处理涉及的阈值，例如，即使是由于直射日光和隐蔽处等因而特定的被摄体的帧图像F(标记区域S的图像)的对比度发生变化这样的环境、或从帧图像F提取特定的被摄体的图像较为困难的状况下，也能够适当地进行该阈值的设定。
即，若不考虑特定的被摄体的多个颜色的比率R就设定二值化处理涉及的阈值来进行帧图像F的二值化处理，则根据配置标记M的环境，即使对帧图像F进行二值化处理也会担心标记M的形状特征没有适当表示(参照图4B)。相对于此，通过应用本实施方式的阈值设定处理，能够生成适当表示了标记M的形状特征的第二二值化图像G(参照图4A)，能够适当进行该图像内的标记区域S的图像的确定。
此外，能够以特定的被摄体的图像的像素值的方差为基准，来设定阈值固定型二值化处理涉及的阈值。具体来说，基于以比率信息为基准对按照临时的阈值来分离特定的被摄体的图像的像素值的2个类间的分离度d进行了加权后得到的评价值a，来设定阈值固定型二值化处理涉及的阈值，所以能够以如下这样的评价值a为基准来设定适当的阈值，即，该评价值a是按照已知的特定的被摄体的多个颜色的比率R对以2个类彼此之间的类间方差和各类内方差为基准的分离度d进行加权后得到的值。
此外，基于与2个类的像素数的比率(n1/n2)和黑白的标记M的白色和黑色的比率R相关的比率信息、标记区域S的图像的像素值的全体的方差(σ)，使分离度d的以比率信息为基准的加权程度不同，所以能够通过以处理对象图像的像素值的方差为基准进行二值化的处理来适当进行2个类间的分离度d的加权，能够以被计算出的评价值a为基准来设定适当的阈值。
进一步地，通过基于设定的阈值对特定的被摄体的图像实施阈值固定二值化处理，能够适当进行特定的被摄体的图像的二值化，其结果是，能够适当进行特定的被摄体(标记M)的姿势和位置的推定、与标记M相对应的虚拟对象的显示。
另外，本发明不限定于上述实施方式，在不脱离本发明的主旨的范围中，可以进行各种改良以及设计的变更。
例如，在上述实施方式中，基于设定的阈值，对特定的被摄体的图像实施阈值固定二值化处理，但是不必实施阈值固定二值化处理，能够适当任意变更是否具备第二二值化处理部7f。
进一步地，关于便携式终端100的构成，上述实施方式中例示的是一例，并不限定于此，如果是至少具备图像获取单元、比率获取单元、设定单元的构成，则能够适当任意变更。即，便携式终端100不必具备摄像部3，可以获取由外部的摄像装置拍摄到的图像，进行设定与针对特定的被摄体的图像的二值化处理相关的阈值的处理。
除此以外，在上述实施方式中，构成为在便携式终端100的中央控制部1的控制下，通过图像获取部7a、比率获取部7d、阈值设定部7e进行驱动来实现作为图像获取单元、比率获取单元、设定单元的功能，但是不限定于此，也可以构成为通过由中央控制部1的CPU来执行规定的程序等来实现。
即，在存储程序的程序存储器中，预先存储包括图像获取处理例程、比率获取处理例程、设定处理例程在内的程序。并且，可以通过图像获取处理例程使中央控制部1的CPU作为获取包含特定的被摄体在内的图像的单元来发挥作用。此外，可以通过比率获取处理例程使中央控制部1的CPU作为获取特定的被摄体的多个颜色的比率涉及的比率信息的单元来发挥作用。此外，可以通过设定处理例程使中央控制部1的CPU作为基于获取到的比率信息来设定针对获取到的包含特定的被摄体在内的图像的二值化处理涉及的阈值的单元来发挥作用。
同样地，针对处理单元、检测单元，也可以构成为通过由中央控制部1的CPU来执行规定的程序等来实现。
进一步地，作为保存了用于执行上述各处理的程序的计算机可读取介质，除了应用ROM和硬盘等，还可以应用闪速存储器等非易失性存储器、CD-ROM等可移动记录介质。此外，作为经由规定的通信线路来提供程序的数据的介质，还能应用载波(传送波)。
符号说明
100 便携式终端
1 中央控制部
3 摄像部
7 标记检测处理部
7a 图像获取部
7c 区域提取部
7d 比率获取部
7e 阈值设定部
7f 第二二值化处理部
F 帧图像
M 标记
S 标记区域
Claims (11)
1.一种阈值设定装置，其特征在于，具备：
图像获取单元，其获取包含特定的被摄体在内的图像；
比率获取单元，其获取与上述特定的被摄体的多个颜色的比率相关的比率信息；以及
设定单元，其基于由上述比率获取单元获取到的比率信息，设定针对由上述图像获取单元获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值。
2.根据权利要求1所述的阈值设定装置，其特征在于，
上述设定单元，进一步以包含上述特定的被摄体在内的图像的像素值的方差以基准，来设定上述二值化处理涉及的阈值。
3.根据权利要求1所述的阈值设定装置，其特征在于，
上述设定单元，进一步基于以上述比率信息作为基准对按临时的阈值来分离包含上述特定的被摄体在内的图像的像素值的2个类间的分离度进行加权而得到的评价值，来设定上述二值化处理涉及的阈值。
4.根据权利要求3所述的阈值设定装置，其特征在于，
上述设定单元，进一步基于上述2个类的像素数的比率和上述比率信息，使上述分离度的以该比率信息为基准的加权程度不同。
5.根据权利要求3所述的阈值设定装置，其特征在于，
上述设定单元，进一步基于包含上述特定的被摄体在内的图像的像素值的全体的方差，使上述分离度的以上述比率信息为基准的加权程度不同。
6.根据权利要求1所述的阈值设定装置，其特征在于，
还具备二值化处理单元，该二值化处理单元基于由上述设定单元设定的阈值，对包含上述特定的被摄体在内的图像实施二值化处理。
7.根据权利要求1所述的阈值设定装置，其特征在于，
上述特定的被摄体是标记。
8.一种被摄体检测装置，其特征在于，具备：
图像获取单元，其获取包含特定的被摄体在内的图像；
比率获取单元，其获取上述特定的被摄体的多个颜色的比率涉及的比率信息；
设定单元，其基于由上述比率获取单元获取到的比率信息，设定针对由上述图像获取单元获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值；
二值化处理单元，其基于由上述设定单元设定的阈值，对包含上述特定的被摄体在内的图像实施二值化处理；以及
检测单元，其从通过上述二值化处理单元进行二值化后的包含上述特定的被摄体在内的图像中，检测上述特定的被摄体。
9.根据权利要求8所述的被摄体检测装置，其特征在于，
还具备：
显示部；以及
显示控制部，其使上述显示部显示与上述检测单元检测到的特定的被摄体相对应的虚拟对象。
10.根据权利要求9所述的被摄体检测装置，其特征在于，
上述特定的被摄体是标记，
上述显示控制部，使上述显示部显示上述标记，并且使上述虚拟对象与上述标记重叠显示。
11.一种使用阈值设定装置的阈值设定方法，其特征在于，包括：
获取包含特定的被摄体在内的图像的处理；
获取与上述特定的被摄体的多个颜色的比率相关的比率信息的处理；以及
基于获取到的比率信息，设定针对获取到的包含上述特定的被摄体在内的图像进行的二值化处理所涉及的阈值的处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-216637 | 2012-09-28 | ||
| JP2012216637A JP5799928B2 (ja) | 2012-09-28 | 2012-09-28 | 閾値設定装置、被写体検出装置、閾値設定方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103716529A true CN103716529A (zh) | 2014-04-09 |
| CN103716529B CN103716529B (zh) | 2017-03-01 |
Family
ID=50385255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310449757.4A Active CN103716529B (zh) | 2012-09-28 | 2013-09-25 | 阈值设定装置、被摄体检测装置、阈值设定方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9196029B2 (zh) |
| JP (1) | JP5799928B2 (zh) |
| CN (1) | CN103716529B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109211A (zh) * | 2017-12-18 | 2018-06-01 | 快创科技（大连）有限公司 | 一种基于增强现实和色差分析技术的地铁交通管理系统 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013011914A1 (ja) * | 2011-07-19 | 2013-01-24 | 株式会社 日立メディコ | Ｘ線画像診断装置及びｘ線発生装置の制御方法 |
| JP5764592B2 (ja) * | 2013-02-22 | 2015-08-19 | 東京エレクトロン株式会社 | 基板処理装置、基板処理装置の監視装置及び基板処理装置の監視方法 |
| JP6285592B1 (ja) | 2017-03-24 | 2018-02-28 | 株式会社ショーワ | 路面判定装置、サスペンション制御装置、および、サスペンション装置 |
| JP6273059B1 (ja) | 2017-03-24 | 2018-01-31 | 株式会社ショーワ | 車両制御装置、および、車両 |
| JP6285591B1 (ja) | 2017-03-24 | 2018-02-28 | 株式会社ショーワ | サスペンション制御装置、および、サスペンション装置 |
| JP6279121B1 (ja) | 2017-03-24 | 2018-02-14 | 株式会社ショーワ | 制御装置、および、ステアリング装置 |
| JP7111088B2 (ja) | 2019-01-24 | 2022-08-02 | カシオ計算機株式会社 | 画像検索装置、学習方法及びプログラム |
| JP7206236B2 (ja) * | 2020-06-26 | 2023-01-17 | 三菱重工業株式会社 | 指示値読取システムおよび方法並びにプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916715A (ja) * | 1995-06-30 | 1997-01-17 | Nec Corp | 文字認識装置および方法 |
| CN1790378A (zh) * | 2005-12-21 | 2006-06-21 | 北大方正集团有限公司 | 一种图像的二值化方法及系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2803313B2 (ja) * | 1990-04-16 | 1998-09-24 | 株式会社デンソー | 指紋照合装置 |
| JP3071956B2 (ja) * | 1992-07-22 | 2000-07-31 | 株式会社アカシ | ビッカース硬さ自動読み取り装置 |
| US5956421A (en) * | 1996-02-28 | 1999-09-21 | Canon Kabushiki Kaisha | Image processing method and apparatus for determining a binarization threshold value used for binarizing a multi-valued image and performing binarization processing |
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| JP3841806B2 (ja) | 2004-09-01 | 2006-11-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| JP2008040557A (ja) * | 2006-08-01 | 2008-02-21 | Ricoh Co Ltd | 画像表示装置、画像表示方法及び画像表示プログラム |
| US20080266401A1 (en) * | 2007-04-24 | 2008-10-30 | Fry Walter G | Electronic device with variably positionable imaging device |
| JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
| JP4780205B2 (ja) * | 2009-02-23 | 2011-09-28 | カシオ計算機株式会社 | 撮像装置、画角調節方法、及び、プログラム |
| US20110292463A1 (en) * | 2010-05-31 | 2011-12-01 | Silverbrook Research Pty Ltd | System for identifying physical page containing printed text |
| US8384770B2 (en) * | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| JP5776903B2 (ja) * | 2012-03-02 | 2015-09-09 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法並びにプログラム |
| JP5937878B2 (ja) * | 2012-04-24 | 2016-06-22 | 株式会社日立ハイテクノロジーズ | パターンマッチング方法及び装置 |
-
2012
- 2012-09-28 JP JP2012216637A patent/JP5799928B2/ja active Active
-
2013
- 2013-08-05 US US13/959,253 patent/US9196029B2/en active Active
- 2013-09-25 CN CN201310449757.4A patent/CN103716529B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916715A (ja) * | 1995-06-30 | 1997-01-17 | Nec Corp | 文字認識装置および方法 |
| CN1790378A (zh) * | 2005-12-21 | 2006-06-21 | 北大方正集团有限公司 | 一种图像的二值化方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109211A (zh) * | 2017-12-18 | 2018-06-01 | 快创科技（大连）有限公司 | 一种基于增强现实和色差分析技术的地铁交通管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140093128A1 (en) | 2014-04-03 |
| JP2014071620A (ja) | 2014-04-21 |
| US9196029B2 (en) | 2015-11-24 |
| CN103716529B (zh) | 2017-03-01 |
| JP5799928B2 (ja) | 2015-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103716529A (zh) | 阈值设定装置、被摄体检测装置、阈值设定方法 | |
| EP3674967B1 (en) | Image signal processing method, apparatus and device | |
| KR101155406B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체 | |
| US7586520B2 (en) | Image correction apparatus, image correction program storage medium, image correction method, and image correction system | |
| CN108668093B (zh) | Hdr图像的生成方法及装置 | |
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| KR20130033446A (ko) | 고 다이나믹 레인지 이미지를 캡처하도록 장치를 동작시키는 방법 | |
| US10027878B2 (en) | Detection of object in digital image | |
| CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN106415348B (zh) | 摄像装置及对焦控制方法 | |
| CN105554370A (zh) | 图像处理设备和图像处理方法 | |
| CN105453534B (zh) | 图像处理装置及方法 | |
| US9799105B2 (en) | Image processing device, imaging device, image processing method, and program for restoration processing based on a point spread function and a frame after a frame to be processed | |
| JP2014007530A (ja) | 画像処理装置およびその制御方法 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN106131441A (zh) | 拍照方法及装置、电子设备 | |
| US8295609B2 (en) | Image processing apparatus, image processing method and computer readable-medium | |
| CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN106062607B (zh) | 摄像装置及对焦控制方法 | |
| JP5768193B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
| US10778903B2 (en) | Imaging apparatus, imaging method, and program | |
| CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN104935805B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| EP4033750A1 (en) | Method and device for processing image, and storage medium | |
| EP3273437A1 (en) | Method and device for enhancing readability of a display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |