CN102148917B - 显示处理装置 - Google Patents

Abstract

本发明提供显示处理装置，显示图像数据所表示的图像，该显示处理装置具备：存储部，存储上述图像数据；取得部，取得周围图像数据，该周围图像数据用于表示上述显示处理装置配置处的周围的图像；决定部，决定在取得的上述周围图像数据所表示的周围图像中被涂敷了规定的阈值区域以上的颜色，或决定根据包括在该周围图像中的人物的脸部区域判断出的人物的类别；变换部，将上述图像数据所表示的图像变换为与决定的上述颜色或上述人物的类别对应的规定的画风；以及显示部，显示变换后的上述图像数据所表示的变换图像。

Description

显示处理装置

交叉申请

本申请基于2010年2月8日提交的日本申请第2010-025123号并要求其优先权，并在本申请中援引该申请的全部内容。

技术领域

本发明涉及适于显示用户所希望的图像的显示处理装置。

背景技术

当前公知有取得显示处理装置设置处的周围的环境信息(例如，亮度等)并按照该周围的环境信息显示图像的显示处理装置(例如，参照日本国特开2007-85864号公报(以下，称为“专利文献1”))。

但是，在专利文献1记载的显示处理装置中，存在所显示的图像与用户所希望的图像不一致的情况，因此，有时用户会对没有显示所希望的图像的情况感到不满。因此，需要适于显示用户所希望的图像的新的方法。

发明内容

本发明的目的在于提供适于显示用户所希望的图像的显示处理装置。

根据本发明的一个方式，显示处理装置显示图像数据所表示的图像，具备：存储部，存储上述图像数据；取得部，取得周围图像数据，该周围图像数据用于表示上述显示处理装置配置处的周围的图像；决定部，决定在取得的上述周围图像数据所表示的周围图像中被涂敷了规定的阈值区域以上的颜色，或决定根据包括在该周围图像中的人物的脸部区域判断出的人物的类别；变换部，将上述图像数据所表示的图像变换为与所决定的上述颜色或上述人物的类别对应的规定的画风；以及显示部，显示变换后的上述图像数据所表示的变换图像。

附图说明

图1是表示实现本发明的实施方式的显示处理装置的数码相框的硬件结构的框图。

图2是数码相框的概略外观图。

图3是表示本发明的实施方式的显示处理装置的各部分的功能的框图。

图4是表示显示处理装置的配置例的图。

图5A是表示周围图像的一个例子的图。

图5B是表示周围图像的一个例子的图。

图6是表示在显示处理装置中执行的图像处理的流程的流程图。

图7是为了说明代表性的颜色的决定方法的易于理解的简图。

图8是表示周围图像所包括的颜色成分的分类例的图。

图9A是表示变换前的图像的一个例子的图。

图9B是表示变换后的图像的一个例子的图。

图9C是表示变换后的图像的一个例子的图。

图10是代表性的颜色或人物的类别与画风之间的对应表的一个例子。

具体实施方式

以下说明本发明的实施方式的显示处理装置。以下，作为显示处理装置，以显示数码照片等的数码相框为例进行说明，但不限于此，本发明例如适于数码摄像机、各种计算机、PDA(Personal Digital Assistant：个人数字助理)、便携式电话等显示处理装置。即，以下记载的实施方式用于进行说明，而不限制本申请的范围。因此，只要是本领域技术人员，就能够采用将各要素或所有要素置换为与它们等同的要素的实施方式，而这些实施方式也包含在本发明的范围内。

图1是表示实现本发明的实施方式的显示处理装置的典型的数码相框10的硬件结构的框图。另外，图2表示数码相框10的外观图。以下，参照这些图进行说明。

数码相框10具备CPU(Central Processing Unit)11、RAM(RandomAccess Memory)12、存储装置13、媒体控制器14、输入键15、驱动电路16、显示面板17、接触式传感器18、图像传感器19和存储卡20。

CPU11控制整个数码相框10的动作，与各构成要素连接，进行控制信号或数据的交换。

RAM12用于暂时存储数据或程序。在RAM12中保存程序或数据、以及数码相框10进行动作所需的数据。

存储装置13例如由硬盘或闪存器等构成，存储从存储卡20读出的图像数据等任意的数据。在此，存储卡20例如由闪存器等构成，存储各种数据。在存储卡20中记录有数码摄像机进行拍摄而得到的数码照片等的图像数据。

媒体控制器14相对于存储卡20进行数据读写。

如图2所示，例如，在数码相框10的侧面设置有用于插入存储卡20的存储卡插入口14a，若向该存储卡插入口14a插入存储卡20，则存储卡20与媒体控制器14相连接。而且，若确认了存储卡20与媒体控制器14的连接，则读出记录在存储卡20中的图像数据。

输入键15是用于受理来自用户的操作指示的键。输入键15例如由选择键、再生和停止键等构成，其中，选择键用于选择用户所希望的照片，再生和停止键用于使依次显示照片图像的所谓的幻灯片显示开始和停止。如图2所示，输入键15例如配置在数码相框10的显示面板17的框的下部，将与用户的按压操作对应的开启信号等作为操作信息来输出。

驱动电路16按照存储装置13或存储卡20中存储的图像数据，驱动显示面板17，在该显示面板17上显示图像、操作画面等。

显示面板17例如由液晶面板、有机EL(Electro Luminescence)面板等构成，基于驱动电路16的动作来显示任意的图像。如图2所示，显示面板17例如配置在数码相框10的前面。

接触式传感器18是对用户的手指等被接触物进行检测的传感器。接触式传感器18例如由电容式、压敏式等的触式传感器构成。如图2所示，接触式传感器18例如设置在数码相框10的显示面板17的框上。若用户通过手指等碰触接触式传感器18，则输出表示手指等进行了碰触的情况的操作信息、表示对传感器的按压力的按压力信息等。

图像传感器19是对数码相框10周围的环境信息进行检测的传感器。图像传感器19例如由CCD(Charge Coupled Device)式、CMOS(Complementary Metal Oxide Semiconductor)式等的摄像机构成。如图2所示，图像传感器19例如设置在数码相框10的显示面板17的框上。典型地，图像传感器19在任意定时以任意的次数拍摄数码相框10周围的图像。另外，图像传感器19能够拍摄运动图像。而且，该拍摄的图像存储在存储装置13或存储卡20中，从该图像提取周围的环境信息。

以下，只要没有注释，就是利用图1以及图2所示的数码相框10进一步说明后述的显示处理装置。能够按照需要将显示处理装置适当地置换为通常的计算机或数码摄像机等要素，这些实施方式也包含在本发明的范围内。

(显示处理装置的结构)

参照图3说明本实施方式的显示处理装置100的概要结构。显示处理装置100具备显示部110、控制部120、存储部130、取得部140、决定部150和变换部160。以下，说明显示处理装置100的各构成要素。

此外，各部分的功能相互关联，但是能够按照用途对是否采用各个部分进行适当地变更。

显示部110基于来自控制部120的控制，显示图像数据所表示的图像。例如，对于存储在存储部130中的图像数据所表示的图像，显示部110能够每隔一定的时间间隔一个接一个地进行显示，或者能够将画面分割为多个并在该分割后的各个画面上同时显示图像。显示部110能够基于任意的方法来显示任意的图像。

通过CPU11、驱动电路16以及显示面板17等协同动作，来发挥显示部110的功能。

控制部120控制整个显示处理装置100的动作，与各构成要素连接而进行控制信号或数据的交换。

通过CPU11以及RAM12等协同动作，来发挥控制部120的功能。

存储部130存储用于在显示部110上进行显示的图像数据。另外，存储部130适当地存储由变换部160施加修正或调整后的图像数据。另外，存储部130存储将后述的代表性的颜色或人物的类别与画风之间建立了对应的对应表、用户设定的设定数据、用于控制显示处理装置100的控制程序等任意的数据。

通过RAM12、存储装置13以及存储卡20等协同动作，来发挥存储部130的功能。

取得部140取得用于对表示显示处理装置100的周围的周围图像进行表示的周围图像数据。在此，显示处理装置100的周围是指取得部140所能够拍摄的任意的范围。此外，周围图像典型地是指表示设置有显示处理装置100的周边的图像，例如，是指表示室内整体的图像、表示室内的物品(家具、窗、陈设品等)的图像等由取得部140拍摄到的任意的图像。

图4是表示显示处理装置100的配置例的图。如该图所示，显示处理装置100典型地配置在室内的壁面或桌子上等。因此，取得部140通过拍摄表示室内整体的图像、表示室内的规定范围的图像、表示存在于室内的人物的图像等，取得表示显示处理装置100的周围的周围图像数据。

图5A以及5B是表示周围图像的一个例子的图。例如，如图4所示，假设显示处理装置100设置在墙壁上。在该情况下，如图5A所示，取得部140取得对设置有显示处理装置100的室内的桌子200进行拍摄而成的周围图像所表示的周围图像数据。此外，在设置有显示处理装置100的室内有人存在的情况下，如图5B所示，取得部140取得对人物300进行拍摄而得到的周围图像所表示的周围图像数据。

另外，例如，取得部140能够在存在来自用户的指示的情况下、到达了规定的时间的情况下、周围的环境发生变化的情况下等任意的定时，取得周围图像数据。另外，取得部140能够在任意的设定(例如，拍摄方向、倍率、快门速度、光圈等)条件下取得周围图像数据。

此外，取得部140通过接受用户输入的指示，取得指示输入信息。例如，取得部140通过输入键15或接触式传感器18接受来自用户的输入指示。而且，显示处理装置100基于接受的输入指示进行动作。

通过CPU11、输入键15、接触式传感器18以及图像传感器19等协同进行动作，来发挥取得部140的功能。

决定部150根据取得部140取得的周围图像数据取得像素信息，基于该像素信息区分颜色，由此根据周围图像决定代表性的颜色。在此，代表性的颜色典型地是指占有规定的阈值区域以上的颜色、多种颜色中的占有比例最大的颜色等。例如，决定部150按照周围图像数据的各个像素判断色调、色度以及亮度等，由此判定该像素的颜色成分。而且，决定部150基于判定出的颜色成分占该周围图像的比例，来决定代表性的颜色。

此外，决定部150在取得部140取得的周围图像中存在人物的情况下决定该人物的类别。在此，人物的类别典型地是指性别、年龄、时代、人种等能够确定人物的任意的特征。决定部150例如检测被映摄在周围图像中的人物的脸部区域，基于该脸部区域的特征点所具有的似然度(likelihood)，来决定人物的类别。在此，特征点例如是指眼睛的颜色、头发的颜色、肌肤的颜色、脸的轮廓等脸部区域的任意的点及区域。此外，决定人物的类别的方法能够利用公知的方法，此前，包括日本国特开2007-280291号公报记载的内容，参考该内容。

为了检测在被映摄在周围图像中的人物的脸部区域，决定部150基于取得部140取得的周围图像数据，搜索该周围图像数据所表示的周围图像中的关注区域即人物的脸部区域。在此，关注区域是指映摄有主要被摄体(人物)的区域，典型地是指映摄有人物的脸的脸部区域。决定部150例如利用预先准备的包括规定的脸(主要被摄体)的图像的模板图像，通过模板匹配等，来搜索与模板图像相类似的程度在规定基准以上的区域。这样的区域为关注区域，如果是该区域，则决定部150将该区域检测为关注区域。这样的关注区域的搜索和检测能够利用公知技术(所谓脸检测等的技术)。

另外，在关注区域具有多个候补的情况下，决定部150例如能够将其中的随机决定的一个候补作为关注区域。此外，决定部150在利用一个周围图像数据而没能够检测出关注区域的情况下，还能够利用取得部140接下来取得的周围图像数据检测关注区域。

通过CPU11以及RAM12等协同进行动作，来发挥决定部150的功能。

变换部160将存储在存储部130中的数据或取得部140取得的图像数据变换为规定形式的图像数据。例如，对于照片图像，变换部160能够将画风变换为粉彩画(pastel drawing)、水墨画、水彩画、铅笔画、日本画或西洋画等。变换部160能够对图像数据以及该图像数据所表示的图像施加任意的修正和调整。

在此，艺术效果是指给与特殊的视觉特征的效果。

此外，粉彩画典型地是指利用粉彩(pastel)来描绘的图像，还包括通过该粉彩的特征即鲜艳的颜色和柔和来表现的图像。

此外，水墨画典型地是指利用墨来描绘的图像，还包括通过墨的线条和墨的晕映所形成的浓淡或抑扬感来表现的图像。

此外，水彩画典型地是指利用水彩颜料描绘的图像，还包括通过晕映、淡度、暖调等来表现的图像。

此外，铅笔画典型地是指利用铅笔描绘的图像，还包括通过该铅笔的特征即颜色的浓淡来表现的图像。

此外，日本画典型地是指绘画的主题或样式具有日本的特征的图像，还包括描绘有日本风景的图像或描绘有日本人的图像。

此外，西洋画典型地是指绘画的主题或样式具有西洋的特征的图像，还包括描绘有西洋的风景的图像或描绘有西洋人的图像。

此外，画风是指图像中的视觉印象，还包括绘画中表现的画家或流派的特色或倾向，或者绘画的表现方式的特征或倾向。

画风的变换是通过对图像数据所表示的图像施加改变画风的图像处理而进行的。这样的图像处理是通过效果与在处理光栅形式的图像数据的图形软件(所谓绘图类软件(例如PHOTOSHOP(注册商标))中使用的滤镜(艺术滤镜(art filter))等相同的图像处理来进行的。在该图像处理中，原图像数据所表示的图像的各种参数被改变，例如，生成粉彩风格的图像等的变换图像。该情况下的图像处理的种类是任意的，能够适于能够通过可执行的图像处理实现的各种图像变换(例如，向黑白风格的变换、向棕褐色(sepia)风格的变换、向柔焦(soft focus)风格的变换、向鲜亮(vivid)风格的变换、向马赛克(mosaic)风格的变换、向袖珍(mini-tune)照片格调的变换等)。

另外，上述的参数是实施图像处理时使用的各种数值。这样的参数是表示图像的性质的数值，由例如亮度、变换的细致程度、平滑程度、纹理(texture)中的值等，因图像处理的种类(变更的画风的种类)而由各种值构成。在此，由该参数表现画风的变更度。变更度是以何种程度的强度进行图像变换处理的作为标准的值，是将图像处理前后的图像进行对比时的变化的程度。

通过CPU11以及RAM12等协同进行动作来发挥变换部160的功能。

接着，说明本实施方式的显示处理装置100所执行的图像处理。图6是表示图像处理的流程的流程图。以下，参照本图进行说明。

首先，存储部130存储用于使显示部110进行显示的图像数据(步骤S101)。例如，通过存储卡或红外线通信取得由数码摄像机或带摄像机的便携式电话拍摄的图像数据，并将该图像数据存储在存储部130中。

接着，取得部140通过对显示处理装置100的周围进行拍摄，而取得周围图像数据(步骤S102)。取得部140例如在存在来自用户的指示的情况下、到达规定的时间的情况下、周围的环境发生变化的情况下、存在于显示处理装置100周围的人物发生了移动的情况下等时机，通过对显示处理装置100的周围进行拍摄，来取得周围图像数据。而且，取得的周围图像数据存储在存储部130中。

图5A以及5B是表示周围图像的一个例子的图。取得部140拍摄例如图5A所示的包括有室内的桌子200的图像，来取得周围图像数据。此外，取得部140在如图5B所示那样在显示处理装置100的周围存在人物的情况下，拍摄包括有该人物的图像，来取得周围图像数据。

接着，决定部150根据存储在存储部130中的周围图像数据来取得像素信息，基于该像素信息区分颜色，由此根据周围图像决定代表性的颜色(步骤S103)。决定部150按照周围图像数据的各个像素，判断例如色调、色度及亮度等，从而判定该像素的颜色成分。而且，决定部150基于判定出的颜色成分占该周围图像的比例来决定代表性的颜色。

图7是为了说明代表性的颜色的决定方法的易于理解的简图。如果将该图中所示的1个单位作为1个像素，则整个图像为25个像素。而且，25个像素中的表示黑色的像素数为5，表示白色的像素数为20。因此，颜色成分的比例中黑色的比例为5/25＝20％，白色的比例为20/25＝80％。因此，在将占有比例最大的颜色成分作为代表性的颜色的情况下，将白色决定为代表性的颜色。

图8是表示周围图像中含有的颜色成分的分类例的图。如该图所示，求出各个颜色成分的比例，基于该比例决定代表性的颜色。在该图中，由于白色的比例最大，所以将白色决定为代表性的颜色。

此外，例如，在包括有图5A所示的桌子200的周围图像的情况下，决定部150将比例最大的颜色即白色决定为代表性的颜色。

另外，决定部150能够通过任意的方法决定代表性的颜色。例如，决定部150能够不是按照各个像素而是将周围图像分割为多个(例如100)按照该分割出的各个图像来判断颜色成分，由此决定代表性的颜色。此外，决定部150还能够根据多个周围图像数据决定代表性的颜色。由此，能够决定用于代表周围的适当的颜色。

此外，代表性的颜色不限于1种颜色，也可以是多种颜色。另外，颜色成分的分类数为任意，例如16、256等。

此外，决定部150在取得部140取得的周围图像中映摄有人物的情况下，决定该人物的类别(步骤103)。决定部150例如检测映摄在周围图像中的人物的脸部区域，基于该脸部区域的特征点所具有的似然度，来决定人物的类别。而且，基于决定的人物的类别，变换图像。例如，在包括有图5B所示的人物300的周围图像的情况下，决定部150检测人物300的脸部区域，基于该脸部区域的特征点所具有的似然度，将人物300的类别决定为幼儿。

此外，决定部150能够基于每隔规定的时间间隔取得并存储的周围图像数据，决定代表性的颜色或人物的类别。例如，在每隔规定的时间间隔取得的周围图像数据存在10个的情况下，决定部150根据该10个周围图像数据，决定代表性的颜色或人物的类别。由于随着时间的变化，显示处理装置100的周围也变化，所以取得的周围图像也变化。而且，如果根据每隔规定的时间间隔取得的周围图像数据决定代表性的颜色或人物的类别，则基于该代表性的颜色或人物的类别而变换的变换图像也随着时间变化。因此，由于能够使变换图像随着时间变化，所以能够适当地显示用户所希望的图像。

另外，决定部150还能够从多个周围图像数据提取全部或一部分数据，基于该提取的数据，决定颜色或人物的类别。

接着，变换部160基于决定出的代表性的颜色或人物的类别，对存储在存储部130中的图像数据进行变换(步骤S104)。变换部160对图像数据进行变换，以使显示处理装置100的周围的颜色与由显示处理装置100显示的图像的颜色相一致。在此，周围的颜色是指占据显示处理装置100的周围的颜色，典型地是与根据周围图像数据决定的代表性的颜色相当的颜色。

图9A是表示变换前的图像的一个例子的图，图9B以及9C是表示变换后的图像的一个例子的图。在此，变换前的图像典型地是指由数码摄像机或带摄像机的便携式电话拍摄的图像。例如，如图9A以及9B所示，变换部160在代表性的颜色为灰色的情况下，将由数码摄像机等拍摄的通常的图像变换为由灰色的颜色构成的浮雕风格的图像。在此，浮雕风格是指将文字或图案等加工为浮雕的表现形式或立体的表现形式。

另外，代表性的颜色为哪种颜色时进行何种变换是任意的，还能够由用户任意设定。变换部160还能够在代表性的颜色为白色的情况下将图像变换为表示淡颜色的粉彩风格的画风，并且还能够在代表性的颜色为蓝色的情况下将图像变换为水彩画风，并且还能够在代表性的颜色为黑色的情况下将图像变换为水墨画风。由此，能够显示画风与周围的颜色一致的图像。在周围的颜色为蓝色的情况下，即在代表性的颜色为蓝色的情况下，通过将要显示的图像变换为水彩画风，能够显示与周围的颜色匹配的图像。

此外，变换部160还能够对图像数据进行变换，以使与决定的代表性的颜色相同或类似的颜色被涂敷规定的阈值区域以上。在此，类似的颜色典型地是指色调差小的颜色，还包括颜色的性质相似的颜色。由此，能够显示与周围的颜色一致的图像。

此外，在所有的颜色成分的比例都小于规定值而不存在代表性的颜色的情况下，变换部160能够随机地对图像数据进行变换。

此外，变换部160还能够在取得部140取得的周围图像中映摄有人物的情况下与该人物相对应地对图像进行变换。例如，在周围图像中映摄有幼儿的情况下，如图9A以及9C所示，变换部160将由数码摄像机等拍摄的通常的图像变换为铅笔画风的图像。由于幼儿有希望用彩色铅笔进行绘画的倾向，所以在周围图像中映摄有幼儿的情况下，显示铅笔画风的图像给幼儿看，能够使幼儿高兴。

另外，人物的类别为哪种类别时进行何种变换是任意的，还能够由用户任意设定。例如，变换部160还能够在人物的类别为日本人的情况下将图像变换为日本画风，并且还能够在人物的类别为西洋人的情况下将图像变换为西洋画风。由此，能够显示特定人物的特别喜欢的图像。

图10是代表性的颜色或人物的类别与画风之间的对应表的一个例子。如该图所示，变换部160例如与决定的颜色或人物的类别相对应地变换将要显示的图像的画风。

此外，在用户与该用户所希望的画风对应地进行存储的情况下，变换部160还能够在取得部140取得的周围图像中映摄有该用户时，将图像变换为该用户所希望的画风。由此，能够显示用户所希望的图像。

接着，显示部110显示变换后的图像数据所表示变换图像(步骤S105)。显示部110例如显示图9B所示的变换图像。显示部110还能够如幻灯片显示那样一个接一个地显示变换图像，并且还能够持续显示同一变换图像。

通过以上的处理，能够使由显示处理装置100显示的图像的画风与配置有该显示处理装置100的周围的颜色对应，来显示符合周围环境的图像。此外，能够显示用户所希望的图像。

另外，本发明不限于上述的实施方式，能够进行各种变形以及应用。

上述的硬件结构和流程图为一个例子，能够任意地进行变更以及修正。

由显示部110、控制部120、存储部130、取得部140、决定部150以及变换部160等构成的显示处理装置100的进行处理的成为中心的部分不限于数码相框，还能够利用通常的计算机系统实现。例如，还可以构成将用于执行上述动作的计算机程序存储在计算机可读取的记录介质(软盘、CD-ROM、DVD-ROM等)中并进行分发、将该计算机程序安装在计算机中、由此来执行上述处理的显示处理装置100。此外，可以在网络等通信网络上的服务器装置所具有的存储装置中预先存储该计算机程序，通常的计算机系统进行下载，由此构成显示处理装置100。

此外，在显示处理装置100的功能由OS(操作系统)与应用软件程序的分担或通过OS与应用软件程序的协同来实现的情况下等，可以仅将应用软件程序部分存储在记录介质或存储装置中。

此外，还能够使计算机程序与载波重叠，经由通信网络发布该计算机程序。例如，可以在通信网络上的电子公告栏系统(BBS：Bulletin BoardSystem)上登载上述计算机程序，经由网络发布上述计算机程序。而且，通过启动该计算机程序，在OS的控制下，与其他的应用软件程序同样地执行该计算机程序，由此来执行上述处理。

如以上所说明的那样，根据本发明的实施方式，能够提供适于显示用户所希望的图像的显示处理装置。

Claims (4)

1.一种显示处理装置，显示图像数据所表示的图像，具备：

存储部，存储上述图像数据；

取得部，取得周围图像数据，该周围图像数据用于表示上述显示处理装置配置处的周围的图像；

决定部，决定在取得的上述周围图像数据所表示的周围图像中占最大比例的颜色，或决定根据包括在该周围图像中的人物的脸部区域判断出的人物的类别；

变换部，将上述存储部所存储的上述图像数据所表示的图像变换为与决定的上述颜色或上述人物的类别对应的规定的画风；以及

显示部，显示变换后的上述图像数据所表示的变换图像。

2.根据权利要求1所述的显示处理装置，其中，

上述变换部对上述图像数据进行变换，以使与决定的上述颜色相同或类似的颜色在上述变换图像中占最大比例。

3.根据权利要求1所述的显示处理装置，其中，

上述取得部每隔规定的时间间隔取得周围图像数据，

上述决定部根据每隔上述规定的时间间隔取得的各个周围图像数据，决定上述颜色或人物的类别。

4.根据权利要求1所述的显示处理装置，其中，

上述变换部，

在上述决定的人物是幼儿的情况下，将上述图像数据变换为铅笔画风，

在上述决定的人物是日本人的情况下，将上述图像数据变换为日本画风，

在上述决定的人物是西洋人的情况下，将上述图像数据变换为西洋画风。

Images