CN102045471B - 摄像图像处理系统及图像输出方法 - Google Patents

摄像图像处理系统及图像输出方法 Download PDF

Info

Publication number
CN102045471B
CN102045471B CN2010105064853A CN201010506485A CN102045471B CN 102045471 B CN102045471 B CN 102045471B CN 2010105064853 A CN2010105064853 A CN 2010105064853A CN 201010506485 A CN201010506485 A CN 201010506485A CN 102045471 B CN102045471 B CN 102045471B
Authority
CN
China
Prior art keywords
mentioned
photographed images
data
image output
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105064853A
Other languages
English (en)
Other versions
CN102045471A (zh
Inventor
滨田和之
早崎真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102045471A publication Critical patent/CN102045471A/zh
Application granted granted Critical
Publication of CN102045471B publication Critical patent/CN102045471B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/444Restricting access, e.g. according to user identity to a particular document or image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0082Image hardcopy reproducer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Transmission Control (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及摄像图像处理系统及图像输出方法,便携终端装置具备使用参照数据表对摄像图像数据进行编码的编码部,对编码后的摄像图像数据,附加与该参照数据表对应的公共代码和由用户输入设定的输出设备ID,并发送给图像输出装置。另一方面,图像输出装置在接收到的输出设备ID与自身装置的输出设备ID一致的情况下,利用与公共代码对应的逆变换表解码摄像图像数据并进行输出。由此,可使通过便携终端装置的摄像而得到的图像数据具有隐匿性。并且,即便在预定了图像输出的特定图像输出装置发生了故障等任何麻烦的情况下,也可由其他图像输出装置进行图像输出。

Description

摄像图像处理系统及图像输出方法
技术领域
本发明涉及一种利用图像输出装置输出由便携终端装置拍摄的图像的摄像图像处理系统。
背景技术
伴随着因特网技术的发展,对利用移动电话等便携终端装置拍摄的图像进行保存的机会不断增加。而且,除了单纯地将风景或人物等设为被摄体之外,拍摄在各种展览等中展示的说明图、说明书、或学会等中播放的幻灯片的机会也增大。为了打印所拍摄的图像,一般从便携终端装置向复合机等具有打印功能的图像输出装置传输图像数据,并进行打印。
专利文献1中记载了如下的技术:用户借助网络向服务器发送由数码相机或带相机的PDA、便携电脑等便携终端装置收集到的数字图像数据。然后,在服务器中,将接收到的数字图像数据编辑成规定的文档格式,作为声音代码图像或文本图像,粘贴到上述文档格式的规定区域,将该文档作为特定用途的报告书保存到记录介质中,或打印为纸件文档,或经由网络发送给特定的站点。
但是,在专利文献1的技术中,由于图像数据不具有隐匿性,所以担心在错误发送给不期望的图像输出装置的情况下,导致图像数据被输出。因此,要求使通过移动电话或数码相机进行摄像而得到的图像数据具有隐匿性,仅由特定的图像输出装置进行打印。作为满足这种要求的方法,例如可考虑专利文献2中记载的方法。即,根据作为特定的图像输出装置固有的信息的制造编号,生成加密密钥,存储到图像输出装置的硬盘等存储器中,并且,将加密密钥输入到移动电话或数码相机中。然后,使用该加密密钥对拍摄到的图像数据进行加密,并发送给图像输出装置,在图像输出装置中使用存储的加密密钥,将接收数据解码。
专利文献1:日本公开专利公报“特开2002-41502号公报(2002年2月8日公开)”
专利文献2:日本公开专利公报“特开2005-6177号公报(2005年1月6日公开)”
但是,在如专利文献2那样只有特定的图像输出装置能够输出的情况下,当该图像输出装置发生故障时或发生调色剂用尽等故障时,会产生不能打印的状况这一问题。
发明内容
本发明为了解决上述问题而提出,其目的在于,提供一种使通过便携终端装置摄像而得到的图像数据具有隐匿性,并且即便在预定了图像输出的特定图像输出装置发生故障等任何麻烦的情况下,也可由其他图像输出装置进行图像输出的摄像图像处理系统、图像输出方法、程序及记录介质。
为了解决上述问题,本发明的摄像图像处理系统具备:具有摄像机构的便携终端装置、和多个图像输出装置,上述便携终端装置与上述图像输出装置能够通信,其中,上述便携终端装置具备至少存储一个用于编码图像数据的编码信息的第1存储机构,上述多个图像输出装置分别具备第2存储机构,该第2存储机构存储用于解码由上述编码信息编码的图像数据的解码信息,并且存储用于识别自身装置的第1识别信息,对于各编码信息与和该编码信息对应的解码信息的组合,预先分配用于识别该组合的第2识别信息,上述第1存储机构将各编码信息与对包含该编码信息的上述组合进行识别的上述第2识别信息对应存储,上述第2存储机构将各解码信息与对包含该解码信息的上述组合进行识别的上述第2识别信息对应存储,上述便携终端装置具备:编码部,使用上述第1存储机构存储的编码信息,编码通过上述摄像机构的摄像而得到的摄像图像数据;和图像数据发送部,对由上述编码部编码后的摄像图像数据,附加与上述编码部所使用的编码信息对应的第2识别信息和由用户输入设定的第1识别信息,并发送给由用户指定的图像输出装置;上述图像输出装置具备:图像数据接收部,从上述便携终端装置接收被附加了第1识别信息及第2识别信息的摄像图像数据;判定部,判定上述图像数据接收部接收到的第1识别信息与上述第2存储机构中存储的第1识别信息是否一致;解码部,在由上述判定部判定为一致的情况下,从上述第2存储机构中读出与上述图像数据接收部接收到的第2识别信息对应的解码信息,并使用该解码信息,解码上述图像数据接收部接收到的摄像图像数据;和输出部,输出由上述解码部解码后的摄像图像数据、或由该解码后的摄像图像数据表示的图像。
根据本发明,可以使通过便携终端装置的摄像而得到的图像数据具有隐匿性,并且,即便在预定了图像输出的特定图像输出装置发生了故障等任何麻烦的情况下,也可以由其他图像输出装置进行图像输出。
附图说明
图1是表示本发明的一个实施方式涉及的便携终端装置的构成的框图。
图2是表示本发明的一个实施方式涉及的摄像图像处理系统的整体构成的图。
图3是表示便携终端装置与图像输出装置之间的信息通信的方法的图。
图4是表示便携终端装置与图像输出装置之间的信息交换的图。
图5是表示路径代码(pass code)的构成的图。
图6是表示路径代码的一例的图。
图7是表示路径代码的另一例的图。
图8表示按正规的像素位置的顺序排列的摄像图像数据。
图9是表示置乱(shuffling)处理的内容的图。
图10是表示摄像图像数据的尺寸比参照数据表的尺寸大时的编码方法的图。
图11是表示本发明的一个实施方式涉及的图像输出装置的构成的框图。
图12是表示本发明的一个实施方式涉及的图像输出装置所具有的图像处理部的构成的框图。
图13是表示图像的色平衡调整时生成的查找表的一例的图。
图14是表示便携终端装置的处理流程的流程图。
图15是表示图像输出装置的处理流程整体的流程图。
图16是表示参照数据表的选择处理的图。
图17是表示置乱方法b的一例的图。
图18是表示置乱方法b的另一例的图。
图19是表示公共子代码的构成的图。
图20是表示图像的倾斜检测例的图。
图21表示了图20的倾斜检测例中的倾斜角度θ与其正切值。
图22是表示图像的几何学失真的检测例的图。
图23是表示图像中的摄像对象物的边缘检测处理例的图。
图24是表示图像的光栅方向的边缘检测例的图。
图25是表示图像的偏差程度检测例的1次微分滤波例的图。
图26是表示图像输出装置所具有的图像处理部的变形例的框图。
图27是表示图像的透镜失真的修正例的图。
图28是表示图像的几何学失真及倾斜的修正例的图。
图29是表示图像的再构成像素值的决定例的图。
图30是表示高分辨率修正的另一个处理流程的流程图。
图31表示了高分辨率图像数据中的基准像素与内插像素。
图32(a)是表示边缘方向是左上-右下方向时,内插像素的像素值计算方法的图。
图32(b)是表示边缘方向是左-右方向时,内插像素的像素值计算方法的图。
图32(c)是表示边缘方向是右上-左下方向时,内插像素的像素值计算方法的图。
图32(d)是表示边缘方向是上-下方向时,内插像素的像素值计算方法的图。
图33是表示表的取得方式b的图。
图34是表示表的取得方式c的图。
图35是表示表的取得方式d的图。
图36是表示表的取得方式f的图。
图37是表示表的取得方式h的一例的图。
图38是表示表的取得方式h的另一例的图。
图39是表示公共子代码的变形例的图。
图40是表示使用公开密钥及秘密密钥的变形方式的一例的图。
图41是表示使用公开密钥及秘密密钥的变形方式的另一例的图。
符号说明:100-便携终端装置;101-摄像部(摄像机构);103a-表选择部;103b-编码部;104-通信部(图像数据发送部);106-输入部;108-存储部(第1存储机构);109-控制部(图像数据发送部);110-ID受理部;111-表取得部;112-路径代码设定部;200-图像输出装置;202、202a-图像处理部;203-认证部(判定部);204-图像形成部(输出部);207-第1通信部(图像数据接收部);208-第2通信部(输出部);210-存储部(第2存储机构);211-密码(password)受理部;212-控制部(输出部);222-解码部;225-高分辨率修正部。
具体实施方式
下面,详细说明本发明的实施方式。
(1)摄像图像处理系统的整体构成
图2是表示本发明涉及的摄像图像处理系统的整体构成的图。如图2所示,摄像图像处理系统具备:带相机的移动电话、具有数码相机等摄像机构的便携终端装置100、以及复合机、打印机(图像形成装置)等多个图像输出装置200(200-1、200-2、...)。
便携终端装置100能够由用户携带。用户可在各种情况下利用便携终端装置100对对象物进行摄像。而且,便携终端装置100具有用户能够从图像输出装置200得到所拍摄的图像的摄像模式、即图像输出模式的功能。
便携终端装置100与图像输出装置200可通信,便携终端装置100将以图像输出模式拍摄的图像数据(下面称为摄像图像数据)发送给图像输出装置200。
图像输出装置200进行从便携终端装置100接收到的摄像图像数据的输出处理。
其中,作为便携终端装置100与图像输出装置200的通信方式,有(i)如图3中由符号A所示那样,基于IrSimple等红外线通信标准之一的无线通信方式,或(ii)如符号B所示,通过Felica(注册商标)那样的非接触无线通信,从便携终端装置100向中继装置300暂时发送摄像图像数据,然后,使用例如Bluetooth(注册商标)那样的无线通信,从该中继装置300向图像输出装置200传输数据的方式。在本实施方式中,用户来到图像输出装置200之前后开始操作便携终端装置100,使用红外线通信那样的近距离无线通信方式,从便携终端装置100向图像输出装置200传输数据。另外,便携终端装置100与图像输出装置200之间的通信方式不限于此,可采用使用了公知的通信方法的通信方式。
而且,在本实施方式涉及的摄像图像处理系统中,为了即便用户错误地向不期望的图像输出装置200发送了摄像图像数据,该图像输出装置200也不输出图像,具有如下的构成。
图4是表示便携终端装置100与图像输出装置200之间的信息通信的图。如图4所示,作为用于进行图像输出的事前处理,便携终端装置100从用户希望进行由该便携终端装置100拍摄的图像的输出的图像输出装置200,预先取得用于识别该图像输出装置200的输出设备ID(第1识别信息)。输出设备ID例如是图像输出装置200的制造编号。
另外,便携终端装置100在预先存储用于编码(加密)摄像图像数据的编码信息(后述的参照数据表)的同时,预先存储图像输出装置200用于解码由该编码信息编码的摄像图像数据的解码信息(后述的逆变换表)。并且,预先决定用于确定该编码信息及解码信息的公共代码(第2识别信息)。
而且,作为用于请求图像输出的处理(输出请求处理),便携终端装置100将使用编码信息而编码的摄像图像数据与公共代码及输出设备ID一起发送给图像输出装置200。然后,在图像输出装置200中,当输出设备ID与自身的ID相同时,使用由公共代码确定的解码信息,解码摄像图像数据,并执行图像输出。
由此,即便错误地对不期望的图像输出装置200、即未预先取得输出设备ID的图像输出装置200发送了摄像图像数据,在该图像输出装置200中也不执行图像输出。而且,即便在通信过程中窃听到摄像图像数据,由于已被编码,所以也不容易判别正常的图像,可确保隐匿性。另外,通过预先从多个图像输出装置200取得输出设备ID,当进行图像输出时,在该多个图像输出装置200中的一个因故障等不能执行输出动作的情况下,可容易地使其他图像输出装置200执行图像输出。
其中,如图4所示,作为事前处理,便携终端装置100也可对图像输出装置200预先登录密码。此时,便携终端装置100使输出设备ID及公共代码一同被附加密码后,将摄像图像数据发送给图像输出装置200。然后,只要图像输出装置200仅在图像数据中附加的输出设备ID与自身的ID相同、且图像数据中附加的密码与事先登录的密码相同的情况下,输出使用由公共代码确定的解码信息而被解码的摄像图像数据即可。由此,可使安全性提高。
在下面的说明中,便携终端装置100在发送摄像图像数据时,对其附加预先从图像输出装置200取得的输出设备ID、预先与图像输出装置200之间设定的密码和公共代码之后进行发送。而且,如图5所示,将输出设备ID、密码及公共代码统称为路径代码。
图6是表示路径代码的一例的图。需要说明的是,图6是对输出设备ID为“ID0001”“ID0002”“ID0003”这3台图像输出装置200,设定了相同的公共代码时的路径代码的一例。在本例中,虽然预定了由输出设备ID为“ID0001”的图像输出装置200-1输出,但在向图像输出装置200-1发送摄像图像数据时,该图像输出装置200-1因故障等未动作的情况下,用户通过向输出设备ID为“ID0002”的图像输出装置200-2发送摄像图像数据,可容易地获得输出图像。
另外,图7是表示路径代码的另一例的图。图7是对3台图像输出装置200设定了不同的公共代码及密码时的路径代码的一例。在本例中,图像数据A仅能由输出设备ID为“ID0001”的图像输出装置200-1输出,即便对其他的图像输出装置200-2、3错误地发送,也可以防止从该其他图像输出装置200-2、3输出图像。
下面,对本实施方式中使用的编码(加密)的概要进行说明。首先,说明加密前的摄像图像数据的数据排列。图8表示了通过便携终端装置100的摄像得到的加密前的摄像图像数据。摄像图像数据由各像素位置上的0-255的浓度数据(像素值)构成。如图8所示,在加密前的摄像图像数据中,各像素的浓度数据按正规的像素位置的顺序排列配置。其中,图8中的数字表示了正规的像素位置的坐标。另外,作为浓度数据,存在RGB各色的数据。因此,摄像图像数据相对于RGB的各平面,由与图8一样的数据排列的浓度数据构成。
在本实施方式中,作为加密处理,执行对图8所示那样的按正规的像素位置的顺序排列的摄像图像数据,变更像素位置的排列顺序的置乱处理。
例如图9所示,作为编码信息,使用参照数据表,对按正规的像素位置的顺序排列配置的摄像图像数据,进行像素位置的置换。在图9所示的例子中,对RGB色成分的每个使用了相同的置乱方法。图9中,摄像图像数据内的数字表示了正规的像素位置。
这里,作为编码信息的参照数据表包含对编码前的摄像图像数据中的像素位置、与编码后的摄像图像数据中的像素位置的对应关系进行表示的信息。例如,在参照数据表中,当写入将像素位置变更为(i=0,j=0)→(i=0,j=0)、(i=1,j=0)→(i=5,j=4)、(i=2,j=0)→(i=2,j=7)这一信息的情况下,可将图9(a)所示的数据排列变更为图9(b)所示的数据排列。
另外,虽然图9所示的例子的情况表示了摄像图像数据由8×8像素形成时的例子,但通过扩展同样的想法,也可适用于10000×10000像素的图像数据,不应认为对要变换的像素数有限制。
例如,也可以对摄像图像数据整体使用与图像数据尺寸对应的参照数据表,进行1次置乱。或者,在摄像图像数据比参照数据表的大小大的情况下,只要将摄像图像数据分割成具有参照数据表的大小的多个块,并对各块使用参照数据表执行置乱处理即可。具体而言,如图10所示,在具有8×8参照数据表的情况下,将16×16摄像图像数据分割成8×8的4个块(1)-(4),并对各块执行使用了相同尺寸的参照数据表的置乱处理。
然后,便携终端装置100将利用参照数据表执行了置乱处理的摄像图像数据发送给图像输出装置200。在图像输出装置200中,使用作为解码信息的逆变换表,解码从便携终端装置100接收到的摄像图像数据,进行图像输出。
这里,逆变换表是用于将利用参照数据表置乱后的摄像图像数据的像素位置,恢复成正规的像素位置的表,包含对解码前的摄像图像数据中的像素位置、与解码后的摄像图像数据中的像素位置的对应关系进行表示的信息。例如,在与图9所示的参照数据表对应的逆变换表中,写入了将像素位置变更为(i=0,j=0)→(i=0,j=0)、(i=5,j=4)→(i=1,j=0)、(i=2,j=7)→(i=2,j=0)这一信息。
为了执行以上那样的加密及解码,便携终端装置100预先存储了参照数据表作为编码信息,并且,图像输出装置200预先存储了与该参照数据表对应的逆变换表,作为解码信息。而且,上述的公共代码是表示一对的参照数据表及逆变换表(即一个参照数据表与对应的逆变换表的组合)的表编号,利用该公共代码可确定参照数据表及逆变换表。
下面,说明构成本实施方式的摄像图像处理系统的便携终端装置100、图像输出装置200的详细情况。
(2)便携终端装置的构成
首先,根据图1,说明本实施方式涉及的便携终端装置100。图1是表示便携终端装.100的构成的框图。如图1所示,便携终端装置100具备:ID受理部110、表取得部111、路径代码设定部112、摄像部(摄像机构)101、摄像图像判定部102、图像处理部103、通信部(图像数据发送部)104、显示部105、输入部106、记录介质访问部107、存储部(第1存储机构)108、控制部(图像数据发送部)109。
ID受理部110借助通信部104与图像输出装置200进行通信,取得对该图像输出装置200进行识别的输出设备ID(第1识别信息)。ID受理部110在取得输出设备ID时,将输入部106被输入的密码发送给图像输出装置200。然后,ID受理部110将取得的输出设备ID以及发送给图像输出装置200的密码存储到存储部108中。
表取得部111取得用于对摄像图像数据进行置乱处理的上述参照数据表。表取得部111在ID受理部110取得了输出设备ID时,取得图像输出装置200所存储的多个参照数据表与用于识别各参照数据表的公共代码(这里为表编号)(第2识别信息),并将取得的公共代码与参照数据表对应存储到存储部108中。
另外,如后所述,本实施方式的摄像图像处理系统中包含的多个图像输出装置200,分别存储了相同的参照数据表及公共代码。因此,表取得部111仅在存储部108中未存储参照数据表的情况下,执行参照数据表的取得处理。即,ID受理部110仅在最初取得输出设备ID时执行参照数据表的取得处理。
路径代码设定部112对通过图像输出模式下的摄像而得到的摄像图像数据,设定图5所示那样的由输出设备ID、密码和公共代码构成的路径代码。路径代码设定部112将设定后的路径代码与摄像图像数据对应存储到存储部108中。
路径代码设定部112在显示部105中显示用于输入输出设备ID、密码及公共代码的画面,根据对输入部106的输入来设定路径代码。此时,路径代码设定部112也可以在显示部105上显示存储部108中存储的输出设备ID的一览,对应于用户输入来选择其中的一个。而且,路径代码设定部112可以在显示部105上显示存储部108中存储的公共代码的一览,对应于用户输入来选择其中的一个。另外,对于密码,路径代码设定部112可以在显示部105上显示存储部108中存储的密码的一览,对应于用户输入来选择其中的一个,或在显示部105上显示直接输入构成密码的字符或记号的指示,并对应于用户输入来设定密码。
然后,路径代码设定部112生成由对应于用户输入而设定的输出设备ID、密码及公共代码构成的路径代码。
需要说明的是,路径代码设定部112只要在将摄像图像数据发送给图像输出装置200之前,进行路径代码的设定处理即可。即,可以在摄像时设定路径代码,也可以在摄像之后、将摄像图像数据发送给图像输出装置200之前设定路径代码。
摄像部101使用CCD传感器、CMOS传感器,进行摄像对象物的摄像,输出通过摄像得到的摄像图像数据。
当选择了图像输出模式时,摄像图像判定部102判定从摄像部101输出的摄像图像数据是否满足了是适合图像输出的图像数据用的处理执行条件。摄像图像判定部102将该判定结果输出到控制部109。摄像图像判定部102中的具体处理将在后面叙述。
图像处理部103对摄像部101拍摄到的图像数据进行A/D变换处理,并执行上述的置乱处理。
如图1所示,图像处理部103具备表选择部103a和编码部103b。
表选择部103a从存储部108中读出与路径代码设定部112设定的路径代码中的公共代码对应的参照数据表。
编码部103b使用由表选择部103a读出的参照数据表,执行摄像图像数据的置乱处理。然后,编码部103b将进行了编码(置乱处理)后的摄像图像数据存储到存储部108中。这里,在参照数据表的大小比摄像图像数据小的情况下,如图10所示,只要将摄像图像数据分割成具有与参照数据表相同大小的多个块,并对各块使用参照数据表,执行置乱处理即可。
其中,编码部103b对摄像图像数据的RGB的各平面,使用相同的参照数据表,执行置乱处理。
通信部104具有基于USB(Universal Serial Bus)1.1或USB2.0的标准的串行传输/并行传输、无线数据通信功能。通信部104将由摄像部101拍摄、由图像处理部103实施了包含置乱处理的图像处理后的摄像图像数据发送给图像输出装置200。其中,通信部104仅发送由摄像图像判定部102判定为满足了处理执行条件的摄像图像数据。另外,通信部104根据对输入部106的输入,从存储部108所存储的路径代码中,确定一个路径代码,并附加特定的路径代码后,将摄像图像数据输出到图像输出装置200。
显示部105例如由液晶显示器等构成。而且,输入部106具有多个按钮,用于用户进行数据输入。
记录介质访问部107从记录了用于进行便携终端装置100的各处理的程序的记录介质中,读出程序。
而且,存储部108存储用于执行便携终端装置100的各处理的程序、便携终端装置100的机型信息、用户信息或进行处理时必需的数据。其中,用户信息是指识别便携终端装置100的用户的信息,例如是用户ID及密码等。而且,进行处理时必需的数据是路径代码或将公共代码与参照数据表对应的信息。并且,存储部108对通过在图像输出模式下摄像而得到的摄像图像数据进行存储。
控制部109进行便携终端装置100的各部的控制。
具体而言,若输入部106被输入了输出设备ID的取得指示,则控制部109控制通信部104,开始与被指示的图像输出装置200的通信。然后,使ID受理部110执行输出设备ID的取得处理。此时,控制部109在显示部105中显示督促输入密码的画面。然后,控制部109控制ID受理部110,以便将被输入的密码发送给图像输出装置200,并且存储到存储部108中。
另外,在输入部106被输入了选择图像输出模式的指示时,控制部109在显示部105上显示督促输入图像输出装置200中的输出处理种类(打印处理、归档处理、邮件发送处理等)的选择指示、以及用于执行所选择的输出处理的设定条件(打印张数等打印条件、归档目的地的服务器地址、邮件的发送对象地址等)的画面。然后,控制部109从输入部106取得对输出处理的种类及输出处理的设定条件进行表示的输出处理信息。
然后,控制部109对由摄像图像判定部102判定为满足了处理执行条件的摄像图像数据附加文件名以及输出处理信息,暂时存储到存储部108中。
并且,在输入部106被输入了选择图像输出模式的指示的情况下,控制部109在显示部105中显示督促输入路径代码的选择指示的画面,并使表选择部103a执行与用户输入对应的参照数据表的选择处理。然后,使编码部103b对被选择了图像输出模式的摄像图像数据执行置乱处理。
然后,控制部109根据对输入部106的发送指示的输入,使通信部104执行将被实施了置乱处理后的摄像图像数据与根据文件名、输出处理信息以及用户输入而选择的路径代码一起发送给图像输出装置200的发送处理。
(3)摄像图像判定部的处理
下面,说明便携终端装置100的摄像图像判定部102中的具体判定处理。摄像图像判定部102判定摄像图像数据在亮度、对比度、色平衡、抖动(剧烈的手抖动)等方面是否满足规定的处理执行条件。
对于亮度,可考虑例如在过曝光(过亮)或曝光不足(过暗)的情况下需要再次摄像的情况。鉴于此,摄像图像判定部102例如求出图像数据的像素值中的最大值与最小值,若最大值为某一阈值(例如在8比特时为100等)以下,则认为曝光不足,若最小值为某一阈值(例如在8比特时为150等)以上,则认为过曝光,将上述的判定结果输出到控制部109。然后,当接收到曝光不足或过曝光的判定结果时,控制部109使显示部105显示该情况和以及督促再摄像的指示。或者,在曝光不足的情况下,控制部109进行设定变更,以增长摄像部101的曝光时间,在过曝光的情况下,进行设定变更,以缩短曝光时间。然后,控制部109可以向用户通知督促再摄像的指示。
对于对比度,摄像图像判定部102在图像数据的像素值中的最大、最小的差量值为规定阈值以下的情况下,判定为对比度不足。然后,控制部109若接收到对比度不足的判定结果,则使显示部105显示该情况以及督促再摄像的指示。
其中,对于亮度、对比度的判定,摄像图像判定部102可以对各色通道进行判定,也可以使用平均值(R+G+B/3)或明度值(0.299×R+0.587×G+0.114×B:NTSC标准)。
对于色平衡,通过进行各色通道(RGB)的平均值或最大、最小值的比较,可以把握某个通道中发生了过度的偏差。鉴于此,摄像图像判定部102例如求出摄像图像中具有最大明度值附近的值(最大明度~最大明度-5左右)的像素值的各色通道的值的平均值(Ra,Ga,Ba),在该各色通道的最大值与最小值的差量是与值对应的规定值以上[Max(Ra,Ga,Ba)-Min(Ra,Ga,Ba)>0.1×Max(Ra,Ga,Ba)]的情况下,判定为色平衡不佳。然后,当控制部109接收到色平衡不佳的判定结果时,使显示部105显示该情况以及督促再摄像的指示。
对于抖动(剧烈的手抖动:所谓运动模糊),由于发生时边缘的尖锐性低,所以摄像图像判定部102使用边缘提取滤波器,制作边缘强度图像,取得直方图,求出其标准偏差值(前述色散的平方根)。然后,在该标准偏差值为规定阈值(例如5)以下的情况下,判定为发生了抖动。然后,当控制部109接收到发生了抖动的判定结果时,使显示部105显示该情况以及督促再摄像的指示。
(4)图像输出装置的构成
下面,说明本实施方式涉及的图像输出装置200的构成。在本实施方式中,图像输出装置200是具备扫描仪、打印机、复印机等的功能的复合机。
图11是表示图像输出装置200的构成的框图。图像输出装置200具备:图像读取部201、密码受理部211、图像处理部202、认证部(判定部)203、图像形成部(输出部)204、显示部205、输入部206、第1通信部(图像数据接收部)207、第2通信部(输出部)208、记录介质访问部209、存储部(第2存储机构)210、和控制部(输出部)212。
图像读取部201用于读取原稿,具有具备CCD(Charge CoupledDevice)的扫描部,将从原稿反射的光变换成色分解为RGB的电信号(模拟的图像信号),并输出该电信号。
密码受理部211在从便携终端装置100接收到输出设备ID的发送请求时,将存储部210中存储的确定自身装置(图像输出装置200)的输出设备ID(第1识别信息)发送给该便携终端装置100。而且,密码受理部211将从便携终端装置100接收到的密码存储到存储部210中。并且,当密码受理部211从便携终端装置100接收到参照数据表的发送请求时,将存储部210中存储的所有参照数据表的每个与表示该参照数据表的表编号的公共代码(第2识别信息)对应,返回给便携终端装置100。
图像处理部202对图像数据进行规定的图像处理。在本实施方式中,图像处理部202对从便携终端装置100发送来的摄像图像数据实施解码处理。图像处理部202对摄像图像数据进行的图像处理的详细情况将在后面叙述。
认证部203在进行从便携终端装置100接收到的摄像图像数据的输出处理时,进行该摄像图像数据中附加的路径代码中的输出设备ID以及密码的认证。具体而言,认证部203在从便携终端装置100接收到的输出设备ID以及密码与存储部210中存储的输出设备ID及密码一致的情况下,判定为认证成功。认证部203将认证结果发送给控制部212。
图像形成部204例如使用电子照相方式或喷墨方式,在纸等记录用纸上形成图像。即,图像形成部204执行作为输出处理之一的打印处理。
显示部205例如由液晶显示器等构成。而且,输入部206例如通过按压液晶显示器的触摸屏或按钮等,来进行数据的输入。
第1通信部207具有基于USB1.1或USB2.0的标准的串行传输或并行传输、无线数据通信功能。第1通信部207从便携终端装置100接收被附加了文件名、便携终端装置100的机型信息、用户信息以及输出处理信息的摄像图像数据。
第2通信部208具有如下的数据通信的功能:(a)利用了基于作为无线LAN的标准的IEEE802.11a、IEEE802.11b以及IEEE802.11g之一的无线技术的数据通信,(b)具有利用了以太网(注册商标)的通信用接口的功能,通过LAN缆线与网络的数据通信,(c)利用基于作为无线通信标准的IEEE802.15.1(所谓的Bluetooth(注册商标))或IrSimple等红外线通信标准、Felica(注册商标)等通信方式之一的无线技术的数据通信。
作为输出处理,第2通信部208执行将摄像图像数据存储到服务器中的归档处理、或对添加了摄像图像数据的邮件进行发送的邮件发送处理。
记录介质访问部209从记录了程序的记录介质中读出程序。
存储部210用于存储上述各部执行处理用的程序以及各种信息。作为各种信息,存储部210存储了用于确定作为自身装置的图像输出装置200的输出设备ID、密码受理部211受理的密码及代码表对应信息。
这里,代码表对应信息是将公共代码(在本实施方式中为表编号)、由该公共代码识别的参照数据表、和用于将使用该参照数据表执行了置乱处理的图像数据恢复为原始图像数据的逆变换表相对应的信息。其中,存储部210存储了预先生成的多种参照数据表、和分别与其对应的逆变换表。
而且,在本实施方式中,摄像图像处理系统中包含的多个图像输出装置200各个具有的存储部210,分别预先存储了相同的代码表对应信息。因此,这些多个图像输出装置200若受理相同的公共代码,则可以特定相同的参照数据表及逆变换表。
控制部212进行图像输出装置200的各部的控制。具体而言,若第1通信部207从便携终端装置100接收到摄像图像数据和路径代码,则控制部212将该摄像图像数据和公共代码输出到图像处理部202,执行图像处理。而且,控制部212将附加于摄像图像数据的路径代码中的输出设备ID及密码输出到认证部203,使认证部203执行认证处理。
若从认证部203接收到认证成功的认证结果,则控制部212对图像处理部202执行了规定图像处理后的摄像图像数据,根据从便携终端装置100接收到的输出处理信息,执行处理。即,在输出处理信息表示打印处理的情况下,控制部212使图像形成部204执行基于由图像处理部202执行了图像处理后的摄像图像数据的打印。另外,在输出处理信息表示归档处理或邮件发送处理的情况下,控制部212使第2通信部208执行基于由图像处理部202执行了图像处理后的摄像图像数据的归档处理或邮件发送处理。
(5)参照数据表的生成方法
下面,说明存储部210中存储的参照数据表的生成方法。
参照数据表的各要素可通用在图像处理的半色调处理中使用的蓝噪声屏蔽(blue noise mask)的数据。作为蓝噪声屏蔽的数据生成方法,可使用日本公开专利公报“特开2002-44445”内介绍的文献“Proc.SPIE,1913,332-343(1993),R.Ulichney‘The Void-and-cluster method fordither array generation’”。在日本公开专利公报“特开2002-44445”中,上述文献中生成的蓝噪声存在如下问题,即:由于点随机而引起的局部粗糙、和半色调化时周期性重复配置随机图案,所以容易出现以矩阵尺寸为周期的大面积粗糙,造成画质降低,但在本实施方式中,由于以随机配置像素为目的,所以上述课题不成问题。
另外,参照数据表的各要素的生成也可以使用一般的随机噪声来生成。
而且,将如此生成的参照数据表预先保存到各图像输出装置200的存储部210中。
(6)图像处理部中的图像处理
下面,说明图像处理部202执行的图像处理的详细内容。需要说明的是,虽然图像处理部202对图像读取部201读取的图像数据也进行图像处理,但这里说明对从便携终端装置100接收到的摄像图像数据的图像处理的内容。
图12是表示图像处理部202的内部构成的框图。如图1所示,图像处理部202具备画质调整部221和解码部222。下面,依次说明各部的具体处理内容。
(6-1)解码部
解码部222对被实施了置乱处理的摄像图像数据执行解码处理。
解码部222从存储部210中读出与附加于摄像图像数据的路径代码中的公共代码对应的逆变换表。然后,解码部222与置乱处理同样地使用读出的逆变换表,变更摄像图像数据的像素位置。由此,在公共代码为正规代码的情况下,解码部222可以生成按正规的顺序排列了像素位置的摄像图像数据。
(6-2)画质调整部
画质调整部221进行摄像图像数据的色平衡、对比度的修正。画质调整部221对由解码部222解码后的摄像图像数据,求出各色通道的最大值、最小值,生成使这些值齐备的查找表,并应用于各色通道。具体而言,作为查找表,画质调整部221只要如图13所示那样,生成某个通道的最大值为MX、最小值为MN,当数据为8比特时、从MN以(MX-MN)/255的步调增加那样的表即可。然后,画质调整部221根据生成的表,变换各像素值。由此,色平衡被修正。
另外,画质调整部221对于对比度的修正也以同样的方法执行。需要说明的是,若不必特别改变色平衡,则只要使各色通道应用的查找表相同即可。
另外,色平衡、对比度的修正方法也可以应用其他的公知技术。
(7)路径代码的设定处理
下面,说明路径代码的设定处理。其中,为了如上所述那样设定路径代码,便携终端装置100需要预先取得输出设备ID和参照数据表。而且,便携终端装置100需要向图像输出装置200发送并登录密码。
首先,说明输出设备ID的取得。便携终端装置100的用户确立希望输出摄像图像数据的图像输出装置200与便携终端装置100的通信线路。具体而言,通过操作便携终端装置100,在便携终端装置100与图像输出装置200之间确立无线通信或借助因特网线路的通信。或者,也可以如日本公开专利公报“特开2009-100191号”公开的那样,在便携终端装置100的通信部104具有IC标签或RFID那样的识别标识,图像输出装置200的第1通信部207具有能够与这种识别标识之间进行近距离无线通信的识别标识读取写入器的情况下,通过将便携终端装置100罩于向识别标识读取写入器出示,来确立便携终端装置100与图像输出装置200之间的通信。
若确立了通信线路,则便携终端装置100的ID受理部110向图像输出装置200发送“会话ID发送消息”。由于该会话ID发送消息由“消息ID、会话ID”构成,所以通过发送该消息,可将生成的会话ID传递到图像输出装置200。其中,图像输出装置200也被设定为能够始终接收会话ID发送消息的状态(待机状态)。
接着,图像输出装置200的密码受理部211在从便携终端装置100接收到会话ID的阶段,发送“登录委托消息”。这里,由于登录委托消息由“消息ID、会话ID、输出设备ID”构成,所以通过发送该消息,来传递会话ID与输出设备ID。由此,输出设备ID取得部可从图像输出装置200取得输出设备ID。其中,作为“输出设备ID”,可以使用复合机的IP地址、或根据IP地址由散列函数等计算出的值(例如利用加密等中一般利用的SHA-256等算法计算出的值)。
接着,说明密码的登录方法流程。如上所述,在便携终端装置100与图像输出装置200之间确立了通信的状态下,便携终端装置100的ID受理部110向图像输出装置200发送被输入到输入部106的密码。另一方面,图像输出装置200的密码受理部211将接收到的密码存储到存储部210中。由此,密码的登录处理结束。
该密码可以证明对特定的图像输出装置200传输摄像图像数据是可以信赖的。因此,密码可按每个图像输出装置200变更。即,在想按每个摄像图像数据从不同的图像输出装置200输出的情况下,预先对该多个图像输出装置200的每个进行密码的登录处理。此时,只要对每个图像输出装置200登录不同的密码即可。
另外,便携终端装置100的表取得部111在存储部108中没有保存参照数据表的情况下,在为了取得输出设备ID或密码登录处理而确立了便携终端装置100与图像输出装置200之间通信的期间,向图像输出装置200发送参照数据表的发送请求。然后,图像输出装置200的密码受理部211使存储部210中存储的所有参照数据表的每个、与表示该参照数据表的表编号的公共代码对应,返回到便携终端装置100。由此,便携终端装置100可以取得参照数据表。
这样,若便携终端装置100取得了输出设备ID和参照数据表,则路径代码设定部112可以对应于用户输入来设定路径代码。
路径代码设定部112也可以对多个摄像图像数据设定相同的路径代码。该情况下,路径代码设定部112在显示部105中显示拍摄完毕的摄像图像数据的一览,督促对设定相同路径代码的摄像图像数据进行选择的指示输入。然后,路径代码设定部112只要对应于用户输入,对所选择的多个摄像图像数据设定路径代码即可。
或者,路径代码设定部112也可以在摄像部101摄像之前设定路径代码。然后,路径代码设定部112可以对通过摄像部101的摄像而得到的摄像图像数据,赋予预先设定的路径代码。
另外,路径代码设定部112也可以对每个摄像图像数据设定不同的路径代码。即,可以在显示部105中依次显示摄像图像数据,每次都显示督促输入路径代码的画面。或者,路径代码设定部112还可以每当摄像部101以图像输出模式摄像时,显示督促输入路径代码的画面。
(8)摄像图像处理系统的图像处理流程
下面,说明本实施方式涉及的摄像图像处理系统的处理流程。其中,图14表示了便携终端装置100的处理流程,图15表示了图像输出装200的处理流程。
首先,参照图14来说明便携终端装置100的处理流程。在便携终端装置100中,确认有无图像输出模式下的摄像指示的输入(S10)。在受理了图像输出模式的选择输入的便携终端装置100中,控制部109在显示部105中显示督促输入输出处理的种类以及输出处理用的设定条件的画面,从输入部106取得输出处理信息。
然后,若检测到摄像部101被按下快门,则进行摄像(S11)。
接着,图像处理部103对拍摄到的图像数据至少进行A/D变换处理。然后,对于A/D变换处理后的摄像图像数据,摄像图像判定部102如上述(3)中记载的那样,判定是否满足处理执行条件(S12)。
在摄像图像判定部102判定为不满足处理执行条件的情况下(S12为否),控制部109在显示部105中显示表示再摄像的消息等,向用户进行通知(S13)。在即便是再摄像后的图像,仍不满足上述判定项目等的情况下,便携终端装置100反复进行步骤S11~S13。
另一方面,在摄像图像判定部102判定为满足处理执行条件的情况下(S12为是),控制部109向满足处理执行条件的摄像图像数据附加文件名(S14)。其中,控制部109例如可以对依照摄像日期的连接编号等各摄像图像数据自动附加不同的文件名,也可以附加被输入到输入部106的文件名。然后,控制部109将被附加了文件名的摄像图像数据存储到存储部108中(S15)。
接着,控制部109将设定后的路径代码的公共代码发送给表选择部103a。表选择部103a从存储部108中读出与公共代码对应的参照数据表(S16)。图16是表示参照数据表的选择处理的图。如图16所示,在存储部108中,参照数据表与表编号对应存储。而且,表选择部103a只要选择与由公共代码表示的表编号对应的参照数据表即可。
然后,编码部103b使用表选择部103a读出的参照数据表,对在S15中存储到存储部108中的摄像图像数据执行置乱处理,将实施了置乱处理后的摄像图像数据与路径代码及输出处理信息对应存储到存储部108中(S17)。
然后,控制部109接收到摄像图像数据的发送指示被输入到输入部106的情况,对通信部104进行控制,将由编码部103b实施了置乱处理后的摄像图像数据与输出处理信息及路径代码一起发送给图像输出装置200(S18)。其中,在本实施方式中,便携终端装置100与图像输出装置200使用近距离无线通信方式进行通信。因此,用户在拿着便携终端装置100来到图像输出装置200的附近之后,输入发送指示。
下面,参照图15来说明图像输出装置200的处理流程。首先,图像输出装置200的第1通信部207从便携终端装置100,接收摄像图像数据、路径代码及输出处理信息(S20)。
认证部203对接收到的路径代码中的输出设备ID及密码进行认证处理(S21)。具体而言,判定路径代码中的输出设备ID及密码是否与存储部210中存储的输出设备ID及密码一致,在一致的情况下认为认证成功。
在认证成功的情况下(S22为是),图像处理部202的解码部222从存储部210中存储的代码表对应信息中读出与路径代码中的公共代码对应的逆变换表(S23)。然后,解码部222使用读出的逆变换表,进行接收到的摄像图像数据的像素位置的变换处理(解码处理)(S24)。由此,可以得到按正规的顺序排列像素位置的摄像图像数据。
然后,画质调整部221对于解码后的摄像图像数据,例如如上述(5-2)中说明的那样,进行色平衡、对比度的修正(S25)。
接着,控制部212根据从便携终端装置100接收到的输出处理信息,执行被实施了S25的处理的摄像图像数据的输出处理(S26)。
例如,在输出处理信息表示打印处理的情况下,控制部212使图像形成部204执行由被实施了S25的处理的摄像图像数据表示的图像的打印。另外,在输出处理信息表示归档处理或邮件发送处理的情况下,控制部212使第2通信部208执行基于被实施了S25的处理的摄像图像数据的归档处理或邮件发送处理。然后,结束处理。
如上所述,根据本实施方式,从希望输出的1或多个图像输出装置200预先取得输出设备ID。或者,多个图像输出装置200预先存储相同的逆变换表,便携终端装置100取得与该逆变换表对应的参照数据表。然后,便携终端装置100使用该参照数据表来执行摄像图像数据的置乱处理。随后,便携终端装置100将被实施了置乱处理的摄像图像数据附加对参照数据表及逆变换表进行确定的表编号、即公共代码和输出设备ID后,发送给图像输出装置200。
另一方面,在图像输出装置200中,仅在接收到的输出设备ID与自身的输出设备ID一致的情况下,才使用公共代码解码接收到的摄像图像数据,并进行图像输出。
由此,即便用户错误地向其他图像输出装置200发送了摄像图像数据,由于在图像输出装置200中输出设备ID的认证失败,所以也不执行图像输出。另外,即便在希望图像输出的图像输出装置200因故障等不动作的情况下,也可以通过向预先取得了输出设备ID的其他图像输出装置200发送摄像图像数据和该输出设备ID及公共代码,来执行图像输出。
(9)变形例
本发明的摄像图像处理系统不限于上述的实施方式,还能够进行各种变更。下面,说明变形方式的具体例。
(9-1)置乱方法
在以上的说明中,将由编码部103b执行的置乱处理的方法设成对RGB的全部色成分使用相同的一个参照数据表的方法(置乱方法a)。但是,置乱处理的方法不限于上述置乱方法a。也可以是以下的置乱方法b~e。
置乱方法b:对RGB的全部色成分使用相同的参照数据表,并且,块的顺序也变更。
置乱方法c:对RGB的全部色成分使用相同的参照数据表,但每个块使用不同的参照数据表。
置乱方法d:对RGB的每个色成分使用不同的一个参照数据表。
置乱方法e:对RGB的每个色成分使用不同的参照数据表,并且,对每个块使用不同的参照数据表。
下面,说明各方法的详细内容。另外,下面对编码进行说明,解码只要使用逆变换表进行与编码同样的处理即可。
(置乱方法b)
在置乱方法b中,首先,将摄像图像数据分割成尺寸与参照数据表相同的多个块。然后,对各块的像素位置,执行使用参照数据表来变更像素位置的置乱处理。并且,在块单位的情况下也执行使用相同的参照数据表来变更块位置的置乱处理。
图17是表示置乱方法b的图。如图17所示,摄像图像数据在将8×8的像素群设为一个块时,被分割成8×8的块。而且,在各块中,使用8×8的相同参照数据表来变更构成该块的像素的位置。并且,构成8×8的块群的各块的位置,也使用8×8的参照数据表来变更。这样,由于在进行各块的像素单位下的置乱的同时,还以块单位进行置乱,所以可提高摄像图像数据的隐匿性。
这里,如图17所示,在构成摄像图像数据的块的行列数与构成各块的像素的行列数相同(例如8×8)的情况下,可使用同一参照数据表。
另一方面,如图18所示,在构成摄像图像数据的块的行列数(5×5)与构成各块的像素的行列数(8×8)不同的情况下,需要在像素单位下的置乱处理中使用8×8的参照数据表,在块单位下的置乱处理中使用5×5的参照数据表。
需要说明的是,在置乱方法b中,对RGB的色成分以相同的方法进行置乱。
(置乱方法c)
在置乱方法a中,如图10所示,在将摄像图像数据分割成尺寸与参照数据表相同的多个块的情况下,对各块使用相同的参照数据表来置乱。与之相对,在置乱方法c中,将多个块分成多个组,对每个组分配不同的参照数据表,对属于各组的块,使用分配给该组的参照数据表进行置乱。例如,在图10的例子的情况下,可以对块(1)、(4)使用公共代码1的参照数据表进行置乱,对块(2)、(3)使用公共代码2的参照数据表进行置乱,也可以对块(1)-(4)分别使用公共代码1~4的参照数据表进行置乱。
需要说明的是,在置乱方法c中,对RGB的色成分以相同的方法进行置乱。
(置乱方法d)
在置乱方法d中,与置乱方法a一致的方面在于,对RGB的各色成分使用一个参照数据表进行像素单位的置乱。但是,在置乱方法d中,对RGB各色成分每个使用不同的参照数据表。
(置乱方法e)
是将置乱方法c和d组合的方法。即,将多个块分成多个组,对每个组分配不同的参照数据表,对属于各组的块,使用分配给该组的参照数据表进行置乱。另外,对RGB的色成分每个使用不同的参照数据表。
对下面的公共子代码进行说明。在置乱方法a的情况下,可利用表示一个参照数据表的表编号的公共代码,来确定参照数据表及逆变换表,实现编码、解码。但是,在上述的置乱方法b~e中,有时使用多个参照数据表,仅由上述的公共代码不能确定多个表。因此,在置乱方法b~e中,向公共代码附加公共子代码,或使用公共子代码来代替公共代码。
图19是表示使用了公共子代码的路径代码的构成、及公共子代码的构成的图。如图19所示,在使用公共子代码的情况下,路径代码设定部112设定由输出设备ID、密码、公共代码及公共子代码构成的路径代码。
而且,公共子代码如图19所示,按RGB的每个平面包含:像素单位的置乱中使用的参照数据表的数Tn及其表编号No、和块单位的置乱中使用的参照数据表的数Tnb及其表编号Nob。
对在上述的置乱方法a~e每个中如何设定公共子代码进行说明。
在置乱方法a的情况下,公共子代码对于RGB全部,设定Tn=1、No=m(m=1~N)、Tnb=0、Nob=0。另外,在置乱方法a的情况下,由于公共代码表示No,所以公共子代码也可为空白。
在置乱方法b的情况下,公共子代码对于RGB全部设定相同的值。而且,当公共子代码在像素单位的置乱与块单位的置乱中使用相同的参照数据表时,设定Tn=1、No=m(m=1~N)、Tnb=1、Nob=m。另一方面,如图18所示,在像素单位的置乱与块单位的置乱中使用不同参照数据表的情况下,公共子代码设定Tn=1、No=m(m=1~N)、Tnb=1、Nob=k(k=1~N)。
在置乱方法c的情况下,公共子代码对于RGB全部也设定相同的值。而且,公共子代码例如设定Tn=2、No=p、q(p、q=1~N)、Tnb=0、Nob=0。
在置乱方法d的情况下,公共子代码对于RGB每个设定不同的值。例如,对R信号设定Tn=1、No=a(a=1~N)、Tnb=0、Nob=0,对G信号设定Tn=1、No=b(b=1~N)、Tnb=0、Nob=0,对B信号设定Tn=1、No=c(c=1~N)、Tnb=0、Nob=0。
在置乱方法e的情况下,公共子代码对于RGB每个也设定不同的值。例如,对R信号设定Tn=2、No=a、b(a、b=1~N)、Tnb=0、Nob=0,对G信号设定Tn=2、No=b、c(b、c=1~N)、Tnb=0、Nob=0,对B信号设定Tn=2、No=c、a(c、a=1~N)、Tnb=0、Nob=0。
另外,在如置乱方法b~e那样使用多个参照数据表的情况下,路径代码设定部112也可以根据用户输入来设定公共子代码。或者,路径代码设定部112也可以使用从1~N中随机选择的表编号。例如,路径代码设定部112以设定的定时生成随机数,根据生成的随机数来选择1~N中的表编号。
此外,在置乱方法c、e的情况下,由于对每个块使用不同的参照数据表,所以路径代码设定部112将表示哪个块中使用哪个表编号的参照数据表的块信息包含到公共子代码中。
作为块信息,也可以使用随机数。例如,路径代码设定部112在表编号No的值为2个的情况下,设定为对一个No的值生成随机数,以该No值的参照数据表将与生成的随机数对应的块置乱,以与另一No对应的参照数据表将此外的块置乱。另外,也可以使用蓝噪声来代替随机数。
而且,作为块信息,还可以使用一个参照数据表。例如,路径代码设定部112在表编号No的值为2个的情况下,指定与块的行列数具有相同行列数的一个参照数据表。然后,在该参照数据表中,以与一个表编号No的值对应的参照数据表,将与置乱前的位置为偶数行的置乱后的位置乱对的块置乱,以与另一表编号No的值对应的参照数据表将其他的块置乱。
另外,编码部103b能够以上述的置乱方法a~e之一的方法来进行置乱处理,也可以由用户选择的置乱方法来执行置乱处理。该情况下,路径代码设定部112使路径代码中包含识别置乱方法的方法代码(第3识别信息)。
上述的置乱方法a~e在编码后的摄像图像数据的隐匿性上存在差异。置乱方法c及e的隐匿性最高,置乱方法b及d的隐匿性次高,置乱方法a的隐匿性最低。因此,路径代码设定部112也可以督促用户输入请求的隐匿性高低,对应于输入的隐匿性高低来选择置乱方法。或者,路径代码设定部112可以督促用户输入置乱方法a~e的选择指示,根据用户输入来选择置乱方法。而且,路径代码设定部112使路径代码中包含与所选择的置乱方法对应的方法代码(第3识别信息)。
然后,便携终端装置100的编码部103b及解码部222只要根据路径代码中包含的方法代码(第3识别信息)来确定置乱方法,并使用公共子代码来编码及解码即可。
(9-2)参照数据表的取得方法
在上述的说明中,多个图像输出装置200预先存储相同的代码表对应信息,当便携终端装置100最初取得任意一个输出设备ID时,从图像输出装置200取得全部的参照数据表及其公共代码,从中选择置乱处理所使用的参照数据表(取得方式a)。
但是,参照数据表的取得方法不限于此,也可以是以下的取得方式b~i。
(取得方式b)
在取得方式b中,与取得方式a相比的不同之处在于,不是从图像输出装置200取得全部的参照数据表及其公共代码,而是取得便携终端装置100的表取得部111执行置乱处理所需个数(1或多个)的参照数据表及其公共代码。图33是表示取得方式b的图。
即便是该取得方式,也与取得方式a一样,多个图像输出装置200预先存储相同的代码表对应信息。因此,即使预先取得了输出设备ID的多个图像输出装置200中的一个发生故障,也可以通过对其他图像输出装置200设定包含相同的公共代码的路径代码,来容易地执行图像输出。
而且,由于在该取得方式中便携终端装置100不需要存储不必要数量的参照数据表,所以便携终端装置100的存储部108的容量有富裕。
(取得方式c)
在取得方式c中,图像输出装置200的存储部210预先存储使公共代码与通过该公共代码识别的逆变换表对应的信息,作为代码表对应信息,不存储参照数据表。在该取得方式c中,便携终端装置100的表取得部111将图像输出装置200存储的全部逆变换表的发送请求发送给图像输出装置200。而且,如图34所示,在接受该发送请求后,图像输出装置200的密码受理部211只要使存储部210中存储的所有逆变换表与其公共代码对应、返回到便携终端装置100即可。
在该取得方式c中,便携终端装置100只要根据取得的逆变换表,生成与该逆变换表对应的参照数据表,并将生成的参照数据表与公共代码对应存储到存储部108中即可。
(取得方式d)
取得方式d是取得方式c的变形方式。在取得方式c中,图像输出装置200的密码受理部211将存储部210中存储的所有逆变换表与其公共代码对应返回到便携终端装置100。与之相对,在取得方式d中,如图35所示,密码受理部211仅将便携终端装置100中执行置乱处理所需数量(1或多个)的逆变换表与其公共代码对应返回到便携终端装置100。然后,便携终端装置100根据取得的逆变换表,生成与该逆变换表对应的参照数据表,并使生成的参照数据表与公共代码对应存储到存储部108中。
在该取得方式中,由于便携终端装置100不需要存储不必要数量的参照数据表,所以便携终端装置100的存储部108的容量有富裕。
(取得方式e)
在取得方式e中,与取得方式a一样,多个图像输出装置200预先存储了相同的代码表对应信息。但是,在该取得方式中,作为与图像输出装置200不同设备的服务器装置也预先存储了相同的代码表对应信息。而且,便携终端装置100的表取得部111访问该服务器装置,取得参照数据表与其公共代码。例如,便携终端装置100在从图像输出装置200取得输出设备ID时,还取得服务器装置的地址,只要根据该地址访问服务器装置即可。
另外,在该取得方式中,也可以如取得方式a那样取得所有参照数据表。该情况下,可以对每个摄像图像数据任意变更参照数据表。因此,即便假设窃听到一个摄像图像数据,并解读了参照数据表,也不能正常地解码其他的摄像图像数据。
或者,也可以如取得方式b那样,仅取得执行置乱处理所需数量(1或多个)的参照数据表及其公共代码。
(取得方式f)
在取得方式f中,与取得方式c一样,多个图像输出装置200预先存储了将逆变换表与公共代码对应的代码表对应信息。但是,在该取得方式中,作为与图像输出装置200不同设备的服务器装置也预先存储了相同的代码表对应信息。而且,如图36所示,便携终端装置100的表取得部111访问该服务器装置,取得逆变换表与其公共代码。例如,便携终端装置100在从图像输出装置200取得输出设备ID时还取得服务器装置的地址,只要根据该地址访问服务器装置即可。并且,便携终端装置100根据取得的逆变换表,生成与该逆变换表对应的参照数据表,并将生成的参照数据表与公共代码对应存储到存储部108中即可。
另外,在该取得方式中,也可如取得方式c那样取得所有逆变换表。该情况下,可以对每个摄像图像数据任意变更参照数据表。因此,即便假设窃听到一个摄像图像数据,并解读了参照数据表,也不能正常地解码其他的摄像图像数据。
或者,可以如取得方式d那样,仅取得执行置乱处理所需数量(1或多个)的参照数据表及其公共代码。
(取得方式g)
在该取得方式中,多个图像输出装置200没有预先存储代码表对应信息。但是,该多个图像输出装置200及便携终端装置100能够通过因特网线路等访问的服务器装置预先存储有多个参照数据表、与各参照数据表对应的逆变换表、和识别一对的参照数据表及逆变换表的公共代码。
而且,便携终端装置100的路径代码设定部112访问服务器装置,设定包含对应于用户输入而从服务器装置所存储的公共代码中选择的公共代码的路径代码。然后,表选择部103a从服务器装置取得与路径代码设定部112设定的公共代码对应的参照数据表,编码部103b使用该参照数据表来执行置乱处理。
另一方面,接收到被附加了路径代码的摄像图像数据的图像输出装置200访问服务器装置,取得与路径代码中公共代码对应的逆变换表。然后,解码部222只要使用从服务器装置取得的逆变换表进行解码即可。
根据该取得方式g,图像输出装置200及便携终端装置100只要从服务器装置取得执行编码及解码时所需的表即可,不必始终存储参照数据表或逆变换表。结果,可有效活用存储部210的容量。
(取得方式h)
在取得方式h中,便携终端装置100具备以上述(5)所记载的方法随机生成参照数据表的表生成部。而且,便携终端装置100的表取得部111取得表生成部生成的参照数据表,并赋予可确定该参照数据表的表编号,作为公共代码,存储到存储部108中。而且,如图37所示,ID受理部110在从图像输出装置200取得输出设备ID时,将存储部108中存储的参照数据表及其公共代码发送并登录到图像输出装置200中。
另一方面,若图像输出装置200从便携终端装置100接收到参照数据表与公共代码,则只要生成与该参照数据表对应的逆变换表,并将生成的逆变换表与公共代码对应存储到存储部210中即可。
或者,表生成部也可以与参照数据表一同生成对应的逆变换表。该情况下,ID受理部110只要将逆变换表与公共代码发送并登录到图像输出装置200中即可。
另外,表取得部111也可以不从表生成部取得参照数据表,而如取得方式e那样从服务器装置取得参照数据表及其公共代码,将取得的参照数据表及公共代码发送给图像输出装置200。该情况下,图像输出装置200生成与该参照数据表对应的逆变换表,将生成的逆变换表与公共代码对应存储到存储部210中。
或者,如图38所示,表取得部111也可以如取得方式f那样从服务器装置取得逆变换表与其公共代码,将取得的逆变换表与公共代码发送给图像输出装置200。该情况下,便携终端装置100根据从服务器装置取得的逆变换表,生成与该逆变换表对应的参照数据表,将生成的参照数据表与公共代码对应存储到存储部108中。
(取得方式i)
在上述取得方式h中,便携终端装置100构成为具备表生成部。但是,也可以构成为能够与便携终端装置100通信的计算机装置具备表生成部。该情况下,便携终端装置100的表取得部111只要取得由计算机装置的表生成部生成的表即可。
在取得方式h、i中,由于使用用户独自生成的参照数据表及逆变换表,所以不与其他的用户共用表。因此,可以提高隐匿性。
另外,在上述的取得方式a~f中,不限于在图像输出装置200出售时将代码表对应信息存储到该图像输出装置200的情况。例如,也可以由能够与图像输出装置200通信的计算机装置根据上述(5)生成参照数据表及逆变换表,并且,对参照数据表及逆变换表的各组合,赋予唯一的公共代码,生成代码表对应信息。而且,可以将计算机装置生成的代码表对应信息存储到图像输出装置200中。或者,也可以构成为计算机装置对图像输出装置200存储的代码表对应信息进行编辑。
由此,即便例如某个公司的各部门使用相同的图像输出装置200,也可以对每个部门设定不同的代码表对应信息。结果,可以防止错误地从其他部门的图像输出装置200输出图像。
(9-3)公共代码
在上述的说明中,使用了对一对的参照数据表及逆变换表进行确定的表编号,作为公共代码。该情况下,通过确认公共代码,有可能导致识别出使用哪个参照数据表执行了置乱处理。因此,为了进一步提高摄像图像数据的隐匿性,优选采用下述那样的构成。
即,便携终端装置100具备代码对应信息生成部,该代码对应信息生成部生成使存储部108中存储的参照数据表的各个表编号、与根据用户输入而决定的代码、即用户输入代码相对应的代码对应信息。然后,代码对应信息生成部将生成的代码对应信息存储到存储部108中,并且发送给图像输出装置200。在图像输出装置200中,将接收到的代码对应信息存储到存储部210中。
便携终端装置100的路径代码设定部112设定上述的用户输入代码作为公共代码。然后,表选择部103a根据存储部108的代码对应信息,确定与路径代码设定部112设定的公共代码(用户输入代码)对应的表编号。并且,表选择部103a只要从存储部108中读出特定的表编号的参照数据表即可。
另一方面,在图像输出装置200中也同样,根据存储部210的代码对应信息来确定与路径代码中包含的公共代码(用户输入代码)对应的表编号。然后,解码部222只要根据与确定的表编号对应的逆变换表来解码即可。
由此,只看到公共代码是无法识别使用哪个参照数据表来执行置乱处理的。
另外,虽然使用了用户输入代码作为公共代码,但作为公共代码也可以是其他的代码。例如,代码对应信息生成部也可以生成使执行置乱处理所需的数量的参照数据表的表编号、与便携终端装置100的设备编号或SIM卡的编号相对应的代码对应信息。该情况下,路径代码设定部112始终设定便携终端装置100的设备编号或SIM卡的编号,作为公共代码。
(9-4)密码
在上述的说明中,密码在从图像输出装置200取得输出设备ID时被登录到图像输出装置200中。但是,密码的登录定时不限于此。例如,只要在取得输出设备ID之后执行摄像前进行即可。例如,在进行摄像的会场或在赶赴摄像会场之前在办公室确立便携终端装置100与图像输出装置200的通信,ID受理部110根据用户输入,将设定的密码发送给图像输出装置200。然后,图像输出装置200的密码受理部211将接收到的密码存储到存储部210中。由此,可以对每个摄像会场变更密码。
另外,在上述的说明中,根据用户输入来设定密码。该情况下,由于按每个用户设定密码,所以安全性提高。但是,密码不限于此,也可以对每个图像输出装置200使用固定密码。该情况下,各图像输出装置200与输出设备ID一同还预先存储密码。然后,ID受理部110只要与输出设备ID一同从图像输出装置200取得固定的密码即可。
或者,也可以由ID受理部110仅取得输出设备ID,密码以其他的方法向用户联络。例如,只要图像输出装置200的管理者使用电子邮件等另外向用户通知密码即可。该情况下,路径代码设定部112根据用户输入来设定密码。
(9-5)路径代码的删除
由路径代码设定部112设定并存储在存储部108中的路径代码,可以在摄像图像数据发送完成后从存储部108中删除。
例如,控制部109只要在摄像图像数据及路径代码的发送处理完成的时刻,从存储部108中删除所发送的路径代码即可。
或者,也可以在图像输出装置200的图像输出处理完成的时刻,消除路径代码。具体而言,图像输出装置200的控制部212在图像输出处理完成的时刻,在显示部205中显示督促输入对图像输出处理是否没问题地被执行进行表示的信息。然后,当输入部206被输入没问题地被执行的信息时,控制部212控制第1通信部207,以便向便携终端装置100发送该信息。例如,第1通信部207使上述信息包含在以预先登录的便携终端装置100的邮件地址为发送目的地的电子邮件正文中,向该便携终端装置100发送该电子邮件。然后,便携终端装置100的控制部109只要在从图像输出装置200接收到图像输出处理没问题地被执行的信息时,从存储部108中删除所发送的路径代码即可。
(9-6)编码方法
在上述的说明中,编码部103b执行置乱处理作为编码处理。但是,编码部103b也可以利用其他的方法来编码(加密)摄像图像数据。例如,编码部103b可以执行使用了公共密钥的加密,也可以执行使用了公开密钥的加密。下面,说明具体的变形例。
(9-6-1)使用了公共密钥的实例
首先,对使用了一般的公共密钥的加密方法进行说明。在该加密方法中,预先决定发送侧与接收侧共同使用的公共密钥。作为使用了公共密钥的加密方法有各种方法。作为一例,若使用“错位3个字符”的方式来说明,则在“ABC”这一字符串是原本想传送的数据(明码电文)的情况下,执行将该数据按字母表排列顺序错位3个字符后生成“DEF”的编码处理,并对生成的数据进行发送。在接收侧,通过对接收到的数据“DEF”执行返回3个字符的处理作为解码处理,可以复原最初的数据“ABC”。此时,“3个字符”的部分相当于密钥,编码处理的算法为“按字母表的排列顺序错位3个字符”,解码处理的算法为“按与字母表的排列相反的顺序返回3个字符”。由此,虽然原本想传送的字符串是“ABC”,但却以按字母表的排列顺序错位了3个字符后的状态“DEF”发送。因此,即便第三者以外成功地获得了数据,能够获得的字符串也是“DEF”,若不知道解码处理的算法,则无法得到正确的字符串“ABC”。但是,在正规的接收侧,可以使用预先获得的公共密钥(“3个字符”这一信息),利用“按与字母表的排列相反的顺序返回3个字符”算法来得到最初的字符串“ABC”。
下面,说明为了编码摄像图像数据而使用公共密钥的具体例。
在本具体例中,便携终端装置100及图像输出装置200预先存储公共密钥“3”作为公共代码。而且,便携终端装置100的存储部108对应于公共密钥“3”,存储有表示加3的编码信息。另一方面,图像输出装置200的存储部210对应于公共密钥“3”,存储有表示减3的解码信息。
然后,编码部103b根据上述编码信息,执行对摄像图像数据的各像素的浓度值(下面称为像素值)加3的编码处理。即,当设各像素值由8比特数据构成,用0~255的数字表示时,0~252通过加3,被置换为3~255的数字。另外,输入图像数据在253的情况下被置换为0,在254的情况下被置换为1,在255的情况下被置换为2。由此,编码部103b可执行编码处理。例如,在某个像素的“R,G,B”的值为“2、200、255”的情况下,编码部103b只要将该像素的“R,G,B”的值变换为“5、203、2”即可。对全部的像素进行这种处理。然后,通信部104只要将对全部像素进行了编码处理的摄像图像数据与公共密钥“3”及输出设备ID一起发送即可。
另一方面,在图像输出装置200中,认证部203进行输出设备ID的认证处理,在认证成功的情况下,解码部222确定与公共密钥“3”对应的解码信息。然后,解码部222使用该解码信息,进行摄像图像数据的解码处理。具体而言,在某个像素的“R,G,B”的值为“5、203、2”的情况下,解码部222通过从该像素值减3,可复原“2、200、255”的像素值。
另外,也可以将使用了上述公共密钥的方法与置乱方法组合。例如,在使用上述公共密钥对像素值进行编码处理的同时,也执行置乱处理。另外,作为置乱方法,只要使用(9-1)的置乱方法a~e之一即可。该情况下,只要使用图39所示那样的路径代码即可。即,公共子代码按RGB的每个平面包含:像素单位的置乱中使用的参照数据表的数量Tn及其表编号No、块单位的置乱中使用的参照数据表的数量Tnb及其表编号Nob、和公共密钥。而且,只要对RGB的每个平面设定Tn、No、Tnb、Nob、公共密钥即可。
这里,Tn、No、Tnb及Nob是识别作为编码方法之一的置乱方法的信息,公共密钥是识别作为编码方法之一的使用了公共密钥的加密方式的信息,包含识别这两个编码方法的两个信息的公共子代码,是识别编码部103b所执行的编码的多个方法的信息(第4识别信息)。
其中,由于使用公共密钥来编码像素值,所以也可以省略像素单位的置乱处理。即,在使用公共密钥将像素值编码之后,以块单位进行置乱处理。该情况下,只要将Tn、No设定为空白即可。
另外,也可以对RGB中任意一个信号(例如R信号)仅执行使用了公共密钥的编码处理,对另一信号(例如G信号)仅执行置乱处理,对又一信号(例如B信号)执行将使用了公共密钥的编码处理与置乱处理组合的处理。这样,也可以对每个RGB的平面变更编码处理的方法。
(9-6-2)使用了公开密钥的例子
在执行使用了公开密钥的编码(加密)的情况下,发送侧使用公开密钥来加密数据,接收侧使用对应于该公开密钥的秘密密钥来解密数据。即,由公开密钥加密的数据仅能够由对应于该公开密钥的秘密密钥来解码。作为具体的加密方式,有一般公知的RSA(Rivest ShamirAdelman)等。
下面,说明为了编码摄像图像数据而使用公开密钥的具体例。
在本具体例中,如图40所示,便携终端装置100预先存储有公开密钥作为编码信息。另一方面,图像输出装置200将便携终端装置100存储的公开密钥和与该公开密钥对应的秘密密钥(解码信息)对应存储。其中,便携终端装置100只要通过预先从图像输出装置200取得公开密钥,将该公开密钥存储到存储部108中即可。
然后,编码部103b使用公开密钥来加密摄像图像数据。随后,通信部104将加密后的摄像图像数据与公开密钥及输出设备ID发送给图像输出装置200。
另一方面,在接收到摄像图像数据、公开密钥和输出设备ID的图像输出装置200中,认证部203进行输出设备ID的认证处理,在认证成功的情况下,解码部222从存储部210中读出与接收到的公开密钥对应的秘密密钥。然后,解码部222使用读出的秘密密钥进行摄像图像数据的解码处理。在该具体例中,公开密钥作为用于确定秘密密钥的公共代码来通信。
在图40所示的具体例中,便携终端装置100及图像输出装置200分别存储一个公开密钥及秘密密钥。但是,也可以如图41所示,便携终端装置100及图像输出装置200存储多个公开密钥及秘密密钥。该情况下,编码部103b使用从存储部108所存储的公开密钥中,基于用户输入或随机选择的一个公开密钥,进行摄像图像数据的加密。然后,通信部104将加密后的摄像图像数据、公开密钥和输出设备ID发送给图像输出装置200。
另一方面,在接收到摄像图像数据、公开密钥和输出设备ID的图像输出装置200中,认证部203进行输出设备ID的认证处理,在认证成功的情况下,解码部222从存储部210中确定与接收到的公开密钥对应的秘密密钥。然后,解码部222只要使用确定的秘密密钥来进行摄像图像数据的解码处理即可。
其中,秘密密钥及公开密钥的各组在图像输出装置200出厂时,被预先存储在图像输出装置200的存储部210中。或者,图像输出装置200也可以从服务器装置取得秘密密钥。
另外,也可以如图41所示,在便携终端装置100存储了多个公开密钥的情况下,编码部103b对摄像图像数据的RGB各色成分数据每个使用不同的公开密钥来加密。此时,将RGB各色成分与该色成分中使用的公开密钥对应的公共代码和摄像图像数据一起发送给图像输出装置200。然后,图像输出装置200的解码部222只要使用与各色成分的公开密钥对应的秘密密钥来解码即可。由此,可进一步提高安全性。
(9-7)文件摄像模式
可以认为便携终端装置100由用户携带,在各种场面下摄像对象物。尤其是作为后面希望从图像输出装置200输出图像的场面,可以考虑对打印有文件图像的纸或广告、显示有文件图像的显示画面(例如显示器画面或由投影仪投影的画面)那样的矩形状摄像对象物进行摄像的场面。因此,作为图像输出模式之一,也可以具有对包含文件图像的矩形状摄像对象物进行摄像,并从图像输出装置200将其输出的文件摄像模式。下面,说明文件摄像模式的详细内容。需要说明的是,下面仅说明文件摄像模式特有的构成,由于文件摄像模式是图像输出模式之一,所以即便是文件摄像模式也进行上述那样的编码、解码的处理。
不限于用户对作为矩形状摄像对象物的打印有文件图像的纸或广告、显示有文件图像的显示画面等,始终可从正面摄像。即,用户有时在摄像对象物中的形成有文件图像的平面的法线方向、与摄像机构的摄像方向不一致的状态下,从斜向对摄像对象物进行摄像。该情况下,在被摄像的图像中,摄像对象物产生失真(下面称为几何学失真)。因此,图像输出装置200在被选择了文件摄像模式的情况下,优选以这种几何学失真也被修正的状态进行输出。
而且,即便用户可以对矩形状摄像对象物从正面摄像,有时也会在摄像对象物相对摄像图像的框倾斜的状态下摄像。因此,图像输出装置200在选择了文件摄像模式的情况下,优选以这种倾斜也被修正的状态进行输出。
并且,便携终端装置100拍摄的图像一般分辨率低,即便以该分辨率由图像输出装置200进行图像输出(例如打印),有时也不能识别到细微之处。尤其在对打印有文件图像(字符等)的纸或广告、显示有文件图像等的显示画面进行摄像的情况下,认为无法判别字符。因此,优选图像输出装置200在对便携终端装置100拍摄的摄像图像数据实施了高分辨率修正的基础上,输出图像。
作为该高分辨率修正的方法,有映像信息介质学会志Vol.62,No.3,pp.337~342(2008)中记载的使用了多个摄像图像数据的方法、或映像信息介质学会志Vol.62,No.2,pp.181~189(2008)中记载的使用了一个摄像图像数据的方法,可以使用这些方法。首先,说明在使用多个摄像图像数据进行高分辨率修正的同时,还进行几何学失真及倾斜修正的文件摄像模式的方式。
(9-7-1)摄像次数
摄像部101在被选择了文件摄像模式的情况下,通过按下1次快门,会对摄像对象物连续多次(例如2~15)摄像。通常,虽然连续摄像的图像是基本相同的图像,但会因为手抖动等而稍微错位。
在选择了文件摄像模式的情况下,便携终端装置100的控制部109在显示部105中显示督促输入分辨率变换倍率的画面。然后,控制部109根据输入部106被输入的倍率(例如2倍、4倍),决定摄像部101连续摄像的次数。
其中,下面将对通过按下1次快门、摄像部101连续摄像而得到的多个摄像图像各自进行表示的图像数据,称为子摄像图像数据。而且,将通过按下1次快门、摄像部101连续摄像而得到的多个子摄像图像数据的组,简称为摄像图像数据。根据对该相同对象物进行摄像而得到的多个子摄像图像数据,使用映像信息介质学会志Vol.62,No.3,pp.337~342(2008)中记载的技术,图像输出装置200可以进行高分辨率修正。
(9-7-2)摄像图像判定部的处理
下面,说明被选择了文件摄像模式时特有的摄像图像判定部102的处理。另外,上述(3)的判定也可以一并进行。
在被选择了文件摄像模式的情况下,便携终端装置100的控制部109如上所述,在显示部105中显示督促输入分辨率变换倍率的画面。然后,控制部109根据输入到输入部106的倍率(例如2倍、4倍),决定摄像图像判定部102中使用的处理执行条件的一部分。该处理执行条件的一部分将在下面的(9-7-2-3)中说明。
(9-7-2-1)倾斜的判定
如上所述,在对纸或广告、显示画面那样的矩形状摄像对象物进行摄像、并希望得到高分辨率的图像的情况下,用户选择文件摄像模式。因此,摄像图像判定部102假定摄像对象物为矩形状,通过在摄像图像数据中检测出摄像对象物的边缘,来检测摄像图像数据中的摄像对象物的倾斜。其中,作为对摄像图像数据中的矩形状摄像对象物的边缘上的像素进行检测的方法,可使用已知的方法。而且,为了防止将背景中的边缘误判定为摄像对象物的边缘,也可以仅检测规定长度以上的边缘,作为摄像对象物的边缘。此时,规定长度例如只要设定摄像图像数据所表示的图像的端边长度的80%左右长度即可。或者,也可以由用户从如此检测出的边缘中选择摄像对象物的边缘。作为这种检测方法,例如可以使用日本公开专利公报“特开2006-237757”中记载的技术。
然后,摄像图像判定部102选择被检测到的摄像对象物的边缘上的两点。例如如图20所示,选择从摄像图像数据的中心左右分别横向离开w/2的两点11、12。接着,求出所选择的两点11、12分别与摄像图像数据的端边的距离d1、d2,可以求出摄像图像中的摄像对象物的倾斜。在图20的情况下,若设倾斜角度为θ,则tanθ=(d2-d1)/w。因此,摄像图像判定部102算出(d2-d1)/w的值,从预先生成完毕的表(参照图21)等中读取与该值相当的角度θ。
然后,摄像图像判定部102判定检测出的角度θ是否在规定范围内(例如-30°~+30°),并将该判定结果输出到控制部109。这里,角度θ在规定范围内是处理执行条件之一。
其中,如上所述,通过按下1次快门、摄像部101多次摄像,能得到多个子摄像图像数据。但是,该多个子摄像图像数据只不过产生了手抖动程度的错位。因此,摄像图像判定部102只要对从该多个子摄像图像数据中任意选择的一个子摄像图像数据进行倾斜的判定即可。
然后,在从摄像图像判定部102接收到倾斜角度θ不在规定范围内的判定结果的情况下,控制部109使显示部105显示督促再次摄像以使摄像对象物不倾斜的消息。
(9-7-2-2)几何学失真的判定
几何学失真是指在如上所述从与摄像对象物中的形成有文件图像的平面的法线方向不同的倾斜方向,对摄像对象物进行了摄像的情况下,摄像图像中摄像对象物具有从矩形状失真的形状。例如,在相对纸的法线方向从纸的左下方向倾斜摄像的情况下,如图22所示,摄像对象物成为失真的四边形。
在文件摄像模式中,如后所述,图像输出装置200具有修正这种几何学失真的功能。但是,在几何学失真的程度大的情况下,即便修正,判读性也不会怎么提高。因此,摄像图像判定部102检测出表示几何学失真的程度的特征量,判定该特征量是否在规定范围内。
其中,如上所述,通过按下1次快门、摄像部101多次摄像,可得到多个子摄像图像数据。但是,该多个子摄像图像数据只不过产生手抖动程度的错位。因此,摄像图像判定部102只要对从该多个子摄像图像数据中任意选择的一个子摄像图像数据,进行以下的几何学失真判定即可。
首先,摄像图像判定部102对子摄像图像数据进行光栅扫描。这里,如图22所示,设光栅扫描的正方向为X方向,垂直于X方向的方向为Y方向。而且,设摄像图像中左上角为原点。
执行1行量扫描,若存在边缘,则摄像图像判定部102对Y方向上错位了规定量的下一行进行扫描。其中,行间的间隔只要一定即可,不必是1个像素。
然后,摄像图像判定部102将在光栅扫描中最初检测到边缘的行设为L1(第1行),如图23所示,将正方向判定为最初边缘的点的坐标存储到第1组中,将相同行上被判定为第2边缘的点的坐标分类为第2组。接着进行下一行的扫描,来检测边缘。然后,对各个行Li求出正方向第1个被判定为摄像对象物的边缘的点、与第2个被判定为摄像对象物的边缘的点的X坐标值的差量(X坐标的距离di),如下述那样进行判定。
其中,设行Li中最初的边缘的X坐标为Xi1(被分类为第1组的X坐标),第2边缘的X坐标为Xi2(被分类为第2组的X坐标)。检测方法如下所述。
(a)第1行(L1)的坐标X11及X12不变更。
(b)对第2行以后的第i行,计算出坐标间的距离di1(=Xi1-X(i-1) 1)及di2(同样)。下面,为了描述di1而省略了下标1,di2也一样。
(c)对第3行以后的第i行,计算出ddi=abs{(di)-di-1}。若ddi≤th1(≈接近0的小的数值),则坐标Xi被分类为相同的组。否则(ddi>th1),被分类为其他组(第3组或第4组)。
(d)作为初始处理,仅当i=4时,才进行用于确定X2的组的处理。如下所述。
i)dd3≤th1且dd4≤th1→X2:同组
ii)dd3>th1且dd4≤th1→X2:不同组
iii)dd3≤th1且dd4>th1→X2:同组
iv)dd3>th1且dd4>th1→X2:不同组
在一旦转变为其他组(第3组或第4组)的情况下,不需要进行增减的确认。
对图像整体进行这样的处理,提取出属于各组的边缘点。然后,按每个组,以最小平方法等直线近似属于该组的边缘点的坐标,求出与属于该组的边缘点近似的直线。该直线相当于摄像对象物的边。
图24是利用上述那样的处理,通过光栅扫描提取边缘点,并分类成4个组时的图。在图中,圆标记表示属于第1组的边缘点,四边形标记表示属于第2组的边缘点,三角标记表示属于第3组的边缘点,星标记表示属于第4组的边缘点,用虚线表示通过最小平方法求出的属于各组的边缘点的近似直线。
然后,求出对4个组求出了的直线交点(图中为交点1~4),可将由4条直线包围的区域确定为摄像对象物的区域。
并且,也可以对旋转90度后的图像进行上述的分类处理。由此,还能够提取出理想地沿着图像内的水平方向、垂直方向平行配置的原稿的边缘。即,通过光栅扫描,可在旋转前的图像中检测出垂直方向的边缘。另一方面,可以在旋转后的图像中检测出旋转前为水平方向的边缘(旋转后为垂直方向的边缘)。由此,还能够提取出平行于垂直方向、水平方向的边缘。若旋转前有充足的信息量(各组中例如为3点以上的交点),则仅使用旋转前的信息即可,在任意一组的交点不足1点的情况下,由于未求出直线的式子,所以只要使用旋转后的交点即可。
或者,也可以仅对求出的交点坐标进行再次坐标变换,恢复为最初的坐标,根据各个组分布的区域,求出对应的组,统计交点信息,求出直线的式子。即,只要根据由旋转前的图像求出的交点坐标、和将根据旋转后图像求出的交点逆旋转而得到的交点坐标,统计属于同一组的交点坐标,求出直线的方程式即可。
其中,作为边缘点的提取方法,只要直接比较至少1个以上像素幅度的小窗口内的像素值(在2以上的幅度的情况下,比较和、平均值),在邻接的值的差量为规定以上的情况下,判定为是边缘点即可。另外,为了防止错误检测出背景或摄像对象物内的文本的边缘等,也可以仅检测规定长度以上的边缘,作为摄像对象物的边缘。此时,规定长度只要设定例如由子摄像图像数据表示的图像的端边长度的80%左右的长度即可。或者,也可以从如此检测出的边缘中,由用户选择摄像对象物的边缘。作为这种检测方法,例如可以使用日本公开专利公报“特开2006-237757”中记载的技术。或者,通过一边进行各个坐标组的评价,一边进行线段检测用处理(Hough变换等),也能够防止。并且,通过进行使用了缩小图像的处理作为预处理,可以防止错误检测出文本或细微纹理的边缘。
然后,若如上所述求出4条直线及其交点,则摄像图像判定部102计算由该4条直线形成的四边形的对边长度之比。该长度之比根据上述交点的坐标容易求出。需要说明的是,由于对边有2组,所以摄像图像判定部102对该2组分别求出长度之比。
这里,对边的长度之比在从正面拍摄了矩形状摄像对象物的情况下,由于摄像图像中的摄像对象物也是矩形状,所以为1。另一方面,在从斜向摄像的情况下,由于摄像图像中的摄像对象物的形状为失真的四边形,所以是不同于1的值。而且,摄像方向与摄像对象物的形成有文档图像的平面的法线方向所成角度越大,该比的值与1的差越大。因此,可以说对边的长度之比是表示几何学失真程度的特征量之一。
然后,摄像图像判定部102判定求出的两个比双方是否在规定范围内(例如0.5~2),并将该判定结果输出到控制部109。这里,规定范围作为在图像输出装置200中能够修正的范围被预先确定,存储在存储部108中。而且,两个比双方在规定范围内(例如0.5~2)是处理执行条件之一。
另外,摄像图像判定部102也可以选择两个通过上述那样检测到的4个交点中任意两个交点的直线,使用所选择的两条直线所成的角度等,作为表示几何学失真程度的另一特征量。
而且,在接收到表示几何学失真程度的特征量(这里为摄像图像中的摄像对象物的对边的长度之比)不在规定范围内的判定结果时,控制部109在显示部105中显示督促从摄像对象物中的形成有文档图像的平面的法线方向再次摄像的消息。
(9-7-2-3)多个图像的错位量的判定
如上所述,图像输出装置200根据同一摄像对象物的多个子摄像图像数据,执行高分辨率修正。为了执行该高分辨率修正,与分辨率变换倍率对应的规定数量的图像数据需要错位规定量。因此,在本实施方式中,摄像图像判定部102判定摄像部101拍摄的多个子摄像图像数据中,是否包含为了图像输出装置200执行高分辨率修正所需的、错位规定量的规定数量的子摄像图像数据。
其中,提高字符判读性那样的高分辨率修正所需的错位,是指成为对象的图像数据的不足一个像素(小数点)的错位。即,小数点以下(不足1像素)的值、例如0.3~0.7等错位是重要的。整数部分的错位在高分辨率修正中不被考虑。例如,在1.3个像素、2.3个像素等包含不足1个像素的错位的情况下,可以执行基于多个图像的高分辨率修正,但在1个像素、2个像素等不包含不足1个像素的错位的情况下,不能执行高分辨率修正。
例如,在变换倍率为2倍的情况下,高分辨率修正所需的图像数据的数量为2,作为两个图像数据的错位量,优选在像素单位下是小数点以下0.3~0.7。因此,存储部108中预先存储有将分辨率变换的倍率“2倍”与摄像次数“2”及处理执行条件“必要图像数据数:2、错位量:0.3~0.7”对应的信息,控制部109根据该信息,使摄像部101连续摄像2次,使摄像图像判定部102执行根据处理执行条件“必要图像数据数:2、错位量:0.3~0.7”的判定。
另外,在变换倍率为4倍的情况下,高分辨率修正所需的图像数据的数量为4,当将其中的一个图像数据设为基准图像数据时,该基准图像数据与其余3个图像数据的错位量优选分别在像素单位下为小数点以下0.2~0.3、0.4~0.6、0.7~0.8。因此,存储部108存储有使分辨率变换的倍率“4倍”与摄像次数“4”及处理执行条件“必要图像数据数:4、错位量:0.2~0.3、0.4~0.6、0.7~0.8”对应的信息。
下面,为了简化说明,度选择了2倍作为分辨率变换倍率的情况进行叙述。
首先,摄像图像判定部102选择子摄像图像数据的任意一个,针对该子摄像图像数据(下面称为第1子摄像图像数据),从上述几何学失真判定时求出的摄像对象物的区域中,选择错位检测用部分区域。这里,由于错位检测用部分区域用于求出第1子摄像图像数据与其余子摄像图像数据(下面称为第2子摄像图像数据)之间的错位量,所以优选是在该错位检测用部分区域内像素值的变化大(存在明确的图案)的区域。因此,摄像图像判定部102利用以下的方法来提取错位检测用部分区域。
摄像图像判定部102确定在摄像对象物的区域的重心位置存在的像素,并将该像素设为注目像素。然后,选定包含关注像素的n×n像素的区域。对选定的区域判断是否满足以下的选定要件,在满足的情况下,将该区域设为错位检测用部分区域。另一方面,在不满足的情况下,根据规定的偏移(offset)量,使区域移动,对移动后的区域进行相同的判断。由此,提取出错位检测用部分区域。
这里,作为选定要件,例如可举出以下两个。
第一个是使用基于区域内的色散的值。对于关注像素附近的n×n像素的区域,若将像素值设为P(i),则部分区域的色散值Variance(x)由下式(1)表示。将该色散值Variance(x)的值为规定阈值以上设为选定要件。为了简化,也可以仅考虑本式的分子。
Varience ( x ) = n × Σ i = 0 n - 1 [ P ( i ) ] 2 - [ Σ i = 0 n - 1 P ( i ) ] 2 n × n ···式(1)
另外,第二个是对关注像素附近的n×n像素的区域,实施如1次微分滤波那样的边缘提取滤波,进行二值化,并使用总和。图25表示1次微分滤波例,此时,只要将总和为某个规定阈值以上(例如部分区域像素数的5%以上等)设为选定要件即可。
接着,对如此求出的第1子摄像图像数据的错位检测用部分区域A(n×n),从第2子摄像图像数据中划分出中心基本相同的位置的错位检测用部分图像B(m×m)(m>n)。该划分方法按照第1子摄像图像数据中的错位检测用部分图像A的中心像素的坐标、与第2子摄像图像数据中的错位检测用部分图像B的中心像素的坐标一致的方式进行划分。
然后,以子像素精度求出在被划分出的错位检测用部分图像B中最适合于错位检测用部分图像A的区域。作为其方法,可举出将错位检测用部分图像A设为模板的正规化相关图案匹配。
作为正规化相关图案匹配的实例,使用已知的正规化相关式,计算出相关。一般由N个像素构成的两个图案Input(I)与Target(T)的相关式,可表示为下式(2)。这里,α、β、γ分别如下表示。
S = { α / β × γ } ……式(2)
α=N∑(I×T)-(∑I)×(∑T)
β=N∑(I×I)-(∑I)×(∑I)
γ=N∑(T×T)-(∑T)×(∑T)
例如,在n=5、m=7的情况下,若对错位检测用部分图像B(m×m)中尺寸与错位检测用部分图像A相同的每个区域(n×n)运算上述相关式,则结果生成3×3的相关值Map。使用该相关值Map,求出适合(fit)的2次曲面。作为2次曲面的求法,例如设为S(x,y)=a*x*x+b*x*y+c*y*y+d*x+e*y+f,选择9个点中相关值高的6个点,对联立方程式进行求解,求出各系数。若该函数的极值(=最大值)的坐标值(x、y双方)的小数点以下的值为规定范围(这里为0.3~0.7),则判定为满足处理执行条件“必要图像数据数:2、错位量:0.3~0.7”。
其中,极值的求法只要对上述2次式进行偏微分,求出分别为0的点的坐标即可。此时,由于实际上不必求出各系数(a~f),所以使用了直接相关值(S1~S6)的效率高。应该求出的式(3)如下所述。这里,原点为着眼的窗口基准。
x = 2 × S 3 × S 4 - S 5 × S 2 S 2 2 - 4 × S 1 × S 3
····式(3)
y = 2 × S 1 × S 5 - S 2 × S 4 S 2 2 - 4 × S 1 × S 3
另外,这样的子像素精度的位置错位确认至少在一个场所进行,但优选在多个场所进行。
然后,摄像图像判定部102将是否满足处理执行条件的判定结果输出到控制部109。
在接收到没有规定数量的错位了规定量的子摄像图像数据的判定结果时,控制部109在显示部105中显示例如“该图像有可能不能处理。请再次摄影”等督促再次摄像的消息,来重新得到图像。然后,对新摄像的多个子摄像图像数据的组合、或之前摄像的子摄像图像数据及再次摄像的子摄像图像数据的组合,由摄像图像判定部102再次进行判定处理。
(9-7-3)图像输出装置的图像处理的构成
接收以文档摄像模式拍摄的摄像图像数据的图像输出装置,具备图26所示的图像处理部202a,来代替图12所示的图像处理部202。图26是表示图像处理部202a的内部构成的图。如图所示,图像处理部202a与图像处理部202相比,不同之处在于,具备几何学修正部223、透镜失真修正部224及高分辨率修正部225。下面,依次说明各部的具体处理内容。其中,几何学修正部223、透镜失真修正部224及高分辨率修正部225,对被解码部222解码后的摄像图像数据(多个子摄像图像数据)进行处理。
(9-7-3-1)透镜失真修正部
透镜失真修正部224与摄像图像判定部102中的处理一样,通过光栅扫描依次检测出摄像图像中的摄像对象物的边缘上的点。然后,透镜失真修正部224对检测到的边缘上的点进行曲线近似,根据该曲线的式子来进行透镜失真修正。
具体而言,透镜失真修正部224对检测出的摄像对象物的边缘点进行检测,与摄像图像判定部102一样,将各边缘点分类为与摄像对象物的4边对应的4个组。然后,如图27的实线所示那样,对属于各组的边缘点进行2次曲线近似。如此对4个组求出的2次曲线对应于摄像对象物的4边。而且,透镜失真修正部224求出与由4条2次曲线包围的区域角部相当的4个2次曲线的交点。接着,透镜失真修正部224求出外切于对各边求出的2次曲线、且与连结4个交点的四边形(图27中用虚线表示)相似的外切四边形(在图27中用点划线表示)。然后,透镜失真修正部224对摄像图像中的摄像对象物的区域内的像素位置进行变换,以使如此求出的外切四边形成为修正后的对象物的边缘像素的位置。该变换只要根据从基准点(例如摄像对象物的区域的重心点)起的矢量进行计算即可。由此,可修正便携终端装置100的摄像部101产生的透镜失真。
作为透镜失真的修正方法,不限于上述方法,可以使用公知的技术。
(9-7-3-2)几何学修正部
几何学修正部223对于如广告或原稿纸那样的矩形状摄像对象物,修正从与形成有文档图像的平面的法线方向不同的方向摄像而引起的子摄像图像数据中摄像对象物的失真(即形成有文档图像的矩形状平面的失真),并且,修正子摄像图像数据中的摄像对象物的倾斜。
具体而言,几何学修正部223如下述那样执行几何学失真及倾斜的修正。几何学修正部223例如如图28所示,只要使如上述那样求出的外切四边形与对象物的纵横比(例如若是商业文档中使用的A尺寸B尺寸,则为7∶10等)一致,同样地进行摄像变换即可。作为该摄像变换,可以使用公知的技术。另外,几何学修正部223也可以按照与预先存储在存储部210中的纵横比相符的方式进行变换,还可以按照与输入到输入部206的纵横比相符的方式进行变换。
其中,几何学修正部223在变换为设定的纵横比然后,利用(9-6-2-1)中记载的方法,检测摄像对象物的倾斜,并实施子摄像图像数据的旋转处理,以使该倾斜为0度。由此,如图28的实线所示,得到倾斜为0度的子摄像图像数据。
作为几何学失真的修正方法,不限于上述方法,可以使用公知的技术。
(9-7-3-3)高分辨率修正部
高分辨率修正部225进行对从便携终端装置100接收到的摄像图像数据的高分辨率修正。在本实施方式中,高分辨率修正部225根据从便携终端装置100接收到的多个子摄像图像数据,进行高分辨率修正。
关于根据多个图像数据的高分辨率图像生成方法,在映像信息介质学会志Vol.62、No.3、pp337~342(2008)中介绍了几种方法。通常,高分辨率修正通过多个图像的对位处理与再构成处理实现。在本实施方式中,作为对位处理的例子,应用上述(9-6-2-3)中记载的正规化相关图案匹配的方法。即,通过上述S(x,y)错位了表示极大值的错位量,可以进行多个图像的对位。
接着,高分辨率修正部225进行再构成处理。即,高分辨率修正部225生成具有与分辨率变换后的倍率对应的像素数的再构成图像数据。其中,设图像尺寸与摄像图像的尺寸相同。然后,高分辨率修正部225如下所述决定再构成图像数据的各像素的像素值。即,高分辨率修正部225对再构成图像数据中的各像素(再构成像素),从多个摄像图像中决定成为该再构成像素附近的摄像图像的像素(摄像像素),以一般的内插方法(线性内插或双三次内插等)进行内插。
具体而言,如图29所示,连结着眼的再构成像素附近的摄像像素、例如摄像像素的栅格的线(图中的虚线)以横向、纵向分别选择最近距离的2点。这里,横向最近距离的2点是第1张摄像图像的摄像像素1-2(像素值:Vi1-2,以下同样)及摄像像素1-4,纵向最近距离的2点是第2张摄像图像的摄像像素2-1及摄像像素2-2。其中,当选择再构成像素附近的摄像像素时,从被执行了上述几何学失真修正、透镜失真修正的多个子摄像图像数据中选择。由此,能够以进行了几何学失真、透镜失真的修正的状态来进行高分辨率修正。
另外,当计算修正后的坐标值时,可以根据对成为基本的多个摄像图像相应的几何学修正、透镜失真修正进行了考虑的坐标值来求出。即,可以仅算出几何学修正、透镜失真的修正值,在进行了再构成处理之后,利用该修正值来进行坐标变换。
而且,求出与将对横向及纵向分别选择的2点连结的线段垂直、且包含着眼的再构成像素的点的直线与该线段的交点。如图29所示,在该交点相对两个线段分别以t:1-t、u:1-u内分的情况下,只要根据下式4求出着眼的再构成像素的像素值Vs即可。该情况下,进行了线性内插。然后,对全部的再构成像素同样地求出像素值,可以生成高分辨率的再构成图像数据,作为高分辨率图像数据。
VS={(1-t)Vi1-2+tVi1-4+(1-u)Vi2-1+uVi2-2}/2   ……式(4)
另外,作为内插方法,也可以使用其他方法。而且,可以使用映像信息介质学会志Vol.62、No.3、pp337~342(2008)中介绍的其他方法。例如,可以使用如MAP(Maximum A Posteriori)法那样的通过将与基于预先推定的事后概率对应的评价函数最小化来求出的方法。
而且,上述的说明中,成为利用因摄像部101连续多次摄像时的手抖动,在多个摄像图像中产生错位的方式。但是,不限于此,摄像部101也可以在连续多次摄像时,微小错位摄像元件(CCD、CMOS)或透镜。由此,在多个摄像图像间确实产生错位。
(9-7-4)摄像次数的变形例
上述(9-7-1)的说明中,在便携终端装置100中控制部109使摄像部101摄像了高分辨率修正所需的摄像图像的数量。即,控制部109将摄像次数与处理执行条件中的子摄像图像数据的必需数设定为相同的值。但是,控制部109也可以设定比高分辨率修正用的必要数大的值作为摄像次数。例如,在分辨率变换的倍率为2倍的情况下,可以对必要数“2”设定摄像次数“3”。
这样,在摄像次数比必要数大的情况下,摄像图像判定部102只要判断摄像次数量的子摄像图像数据中是否存在满足处理执行条件的子摄像图像数据的组合即可。例如,在相对于必要数“2”摄像次数为“3”的情况下,在3个子摄像图像数据中,必要数的子摄像图像数据的组合有3个。该情况下,摄像图像判定部102对各组合依次判定是否满足处理执行条件。然后,只要在确认了满足处理执行条件的组合的时刻,摄像图像判定部102结束处理,通信部104将该组合中包含的子摄像图像数据发送给图像输出装置200即可。或者,摄像图像判定部102也可以对全部的组合判定是否满足处理执行条件。此时,在多个组合满足处理执行条件的情况下,控制部109也可以将检测到的错位量与规定范围的中央值最接近的组合决定为发送给图像输出装置200的组合。例如,在规定范围为0.3~0.7的情况下,只要选择错位量与0.5最接近的组合即可。
(9-7-5)高分辨率修正的其他例
在上述的说明中,根据多个子摄像图像数据生成了高分辨率的再构成图像数据。但是,也可以根据一个图像数据而非多个图像数据来进行高分辨率修正。
关于根据一个图像数据生成高分辨率图像的方法,在映像信息介质学会志Vol.62、No.2、pp181~189(2008)中介绍了几种方法。
通常,通过在检测图像图案的边缘方向性,进行与该朝向相符的内插的同时,进行以去除内插引起的失真或输入图像中存在的噪声成分影响等为目的的噪声去除处理,可以执行高分辨率修正。下面,具体进行说明。
图30是表示根据一个摄像图像数据执行的高分辨率修正的处理流程的流程图。
这里,说明对横向、纵向分别进行2倍分辨率变换的例子。在进行2倍分辨率变换的情况下,当将成为修正对象的摄像图像数据的像素值设为n×m时,修正后的高分辨率图像数据的像素值变为2n×2m。这样的高分辨率修正(2倍分辨率变换)通过以摄像图像数据中的各像素为基准像素,在该基准像素间的中央生成新的像素作为内插像素,生成具备该基准像素与内插像素双方的图像数据作为高分辨率图像数据来执行。图31表示了基准像素与内插像素的关系,像素a表示基准像素,像素b表示内插像素。
首先,高分辨率修正部225对第1通信部207接收到的摄像图像数据进行边缘提取。例如,高分辨率修正部225使用图25所示那样的1次微分滤波进行边缘提取,并进行二值化处理,生成二值化图像数据(S40)。其中,如果在二值化图像数据中像素值为1,则表示是边缘的可能性高的像素。
接着,高分辨率修正部225根据在S40中生成的二值化图像数据,判定摄像图像数据中的着眼像素是否是边缘(S41)。具体而言,若二值化图像数据中的与着眼像素对应的像素的值为1,则高分辨率修正部225判定为该着眼像素是边缘。
其中,着眼像素是指当按任意的顺序着眼摄像图像数据中的各像素时,所着眼的像素。
在着眼像素为边缘的情况下(S41为是),高分辨率修正部225使用包含着眼像素的N×N(N>1)的部分图像,来检测边缘方向(S42)。具体而言,对于N×N的部分图像中包含的全部基准像素,判定是否是边缘像素。然后,在着眼像素的左上基准像素与右下基准像素为边缘像素的情况下,高分辨率修正部225判定为部分图像中的边缘方向是左上-右下方向。同样,在着眼像素的左基准像素与右基准像素为边缘像素的情况下,判定为边缘方向是左-右方向,在着眼像素的上基准像素与下基准像素为边缘像素的情况下,判定为边缘方向是上-下方向,在着眼像素的右上基准像素与左下基准像素为边缘图像的情况下,判定为边缘方向是右上-左下方向。
在图32中,虚线表示了检测到的边缘方向。其中,在图32中,像素(1)-(9)为基准像素,其中的像素(5)是着眼像素。而且,像素A、B、C分别是基准像素(1)与(5)之间的内插像素、基准像素(2)与(5)之间的内插像素、基准像素(4)与(5)之间的内插像素。
接着,高分辨率修正部225根据在S42中检测到的边缘方向,通过内插,求出着眼像素的左上内插像素A、着眼像素的上内插像素B、着眼像素的左内插像素C的像素值。此时,使用沿着边缘方向的基准像素,来求出内插像素的像素值。
在边缘方向是左上-右下方向的情况下,如图32(a)所示,基准像素(1)、(5)、(9)是边缘像素,连结这些像素的线变为边缘线。而且,对边缘线上的内插像素A的像素值VA(图中省略了“V”的标记。下面同样),使用与内插像素A邻接的边缘线上的基准像素(1)(像素值V(1))及基准像素(5)(像素值V(5))的像素值,利用下式VA=(V(1)+V(5))/2求出。
另一方面,对于不在边缘线上的内插像素B、C,包含除去边缘线上的基准像素的基准像素中、与该内插像素最接近的基准像素(最接近基准像素),使用与边缘方向平行的线上的基准像素来进行内插。例如,在图32(a)中,对内插像素B,包含作为最接近基准像素的基准像素(2),与边缘方向平行的线是连结基准像素(2)与(6)的线。而且,从内插像素B向该线垂直引出的点将连结基准像素(2)与(6)的线段内分。因此,内插像素B的像素值VB使用下式VB=(9×V(2)+4×V(6))/13求出。
同样,内插像素C的像素值VC使用作为最接近基准像素的基准像素(4)、与包含该基准像素(4)并和边缘方向平行的线上的基准像素(8)的像素值,使用下式VC=(9×V(4)+4×V(8))/13求出。
另外,在边缘方向为左-右方向的情况下,如图32(b)所示,基准像素(4)、(5)、(6)是边缘像素,连结这些像素的线为边缘线。而且,对于边缘线上的内插像素C的像素值VC,使用与内插像素C邻接的边缘线上的基准像素(4)(像素值V(4))及基准像素(5)(像素值V(5))的像素值,利用下式VC=(V(4)+V(5))/2求出。
另一方面,对于不在边缘线上的内插像素A、B,包含除去边缘线上的基准像素的基准像素中、与该内插像素最接近的基准像素(最接近基准像素),使用与边缘方向平行的线上的基准像素来进行内插。例如,在图32(b)中,对于内插像素A,包含作为最接近基准像素的基准像素(1)或(2),与边缘方向平行的线是连结基准像素(1)与(2)的线。而且,从内插像素A向该线垂直引出的点存在于基准像素(1)与(2)的中央。因此,内插像素A的像素值VA使用下式VA=(V(1)+V(2))/2求出。
对于内插像素B,包含作为最接近基准像素的基准像素(2),与边缘方向平行的线是连结基准像素(1)、(2)与(3)的线。而且,从内插像素B向该线垂直引出的点与基准像素(2)一致。因此,内插像素B的像素值VB设为与基准像素(2)的像素值V(2)相同的值。
另外,在边缘方向为右上-左下方向的情况下,如图32(c)所示,基准像素(3)、(5)、(7)是边缘像素,连结这些像素的线为边缘线。而且,内插像素A、B、C全部不存在于边缘线上。
对于内插像素A,最接近基准像素为基准像素(1)、(2)、(4)。这里,基准像素(2)、(4)位于和边缘方向平行的同一线上,但基准像素(1)不位于该线上。因此,对于内插像素A的像素值VA,使用作为最接近基准像素的基准像素(1)、(2)、(4)的像素值,利用下式VA=(V(1)+V(2)+V(4))/3求出。
另一方面,对于内插像素B、C,包含除去边缘线上的基准像素的基准像素中、与该内插像素最接近的基准像素(最接近基准像素),使用与边缘方向平行的线上的基准像素来进行内插。例如,在图32(c)中,对于内插像素B,包含作为最接近基准像素的基准像素(2),与边缘方向平行的线是连结基准像素(2)与(4)的线。而且,从内插像素B向该线垂直引出的点将连结基准像素(2)与(4)的线段内分。因此,内插像素B的像素值VB使用下式VB=(9×V(2)+4×V(4))/13求出。
同样,内插像素C的像素值VC使用作为最接近基准像素的基准像素(4)、与包含该基准像素(4)并与边缘方向平行的线上的基准像素(2)的像素值,利用下式VC=(4×V(2)+9×V(4))/13求出。
另外,在边缘方向是上-下方向的情况下,如图32(d)所示,基准像素(2)、(5)、(8)是边缘像素,连结这些像素的线为边缘线。而且,对于边缘线上的内插像素B的像素值VB,使用与内插像素B邻接的边缘线上的基准像素(2)及基准像素(5)的像素值,利用下式VC=(V(2)+V(5))/2求出。
另一方面,对于不在边缘线上的内插像素A、C,包含除去边缘线上的基准像素的基准像素中、与该内插像素最接近的基准像素(最接近基准像素),使用与边缘方向平行的线上的基准像素来进行内插。例如,在图32(d)中,对于内插像素A,包含作为最接近基准像素的基准像素(1)或(4),与边缘方向平行的线是连结基准像素(1)与(4)的线。而且,从内插像素A向该线垂直引出的点存在于基准像素(1)与(4)的中央。因此,内插像素A的像素值VA使用下式VA=(V(1)+V(4))/2求出。
对于内插像素C,包含作为最接近基准像素的基准像素(4),与边缘方向平行的线是连结基准像素(1)、(4)与(7)的线。而且,从内插像素C向该线垂直引出的点与基准像素(4)一致。因此,内插像素C的像素值VC设为与基准像素(4)的像素值V(4)相同的值。
其中,存储部210预先存储有将边缘方向、与用于求出内插像素A、B、C的像素值的运算式相对应的信息。而且,高分辨率修正部225只要从存储部210中读出与在S42中检测到的边缘方向对应的运算式,根据读出的运算式,求出内插像素A、B、C的像素值即可。
另外,在图32中,仅表示了边缘方向为直线状的情况。但边缘有时在N×N的部分图像内也弯曲。例如,存在边缘如基准像素(2)-(5)-(4)那样弯曲的情况、和边缘如基准像素(1)-(5)-(7)那样弯曲的情况等。即便在这样的情况下,也预先存储有与用于求出内插像素A、B、C的像素值的运算式对应的信息。例如,在边缘如基准像素(2)-(5)-(4)那样弯曲的情况下,对内插像素A存储与图32(c)一样的运算式,对内插像素B存储与图32(b)一样的运算式,对内插像素C存储与图32(d)一样的运算式。另外,在边缘如基准像素(1)-(5)-(7)那样弯曲的情况下,对内插像素A存储与图32(a)一样的运算式,对内插像素B存储与图32(a)一样的运算式,对内插像素C存储与图32(d)一样的运算式。对于其他边缘方向的图案也同样存储。
这样,高分辨率修正部225求出位于判定为边缘像素的基准像素周围的内插像素的像素值。
另一方面,在着眼像素不是边缘的情况下(S41为否),高分辨率修正部225利用一般的内插运算法(双线性、双三次等),求出与该着眼像素的左上邻接的内插像素A、与该着眼像素的上方邻接的内插像素B、该着眼像素左侧的内插像素C的像素值(S43)。
高分辨率修正部225通过对一个图像数据中包含的全部基准像素执行上述的S41~S43的处理,由此生成具备基准像素与内插像素两者的内插图像数据(S44)。
然后,高分辨率修正部225对生成的内插图像数据进行高画质处理。例如,高分辨率修正部225将噪声去除滤波、鲜明滤波等应用于内插图像数据,生成高分辨率图像数据。以往不清晰的掩饰(mask)、将图9的中央系数设为5的构成成为鲜明滤波。而且,作为噪声去除,中间滤波等广为人知。作为更高级的方法,也可以使用Bilateral滤波[Proceedings of the 1998 IEEE International Conference on ComputerVision,]等,作为同时具有上述边缘保存性与高画质的方法。
另外,高分辨率修正部225也可以不限于上述的方法,而使用映像信息介质学会志Vol.62、No.2、pp181~189(2008)中记载的各种方法,根据一个摄像图像数据生成高分辨率图像数据。
而且,在如此根据一个图像数据来生成高分辨率图像数据的情况下,便携终端装置100的摄像部101只要在文档摄像模式下按下1次快门仅摄像1次即可。另外,此时可以省略上述的(9-5-3-3)的处理。而且,便携终端装置100只要与上述图像输出模式同样地发送包含一个摄像图像数据的数据即可。
(9-8)输出处理信息
在上述的说明中,便携终端装置100取得输出处理信息,发送到图像输出装置200。但是,不限于此,也可以在图像输出装置200输出图像时,从图像输出装置200的输入部206取得输出处理信息(表示输出处理的种类、输出处理用的设定条件的信息)。
(9-9)输出处理
在图像输出装置200中,控制部212在进行归档处理或邮件发送处理之前,也可以将由图像处理部202、202a解码后的摄像图像数据变换为高压缩PDF。其中,高压缩PDF数据是将图像数据中的背景部分与字符部分分离,并对各个部分执行了最佳的压缩处理的PDF数据。由此,还可以使图像文件尺寸降低。
另外,控制部212也可以在执行归档处理或邮件发送处理之前,对由图像处理部202、202a解码后的摄像图像数据执行OCR处理,生成文本数据。而且,控制部212也可以将摄像图像数据变换为PDF,并将生成的文本数据作为透明文本来附加。其中,透明文本是用于将识别出的字符作为文本信息,以外观上看不见的形式重合(或埋入)于图像数据的数据。例如,在PDF文件中,一般使用对图像数据附加了透明文本的图像文件。而且,控制部212也可以输出生成的带透明文本的PDF数据。由此,可以输出像能够文本检索的文件那样容易灵活运用的电子化文档。
(9-10)图像输出装置所具备的图像处理部
在上述的说明中,说明了图像输出装置200所具备的图像处理部202、202a进行解码处理、色平衡修正等情况。但是,图像输出装置200也可以使具备上述图像处理部202、202a的服务器执行对摄像图像数据的解码处理和其他的图像处理(高分辨率修正、几何学失真的修正、透镜失真的修正、对比度修正、色平衡修正等)。此时,可以说该服务器是对从便携终端装置100接收到的摄像图像数据进行解码处理,输出解码后的摄像图像数据的图像输出装置。
(10)程序及记录介质
本发明也可以在记录了用于让计算机执行的程序的计算机可读取的记录介质中,记录上述的将由便携终端装置100摄像到的图像发送给图像输出装置200并从图像输出装置200输出的方法。
结果,能够自由携带地提供记录有用于执行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。其中,在本实施方式中,为了由微机来进行处理,作为该记录介质,可以是未图示的存储器,例如ROM等,也可以自身是程序介质,或者虽未图示,但也可以是设置程序读取装置作为外部存储装置,通过在其中插入记录介质而能够读取的程序介质。
在任意一种情况下,均可以是所存储的程序由微处理器访问并执行的构成,或者,在任意一种情况下,均可以是读出程序代码,将读出的程序代码下载到微机的未图示的程序存储区域,执行该程序的方式。该下载用的程序被预先存储在主体装置中。
这里,上述程序介质是能够与主体分离构成的记录介质,可以是包含磁带/盒带等的带类、软盘或硬盘等磁盘、或CD-ROM/MO/MD/DVD等光盘的盘类、IC卡(包含存储卡)/光卡等卡类、或掩模ROM、EPROM(Erasable Programmable Read OnlyMemory)、EEPROM(Electrically Erasable Programmable Read OnlyMemory)、闪存ROM等半导体存储器的、固定担承程序代码的介质。
而且,在本实施方式中,由于是能够连接包含因特网的通信网络的系统构成,所以也可以是按照从通信网络下载程序代码的方式,流动地担承程序代码的介质。另外,在如此从通信网络下载程序的情况下,也可以将该下载用程序预先存储到主体装置中,或从其他的记录介质进行安装。
上述记录介质通过被便携终端装置100或图像输出装置200所具备的程序读取装置读取,来执行上述的图像处理方法。
如上所述,本发明的摄像图像处理系统具备:具有摄像机构的便携终端装置和多个图像输出装置,上述便携终端装置与上述图像输出装置能够通信,其中,上述便携终端装置具备至少存储一个用于编码图像数据的编码信息的第1存储机构,上述多个图像输出装置分别具备第2存储机构,该第2存储机构存储用于解码被上述编码信息编码的图像数据的解码信息,并且存储用于识别自身装置的第1识别信息,对于各编码信息与和该编码信息对应的解码信息的组合,预先分配了用于识别该组合的第2识别信息,上述第1存储机构将各编码信息与对包含该编码信息的上述组合进行识别的上述第2识别信息对应存储,上述第2存储机构将各解码信息与对包含该解码信息的上述组合进行识别的上述第2识别信息对应存储,上述便携终端装置具备:编码部,使用上述第1存储机构存储的编码信息,编码通过上述摄像机构的摄像而得到的摄像图像数据;和图像数据发送部,对由上述编码部编码后的摄像图像数据,附加与上述编码部使用的编码信息对应的第2识别信息和由用户输入设定的第1识别信息,发送给由用户指定的图像输出装置;上述图像输出装置具备:图像数据接收部,从上述便携终端装置接收被附加了第1识别信息及第2识别信息的摄像图像数据;判定部,判定上述图像数据接收部接收到的第1识别信息与上述第2存储机构中存储的第1识别信息是否一致;解码部,在由上述判定部判定为一致的情况下,从上述第2存储机构中读出与上述图像数据接收部接收到的第2识别信息对应的解码信息,并使用该解码信息,解码上述图像数据接收部接收到的摄像图像数据;和输出部,输出被上述解码部解码后的摄像图像数据、或由该解码后的摄像图像数据表示的图像。
另外,本发明的图像输出方法是一种摄像图像处理系统中的图像输出方法,该摄像图像处理系统具备:具有摄像机构的便携终端装置和多个图像输出装置,上述便携终端装置与上述图像输出装置能够通信,其中,上述便携终端装置具备至少存储一个用于编码图像数据的编码信息的第1存储机构,上述多个图像输出装置分别具备第2存储机构,该第2存储机构存储用于解码由上述编码信息编码的图像数据的解码信息,并且存储用于识别自身装置的第1识别信息,对于各编码信息与和该编码信息对应的解码信息的组合,预先分配用于识别该组合的第2识别信息,上述第1存储机构将各编码信息与对包含该编码信息的上述组合进行识别的上述第2识别信息对应存储,上述第2存储机构将各解码信息与对包含该解码信息的上述组合进行识别的上述第2识别信息对应存储,该图像输出方法包含:编码步骤,上述便携终端装置使用上述第1存储机构存储的编码信息,编码通过上述摄像机构的摄像而得到的摄像图像数据;图像数据发送步骤,上述便携终端装置对编码后的摄像图像数据,附加与编码所使用的编码信息对应的第2识别信息和由用户输入设定的第1识别信息,并发送给由用户指定的图像输出装置;图像数据接收步骤,上述图像输出装置从上述便携终端装置接收被附加了第1识别信息及第2识别信息的摄像图像数据;判定步骤,上述图像输出装置判定接收到的第1识别信息与上述第2存储机构中存储的第1识别信息是否一致;解码步骤,在由上述判定步骤判定为一致的情况下,上述图像输出装置从上述第2存储机构中读出与接收到的第2识别信息对应的解码信息,并使用该解码信息,解码接收到的摄像图像数据;和输出步骤,上述图像输出装置输出解码后的摄像图像数据、或由该解码后的摄像图像数据表示的图像。
根据上述的构成,从便携终端装置发送到图像输出装置的摄像图像数据被编码部编码。因此,可以确保隐匿性。
而且,便携终端装置将由用户输入设定的第1识别信息附加于摄像图像数据进行发送。然后,在图像输出装置中,判定接收到的第1识别信息与第2存储机构中存储的第1识别信息是否一致,在判定为一致的情况下,解码并输出。因此,即便用户错误地发送到与由用户设定的第1识别信息识别的图像输出装置不同的图像输出装置,由于在图像输出装置中第1识别信息不一致,所以也不执行图像输出。即,即便错误地发送到用户不期望的图像输出装置,也不能确认向谁输出的图像。
并且,多个图像输出装置分别存储有解码信息。因此,在希望图像输出的图像输出装置因故障等不动作的情况下,通过输入对其他图像输出装置进行识别的第1识别信息,即使发送了由相同的编码信息编码的摄像图像数据也能够被正常解码,执行图像输出。
如上所述,使通过便携终端装置的摄像而得到的摄像图像数据具有隐匿性,并且,即便在预定了图像输出的特定图像输出装置发生故障等任何麻烦的情况下,也可以由其他图像输出装置进行图像输出。
并且,在本发明的摄像图像处理系统中,优选上述编码部及上述解码部通过变更图像数据的像素位置来进行编码及解码,上述编码信息是对摄像图像数据中包含的各像素,表示进行了编码后的像素位置的信息,上述解码信息是对编码后的图像数据的各像素,表示正规的像素位置的信息。
根据上述构成,可以使用变更像素位置这一简单的方法来执行编码。
并且,在本发明的摄像图像处理系统中,优选作为使用了上述编码信息的编码方法,有多种方法,上述编码部选择上述多种方法中的一个方法,进行摄像图像数据的编码,上述图像数据发送部将用于识别由上述编码部选择的编码方法的第3识别信息与上述摄像图像数据一起,发送给图像输出装置,上述解码部根据由上述图像数据接收部接收到的第3识别信息识别的方法,进行上述摄像图像数据的解码。
根据上述构成,可以对每个摄像图像数据变更从便携终端装置发送的摄像图像数据的编码方法。因此,即便假设针对一个摄像图像数据的编码信息被解读,也不能容易地解码其他的摄像图像数据。由此,可进一步提高摄像图像数据的隐匿性。
另外,作为上述编码方法,例如有以下的(a)~(f)中的至少两个。
(a)摄像图像数据由多个色成分数据构成,对各色成分数据使用相同的编码信息,变更像素位置的编码方法。
(b)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,对各色成分数据的各块使用相同的编码信息,变更像素位置,并且,对各色成分数据使用相同的编码信息,还变更块的位置的编码方法。
(c)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,并且,将该多个块分成多个组,对每个组使用不同的编码信息,变更属于该组的块内的像素位置的方法,并且,对各色成分数据使用同一编码信息的编码方法。
(d)摄像图像数据由多个色成分数据构成,对各色成分数据使用不同的编码信息,变更像素位置的编码方法。
(e)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,并且,将该多个块分成多个组,对每个组使用不同的编码信息,变更属于该组的块内的像素位置的方法,并且,对各色成分数据使用不同的编码信息的编码方法。
(f)使用编码信息,变更摄像图像数据的各像素的浓度值的编码方法。
或者,在本发明的摄像图像处理系统中,作为使用了上述编码信息的编码方法,有多种方法,上述编码部选择上述多种方法中的多个方法,进行摄像图像数据的编码,上述图像数据发送部将用于识别上述编码部选择的多个编码方法的第4识别信息与上述摄像图像数据一起,发送给图像输出装置,上述解码部根据由上述图像数据接收部接收到的第4识别信息识别的多个方法,进行上述摄像图像数据的解码。
例如,上述编码部选择的上述多个方法包含:变更像素位置的方法、和变更像素的浓度值的方法。
根据上述构成,由于能够选择多种方法中的多个方法,进行摄像图像数据的编码,所以与使用单一方法编码的情况相比,在解码时,由于不必确定解码用的多个方法,所以可使安全性进一步提高。
并且,在本发明的摄像图像处理系统中,优选上述编码部对上述摄像图像数据的至少一个色成分数据,通过使用了与其他色成分数据不同的编码信息的编码方法进行编码。
根据上述构成,对摄像图像数据的至少一个色成分数据,使用与其他色成分数据不同的编码信息进行编码。因此,由于与使用单一方法编码的情况相比,在解码时,不必确定对哪个色成分数据应该通过哪个方法来解码,所以可使安全性进一步提高。
并且,在本发明的摄像图像处理系统中,优选上述图像输出装置具备高分辨率修正部,该高分辨率修正部将由上述解码部解码后的摄像图像数据修正为比该摄像图像数据的分辨率高的分辨率,上述输出部输出被上述高分辨率修正部修正后的摄像图像数据、或由该被修正后的摄像图像数据表示的图像。
根据上述构成,例如可使摄像图像中的字符的判读性提高,输出品质高的图像。
另外,上述摄像图像处理系统也可由计算机实现,该情况下,通过使计算机作为上述各部动作而由计算机实现摄像图像处理系统的程序、以及记录其的计算机可读取的记录介质也属于本发明的范畴。
本发明不限于上述的实施方式,在权利要求所示的范围内可进行各种变更。即,将在权利要求所示的范围内适当变更的技术手段组合而得到的实施方式,也包含于本发明的技术范围内。
产业上的可利用性
本发明可适用于在便携终端装置与图像输出装置之间进行数据通信的摄像图像处理系统。

Claims (9)

1.一种摄像图像处理系统,具备:具有摄像机构的便携终端装置、和多个图像输出装置,上述便携终端装置与上述图像输出装置能够通信,其特征在于,
上述便携终端装置具备至少存储一个用于加密图像数据的加密信息的第1存储机构,上述多个图像输出装置分别具备第2存储机构,该第2存储机构存储用于解密由上述加密信息加密的图像数据的解密信息,并且存储用于识别自身装置的第1识别信息,
对于各加密信息与和该加密信息对应的解密信息的组合,预先分配用于识别该组合的第2识别信息,上述第1存储机构将各加密信息与对包含该加密信息的上述组合进行识别的上述第2识别信息对应存储,上述第2存储机构将各解密信息与对包含该解密信息的上述组合进行识别的上述第2识别信息对应存储,
上述便携终端装置具备:加密部,使用上述第1存储机构存储的加密信息,加密通过上述摄像机构的摄像而得到的摄像图像数据;和
图像数据发送部,对由上述加密部加密后的摄像图像数据,附加与上述加密部所使用的加密信息对应的第2识别信息和由用户输入设定的第1识别信息,并发送给由用户指定的图像输出装置,
上述图像输出装置具备:图像数据接收部,从上述便携终端装置接收被附加了第1识别信息及第2识别信息的摄像图像数据;
判定部,判定上述图像数据接收部接收到的第1识别信息与上述第2存储机构中存储的第1识别信息是否一致;
解密部,在由上述判定部判定为一致的情况下,从上述第2存储机构中读出与上述图像数据接收部接收到的第2识别信息对应的解密信息,并使用该解密信息,解密上述图像数据接收部接收到的摄像图像数据;和
输出部,输出由上述解密部解密后的摄像图像数据、或将该解密后的摄像图像数据打印到记录用纸上。
2.根据权利要求1所述的摄像图像处理系统,其特征在于,
上述加密部及上述解密部通过变更图像数据的像素位置,来进行加密及解密,
上述加密信息是对摄像图像数据中包含的各像素,表示进行了加密后的像素位置的信息,
上述解密信息是对加密后的图像数据的各像素,表示加密前的像素位置的信息。
3.根据权利要求1所述的摄像图像处理系统,其特征在于,
作为使用了上述加密信息的加密方法,有多种方法,
上述加密部选择上述多种方法中的一个方法,进行摄像图像数据的加密,
上述图像数据发送部将用于识别上述加密部选择的加密方法的第3识别信息与上述摄像图像数据一起,发送给图像输出装置,
上述解密部根据由上述图像数据接收部接收到的第3识别信息识别的方法,进行上述摄像图像数据的解密。
4.根据权利要求1所述的摄像图像处理系统,其特征在于,:
作为使用了上述加密信息的加密方法,有多种方法,
上述加密部选择上述多种方法中的多个方法,进行摄像图像数据的加密,
上述图像数据发送部将用于识别上述加密部选择的多个加密方法的第4识别信息与上述摄像图像数据一起,发送给图像输出装置,
上述解密部根据由上述图像数据接收部接收到的第4识别信息识别的多个方法,进行上述摄像图像数据的解密。
5.根据权利要求4所述的摄像图像处理系统,其特征在于,
上述加密部对上述摄像图像数据的至少一个色成分数据,通过使用了与其他色成分数据不同的加密信息的加密方法进行加密。
6.根据权利要求4所述的摄像图像处理系统,其特征在于,
上述加密部选择的上述多个方法包含:变更像素位置的方法、和变更像素的浓度值的方法。
7.根据权利要求3~5中任意一项所述的摄像图像处理系统,其特征在于,
作为上述加密方法,有以下的(a)~(f)加密方法中的至少两个,
(a)摄像图像数据由多个色成分数据构成,对各色成分数据使用相同的加密信息,变更像素位置的加密方法;
(b)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,对各色成分数据的各块使用同一加密信息,变更像素位置,并且,对各色成分数据使用同一加密信息,还变更块的位置的加密方法;
(c)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,并且,将该多个块分成多个组,对每个组使用不同的加密信息,变更属于该组的块内的像素位置,并且,对各色成分数据使用同一加密信息的加密方法;
(d)摄像图像数据由多个色成分数据构成,对各色成分数据使用不同的加密信息,变更像素位置的加密方法;
(e)摄像图像数据由多个色成分数据构成,将各色成分数据分割成规定尺寸的多个块,并且,将该多个块分成多个组,对每个组使用不同的加密信息,变更属于该组的块内的像素位置的方法,并且,对各色成分数据使用不同的加密信息的加密方法;
(f)使用加密信息,变更摄像图像数据的各像素的浓度值的加密方法。
8.根据权利要求1所述的摄像图像处理系统,其特征在于,
上述图像输出装置具备高分辨率修正部,该高分辨率修正部将由上述解密部解密后的摄像图像数据修正为比该摄像图像数据的分辨率高的分辨率,
上述输出部输出被上述高分辨率修正部修正后的摄像图像数据、或将该被修正后的摄像图像数据打印到记录用纸上。
9.一种图像输出方法,在摄像图像处理系统中应用,该摄像图像处理系统具备:具有摄像机构的便携终端装置、和多个图像输出装置,上述便携终端装置与上述图像输出装置能够通信,其特征在于,
上述便携终端装置具备至少存储一个用于加密图像数据的加密信息的第1存储机构,上述多个图像输出装置分别具备第2存储机构,该第2存储机构存储用于解密由上述加密信息加密的图像数据的解密信息,并且,存储用于识别自身装置的第1识别信息,
对于各加密信息与和该加密信息对应的解密信息的组合,预先分配用于识别该组合的第2识别信息,上述第1存储机构将各加密信息与对包含该加密信息的上述组合进行识别的上述第2识别信息对应存储,上述第2存储机构将各解密信息与对包含该解密信息的上述组合进行识别的上述第2识别信息对应存储,
所述图像输出方法包含:
加密步骤,上述便携终端装置使用上述第1存储机构所存储的加密信息,加密通过上述摄像机构的摄像而得到的摄像图像数据;
图像数据发送步骤,上述便携终端装置对加密后的摄像图像数据,附加与加密所使用的加密信息对应的第2识别信息和由用户输入设定的第1识别信息,并发送给由用户指定的图像输出装置;
图像数据接收步骤,上述图像输出装置从上述便携终端装置接收被附加了第1识别信息及第2识别信息的摄像图像数据;
判定步骤,上述图像输出装置判定接收到的第1识别信息与上述第2存储机构中存储的第1识别信息是否一致;
解密步骤,在由上述判定步骤判定为一致的情况下,上述图像输出装置从上述第2存储机构中读出与接收到的第2识别信息对应的解密信息,并使用该解密信息,解密接收到的摄像图像数据;和
输出步骤,上述图像输出装置输出解密后的摄像图像数据、或将该解密后的摄像图像数据打印到记录用纸上。
CN2010105064853A 2009-10-09 2010-10-08 摄像图像处理系统及图像输出方法 Expired - Fee Related CN102045471B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-235733 2009-10-09
JP2009235733 2009-10-09
JP2010070514A JP2011101338A (ja) 2009-10-09 2010-03-25 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2010-070514 2010-03-25

Publications (2)

Publication Number Publication Date
CN102045471A CN102045471A (zh) 2011-05-04
CN102045471B true CN102045471B (zh) 2013-07-31

Family

ID=43854626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105064853A Expired - Fee Related CN102045471B (zh) 2009-10-09 2010-10-08 摄像图像处理系统及图像输出方法

Country Status (3)

Country Link
US (1) US20110085204A1 (zh)
JP (1) JP2011101338A (zh)
CN (1) CN102045471B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5799883B2 (ja) * 2011-06-16 2015-10-28 コニカミノルタ株式会社 接続制御装置、情報処理装置、画像形成装置、携帯型移動端末、情報処理システム、接続制御装置の制御方法、及び接続制御装置の制御プログラム
JP5697570B2 (ja) * 2011-09-29 2015-04-08 京セラドキュメントソリューションズ株式会社 画像形成装置
US8681350B2 (en) * 2012-02-29 2014-03-25 Canon Kabushiki Kaisha Systems and methods for enterprise sharing of a printing device
US8749830B2 (en) * 2012-07-12 2014-06-10 Ricoh Production Print Solutions Verification of a printer calibration utilizing hand-held mobile devices
US20140307973A1 (en) * 2013-04-10 2014-10-16 Adobe Systems Incorporated Text Recognition Techniques
JP2016001454A (ja) * 2014-05-20 2016-01-07 株式会社東芝 携帯可能電子装置、プログラム、端末および方法
US9961265B2 (en) * 2014-10-06 2018-05-01 Shafiq Ahmad Chaudhry Method for capturing and storing historic audiovisual data via a digital mirror
JP6631261B2 (ja) * 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP2018067854A (ja) 2016-10-21 2018-04-26 株式会社プラットフィールド 情報通信システム
JP6763280B2 (ja) * 2016-11-11 2020-09-30 コニカミノルタ株式会社 画像形成システム、印刷ログ管理方法
EP3585044A4 (en) * 2017-02-20 2020-01-15 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
JP6844788B2 (ja) * 2019-03-04 2021-03-17 株式会社プラットフィールド 情報通信システム
CN111246249A (zh) * 2020-01-18 2020-06-05 江苏提米智能科技有限公司 一种图像编码方法、编码装置、解码方法、解码装置及存储介质
JP7429167B2 (ja) 2020-07-14 2024-02-07 株式会社日立産機システム インクジェットプリンタシステム
CN117725615B (zh) * 2023-12-25 2024-05-28 杭州圣鼎科技有限公司 基于双向交互信息共享的生产信息记录方法、系统及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541993A (en) * 1994-05-10 1996-07-30 Fan; Eric Structure and method for secure image transmission
JP4420474B2 (ja) * 1996-02-14 2010-02-24 ソニー株式会社 電子番組ガイド表示制御装置及び方法
JPH10248045A (ja) * 1996-12-30 1998-09-14 Casio Comput Co Ltd 電子撮像装置および電子撮像システム
JPH11298878A (ja) * 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
JP4582377B2 (ja) * 2000-12-27 2010-11-17 ソニー株式会社 暗号化装置、暗号化方法、暗号復号化装置、暗号復号化方法及び暗号化システム
JP2003018565A (ja) * 2001-06-28 2003-01-17 Pioneer Electronic Corp 映像信号伝送装置
JP2004112400A (ja) * 2002-09-19 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP4666892B2 (ja) * 2003-06-13 2011-04-06 シャープ株式会社 データ処理装置
JP4716357B2 (ja) * 2005-03-29 2011-07-06 Kddi株式会社 圧縮データスクランブル配信装置、その再生装置および配信・再生装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2002-204229A 2002.07.19
JP特开2004-112400A 2004.04.08
JP特开2005-6177A 2005.01.06
JP特开平10-248045A 1998.09.14

Also Published As

Publication number Publication date
US20110085204A1 (en) 2011-04-14
CN102045471A (zh) 2011-05-04
JP2011101338A (ja) 2011-05-19

Similar Documents

Publication Publication Date Title
CN102045471B (zh) 摄像图像处理系统及图像输出方法
CN102025809B (zh) 便携终端装置及其控制方法、图像输出装置和方法
EP1158456B1 (en) Barcode system
Wu et al. Data hiding in binary image for authentication and annotation
US8100330B2 (en) Method for encoding and decoding data in a color barcode pattern
US8995012B2 (en) System for mobile image capture and processing of financial documents
CN104067605B (zh) 拍摄装置以及拍摄图像处理系统
US8430329B2 (en) Two-dimensional code publishing program and two-dimensional code decoding program
CN101431582B (zh) 图像处理装置、系统、方法、以及图像形成装置
JP4772889B2 (ja) 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体
WO2006136958A2 (en) System and method of improving the legibility and applicability of document pictures using form based image enhancement
JP4758493B2 (ja) 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
CN101795336A (zh) 图像生成、处理、读取、形成装置和图像生成、处理方法
CN101360160B (zh) 图像处理装置、图像处理系统、图像处理方法和图像形成装置
CN101369314B (zh) 图像处理装置、图像形成装置、图像处理系统和方法
JP2009223499A (ja) 2次元コード復元プログラム、及び、復元サーバ
CN104519227B (zh) 图像判定装置以及图像处理系统
Malvido et al. A novel model for the print-and-capture channel in 2D bar codes
JP2010273218A (ja) 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP3961539B2 (ja) 画像配信システムおよび方法
JP2009071565A (ja) 画像処理装置
JP2012151532A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130731

Termination date: 20201008