JP2013131801A - 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体 - Google Patents

情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2013131801A
JP2013131801A JP2011277948A JP2011277948A JP2013131801A JP 2013131801 A JP2013131801 A JP 2013131801A JP 2011277948 A JP2011277948 A JP 2011277948A JP 2011277948 A JP2011277948 A JP 2011277948A JP 2013131801 A JP2013131801 A JP 2013131801A
Authority
JP
Japan
Prior art keywords
captured image
trimming
region
area
vertex coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011277948A
Other languages
English (en)
Inventor
Hiroaki Kaneda
浩明 金田
Kazuhisa Nakabayashi
和久 中林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakabayashi Co Ltd
Original Assignee
Nakabayashi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nakabayashi Co Ltd filed Critical Nakabayashi Co Ltd
Priority to JP2011277948A priority Critical patent/JP2013131801A/ja
Priority to PCT/JP2012/056327 priority patent/WO2013094231A1/ja
Publication of JP2013131801A publication Critical patent/JP2013131801A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/626—Detection of non-electronic marks, e.g. fluorescent markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供する。
【解決手段】撮像部３と制御部７とを備え、撮像部３から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置１であって、撮像画像の所定の領域が、所定の色を有する線で囲まれており、制御部７が、撮像部３から、撮像対象物Ｎの所定の領域Ｒｎを撮像した撮像画像を取得（Ｓ１）し、撮像画像から、トリミング対象とする所定の色のみを抽出した抽出画像を生成（Ｓ２）し、抽出画像において、撮像画像の所定の領域Ｒｎに対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域Ｒｔと決定（Ｓ４）し、撮像画像の、トリミングＲｔ領域で指定される領域をトリミング（Ｓ１２）する。
【選択図】図３

Description

本発明は撮像画像の処理方法に関し、より詳細には、外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体に関する。
新聞記事や雑誌の切り抜き等を画像データとして取り込む場合、従来は一般的なスキャナーを使用していた。しかしながら、スキャナーの設置箇所は、例えばオフィスやコンビニエンス・ストア等の特定の場所に限られているので、興味が引かれる記事等を外出先において見かけた場合であっても、手軽に画像データ化して保存することができなかった。
一方、近年の情報処理技術の発達により、例えば、携帯電話やスマートフォンなどの携帯端末装置が備える撮像装置により撮像した画像データを、ネットワークを介して保存する技術がある（例えば、特許文献１参照）。この特許文献１に記載の技術では、カメラ付きＰＤＡや携帯パソコン等の携帯型の情報機器で収集したデジタル形式の画像データを、ネットワークを介してサーバに送信し、サーバ側で、受信したデジタル画像データに対して、明るさや色、サイズの調整などの画像処理を行っている。
特開２００２−４１５０２号公報
特許文献１に記載の技術では、外出先において収集した画像データをネットワークを介して保存できるという利便性はあるものの、画像データ化した後に、必要な部分のみをトリミングする処理が非常に面倒であった。また、画像データをトリミングしようとしても、外出中のユーザが手にしている携帯電話等では、操作性が不十分であるという問題があり、携帯電話等のコンパクトな情報機器であっても、手軽に画像データをトリミングすることができる簡便な手法の開発が望まれていた。
また、携帯端末装置のカメラ機能を使用して、新聞記事や雑誌の切り抜き等を撮像すると、撮像画像に歪み（パースペクティブ）が生じるという問題もある。文書の保存を目的として、一般的なスキャナーを使用する場合には、撮像対象物（文書ページ）を含む平面がフラットベッドのガラス面の位置に固定されるので、このような撮像画像の歪みは生じない。しかしながら、携帯端末装置のカメラ機能を使用する場合には、撮像部が、撮像対象物を含む平面の法線方向とは一致しない方向から撮像することになるので、撮像方向を正確に合わせるのが困難となり、撮像画像に歪みが生じてしまい、ユーザが撮像画像の内容を確認しようとして閲覧しても、記事の内容が読みにくいという問題があった。
本発明は、上記課題を解決するためになされたものであり、その目的は、外出先においても撮像画像の所定の領域をトリミングして保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
さらに、本発明の目的は、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる携帯端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
上記目的の達成のために、本発明に係る携帯端末装置は、撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置であって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、携帯端末装置である。
また、本発明に係る携帯端末装置は、本発明に係る携帯端末装置において、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
また、本発明に係る撮像画像処理システムは、撮像部および制御部を有する携帯型の情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮影画像処理システムであって、前記撮像画像の前記所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システムである。
また、本発明に係る撮像画像処理システムは、本発明に係る撮像画像処理システムにおいて、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
また、本発明に係る撮像画像処理方法は、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得するステップと、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法である。
また、本発明に係る撮像画像処理方法は、本発明に係る撮像画像処理方法において、前記制御部が、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定するステップと、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定するステップと、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成するステップと、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成するステップと、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングするステップとをさらに含むことが好ましい。
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、前記制御部に、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。
また、本発明に係る撮像画像処理プログラムは、本発明に係る撮像画像処理プログラムにおいて、前記制御部に、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定する機能と、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定する機能と、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成する機能と、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成する機能と、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする機能とを実現させることが好ましい。
本発明によると、外出先においても撮像画像の所定の領域をトリミングして保存することができる。また、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる。取り込んで画像情報化した新聞記事や雑誌の切り抜き等に歪みは無く、ユーザは記事の内容を正確に読み取ることができる。
本発明の一実施形態に係る携帯端末装置の概略構成図であり、（ａ）は正面図であり、（ｂ）は裏面図である。 携帯端末装置のブロック図である。 本発明の一実施形態に係る携帯端末装置が行う画像処理方法の処理順序を示すフローチャートである。 撮像対象物のパースペクティブを説明するための模式図である。 台形補正用の頂点座標の決定方法を説明するための模式図である。 台形補正後の頂点座標の決定方法を説明するための模式図である。 取り込み対象の領域Ｒの特定に用いるマーカーペンの一例である。
以下、本発明の実施の形態を、添付の図面を参照して詳細に説明する。尚、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する。
図１は、本発明の一実施形態に係る携帯端末装置の概略構成図である。（ａ）は正面図であり、（ｂ）は裏面図である。図２は、携帯端末装置のブロック図である。
図１および図２に示すように、携帯端末装置１は、装置本体２、撮像部３、表示部４、タッチパネル５、記憶部６および制御部７を備えている。またその他に、携帯端末装置１は、無線通信のためのアンテナ、音声通話のためのマイクやスピーカーなどを備えている（いずれも図示せず）。このような携帯端末装置１としては、特に限定されるものではなく、例えば、スマートフォン、携帯電話機、ＰＤＡなどが挙げられる。
装置本体２としては、公知のスマートフォンの本体を用いることができ、電源スイッチや各種のボタンを備えている。また、撮像部３は、レンズを通して入射する被写体像を撮像する公知の構成であり、取り込み対象である新聞記事や雑誌の切り抜き等を撮像することができる。このような撮像部３としては、例えば、アナログ電気信号を出力するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含み、レンズを通して入射する被写体像を光電変換し、撮像素子からのアナログ電気信号をデジタル電気信号に変換して画像データを出力するものを用いることができる。
表示部４としては、液晶ディスプレイや有機ＥＬディスプレイ等の公知の表示デバイスを用いることができ、その表示画面上に画像情報等を表示することができる。また、タッチパネル５は、ユーザーが表面をタッチしたときにそのタッチ位置を認識可能な公知のタッチパネルであり、表示部４の上に重ねて配置されている。このタッチパネル５としては、抵抗膜方式、表面弾性波方式、電磁誘導方式、静電容量方式等、公知の方式のものを用いることができる。また、このタッチパネル５をユーザーがタッチすることにより、各種の入力をすることができる。例えば、タッチパネル５のタッチにより、撮像部３による撮像、表示部４における表示の指示を入力することができる。
記憶部６は、情報処理のためのプログラム及びデータを記憶する公知のハードディスク又は半導体メモリなどの記憶媒体により構成されている。この記憶部６は、撮像部３により撮像された画像情報（以下、単に「撮像画像」とも記す）を記憶することができる。撮像画像は、例えば、ｊｐｅｇ及びｇｉｆなどの種々の画像フォーマットにより記憶される。
制御部７は、プログラム及びデータに基づいて情報処理をする公知のＣＰＵなどのプロセッサにより構成されている。この制御部７は、記憶部６に記憶されたプログラムを実行することにより、上記の各構成要素を制御することができる。
以下の説明においては、特に断らない限り携帯端末装置１が行う画像処理方法として説明する。携帯端末装置１が行う処理は、実際には携帯端末装置１の制御部７が行う処理を意味する。制御部７は、記憶部６を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、演算結果等の長期保存するデータを記憶部６に適宜記録する。また、携帯端末装置１は、以下で説明するステップＳ１〜Ｓ１５の処理を行うために使用するプログラムを、例えば実行形式（例えば、Ｃ言語等のプログラミング言語からコンパイラにより変換されて生成される）で記憶部６に予め記録しており、携帯端末装置１は、記憶部６に記録したプログラムを使用して処理を行う。
図３は、本発明の一実施形態に係る携帯端末装置が行う画像処理方法の処理順序を示すフローチャートである。以下、本発明の一実施形態に係る画像処理方法の処理順序について、図３に示すフローチャートに基づいて詳細に説明する。
なお、本実施形態では、図４に示すように、撮像画像に図中のＹ軸方向にパース（パースペクティブ、以下単にパースと記載する）がついている場合について説明する。また、以下の説明において、台形補正とは、撮像対象物を含む平面の法線方向と撮像方向とが一致せずパースがついた撮像画像を、撮像方向を法線方向に一致させて、パースの無い正面視の画像に変換することを意味する。
ステップＳ１において、取り込み対象とする新聞記事の所定の領域を撮像する。ユーザが、マーカーペンＭを用いて新聞記事Ｎの所定の領域Ｒｎを所定の色（例えば、赤色）で囲んでマークし、ユーザが、撮像部３を用いて、マーカで囲まれた所定の領域Ｒｎを含む領域を撮像する。携帯端末装置１は撮像画像を記録する。本実施形態では、図４に示すように、撮像画像には図中のＹ軸方向にパースがついている。取り込み対象の領域Ｒｎにも、図中のＹ軸方向にパースがついている。マーカーペンＭは、先端の着色部が２つの突起部に分割された、例えばＶ字またはＵ字の形状を有するものを用いる。このようなマーカーペンＭを用いてマークすると、取り込み対象の領域Ｒｎは、二重線のパターンで囲まれる領域となる。
パースがついた撮像画像を取り込んだ後、ステップＳ２において、撮像画像から、トリミング対象とする色のみを抽出した画像（抽出画像）を生成する。抽出画像は、後述するトリミング領域Ｒｔを認識するために利用する画像データである。抽出画像の縦横の画像サイズと、撮像画像の縦横の画像サイズとは一致するので、抽出画像は、撮像画像に対するいわゆる「レイヤー」として機能する。抽出画像の生成は、例えば閾値を用いて抽出する公知の処理方法により行う。新聞記事Ｎの取り込み対象とする領域Ｒｎは、所定の色で囲んでマークされているので、撮像画像中の所定の色のみを抽出すると、抽出画像中の抽出した色で囲まれる最大の領域が、後述するトリミング領域Ｒｔとなる。ここで、撮像画像にはパースがついているので、抽出画像にもパースがついている。また、取り込み対象の領域Ｒｎは二重線のパターンで囲まれていたので、抽出画像中の抽出した色で囲まれる領域も、二重線のパターンで囲まれている。なお、以後の処理では、抽出画像のレイヤーを座標に変換することで、レイヤーに代えて座標を用いて抽出画像を特定する。
ステップＳ３において、抽出した二重線の画像を単線に変換する。すなわち、抽出した二重線の幅を拡大および収縮させて、一本の線（単線）に変換する。二重線の検出は、例えば閾値を用いて境界を検出する公知の処理方法により行う。
ステップＳ４において、トリミングを行う座標を検出する。抽出画像は所定の色（赤色）のみの画像データであるので、まずこれを二値化（白黒データ化）する。次に、二値化した画像データ内において全ての輪郭線を抽出し、抽出した輪郭線を直線近似する。さらに、直線化された輪郭線を組み合わせて、輪郭線で囲まれる領域の面積が最大となる領域を決定し、この面積が最大となる領域をトリミング領域Ｒｔとする。輪郭線の抽出および直線近似の方法は、公知の処理方法により行う。なお、抽出画像の座標にはパースがついているので、トリミング領域Ｒｔの形状もパースがついた形状となる。
ステップＳ５において、トリミング領域Ｒｔの面積が所定の面積よりも大きいか否かを判定し、大きければステップＳ６の処理を行い、小さい場合には処理を終了する。
ステップＳ６において、台形補正用の頂点座標を計算する。台形補正用の頂点座標は、ステップＳ４にて求めたトリミング領域Ｒｔを構成する頂点座標から求める。図５は、台形補正用の頂点座標の決定方法を説明するための模式図である。図５に示すように、トリミング領域Ｒｔは、頂点ｒ１〜ｒ１０を順に結ぶ複数の線分で構成されている。この複数の線分のうち、２つの線分同士が成す角度を求める。求めた角度が所定の角度（例えば、７０度）以上であれば、その２本の線分をそれぞれ延長した２本の直線が成す交点の座標を求め、交点の候補とする。求めた交点候補の座標が撮像画像の領域からはみ出る場合には、その交点候補は除外する。このような交点候補を求める処理を、２つの線分の組み合わせを変えた全ての組み合わせ（総当たり）で行う。そして、求めた複数の交点候補のうち、座標が最も外側に位置する４つの交点を、台形補正用の頂点座標Ｐ１〜Ｐ４とする。
ステップＳ７において、ユーザが表示画面上で頂点座標Ｐ１〜Ｐ４の座標位置を微調整する。携帯端末装置１は、ステップＳ６にて求めた台形補正用の頂点座標Ｐ１〜Ｐ４と、トリミング領域Ｒｔを示す座標と、取り込み対象の領域Ｒｎを示す撮像画像とを重ねて表示部４に表示し、タッチパネル５からのユーザの入力に基づいて、微調整された頂点座標Ｐ１〜Ｐ４の座標位置を記録する。
ステップＳ８において、台形補正後の頂点座標を計算する。台形補正後の頂点座標は、ステップＳ６またはＳ７にて決定された台形補正用の頂点座標Ｐ１〜Ｐ４から求める。図６は、台形補正後の頂点座標の決定方法を説明するための模式図である。まず、頂点座標Ｐ１〜Ｐ４で画定される台形の、向かい合う二辺（二直線）が織り成す角度をそれぞれ求め、傾きが小さい方の二辺を選択する。これはパースの方向を判別する処理であり、本実施形態では、図４に示すＹ軸方向にパースがついているので、傾きが小さい方の二辺として、辺Ｐ１−Ｐ４と辺Ｐ２−Ｐ３との組が選択される。次に、この二辺のうち長い方の辺（辺Ｐ２−Ｐ３）について、両隣の辺との傾きα１、α２をそれぞれ求める。次に、求めた２つの傾きα１、α２の平均値を求め、これを台形の傾きαａｖとする。この求めた台形の傾きαａｖは、撮像画像のパースの程度を表す指標となる。
次に、求めた台形の傾きαａｖと、予め作成しておいた台形補正用の縦横比率対応表とから、台形補正後の画像の縦横比率を取得する。縦横比率対応表は、台形の傾きαａｖと、台形補正後の画像の縦横比率との対応表であり、携帯端末装置１の撮像部３を用いた実測により予め作成しておいた表である。表１に、縦横比率対応表の一例を示す。表１中、定数ｋは、台形の長辺（本実施形態では、辺Ｐ２−Ｐ３）を１とした場合の短辺（Ｐ１−Ｐ４）の横辺倍率である。

頂点座標Ｐ１〜Ｐ４の座標位置と、対応表から取得した横辺倍率ｋの値とから、台形補正後の４つの頂点Ｐ１ｘ〜Ｐ４ｘの座標位置を計算し記録する。本実施形態の場合、辺Ｐ２−Ｐ３が台形の長辺であり、辺Ｐ１−Ｐ４が短辺であるので、短辺である辺Ｐ１−Ｐ４の点Ｐ１，Ｐ４の座標位置と、横辺倍率ｋとに基づいて、台形補正後の座標位置Ｐ１ｘ，Ｐ４ｘを計算する。
ステップＳ９において、撮像画像の台形補正を行い、パースが付いて歪んだ撮像画像から、歪みの無い正面視の撮像画像を作成する。台形補正前の頂点座標Ｐ１〜Ｐ４および台形補正後の頂点座標Ｐ１ｘ〜Ｐ４ｘは、抽出画像上にて既に求められているので、これら補正前および補正後の頂点座標Ｐ１〜Ｐ４、Ｐ１ｘ〜Ｐ４ｘの情報を用いて透視投影変換を行い、パースが付いた撮像画像の台形補正を行う。台形補正後の撮像画像は、パースの無い正面視の撮像画像となる。透視投影変換については公知であるので、本明細書においては詳細な説明を省略する。
ステップＳ１０において、トリミング領域の台形補正を行い、パースが付いて歪んだトリミング領域Ｒｔから、歪みの無い正面視のトリミング領域を作成する。補正前および補正後の頂点座標Ｐ１〜Ｐ４、Ｐ１ｘ〜Ｐ４ｘの情報を用いて透視投影変換を行い、パースが付いたトリミング領域Ｒｔの座標の台形補正を行う。台形補正後のトリミング領域は、パースの無い正面視のトリミング領域となる。
ステップＳ１１において、ユーザが表示画面上でトリミング領域の頂点座標の座標位置を微調整する。携帯端末装置１は、ステップＳ１０にて求めた正面視のトリミング領域を示す座標と、ステップＳ９にて求めた正面視の撮像画像とを重ねて表示部４に表示し、タッチパネル５からのユーザの入力に基づいて、正面視のトリミング領域の、微調整された頂点座標の座標位置を記録する。
ステップＳ１２において、撮像画像のトリミング処理を行う。まず、ステップＳ１０またはステップＳ１１にて作成した正面視のトリミング領域の座標から、トリミング処理用のマスク画像を作成する。次に、作成したマスク画像を用いて、ステップＳ９にて作成した正面視の撮像画像のトリミング処理を行う。頂点座標の座標位置および撮像画像はいずれも正面視のものを用いているので、トリミング後の撮像画像は、パースの無い正面視の画像である。マスク画像を用いた画像のトリミング処理には公知の方法を用いる。トリミング処理により、撮像画像内のトリミング領域の外側の領域は、例えば所定の色（例えば、白色）で塗り潰される。
ステップＳ１３において、トリミング処理した撮像画像の画質を調整する。例えば、撮像画像の撮影環境に応じて、トリミング画像のホワイトバランス（色温度）を調整し、ヒストグラムを均一化し、ガンマ補正をする。
ステップＳ１４において、撮像画像に二重線が存在したか否かを判定する。ステップＳ１にて取り込んだパース付きの撮像画像に対して二重線の検出処理を行い、二重線が存在した場合にはステップＳ１５の処理を行い、二重線が存在しなかった場合には処理を終了する。二重線の検出は、例えば閾値を用いて境界を検出する公知の処理方法により行う。
ステップＳ１５において、画質調整済のトリミング画像を記憶部６に保存し、処理を終了する。
このように、ユーザが、マーカーペンＭを用いて取り込み対象とする記事の領域を所定の色で囲んでマークすれば、携帯端末装置１は、この囲んでマークされた領域をトリミングして、画像情報として保存することができる。記事のトリミングしたい領域をマーカーペンＭを用いて囲んでマークするという簡便な手法であるので、外出先においても手軽に画像データをトリミングすることが可能となる。また、保存したトリミング画像はパースの無い正面視画像であるので、画像情報化した新聞記事や雑誌の切り抜き等に歪みは無く、ユーザは記事の内容を正確に読み取ることが可能となる。
以上、本発明を特定の実施の形態によって説明したが、本発明は上記した実施の形態に限定されるものではない。
上記実施の形態では、携帯端末装置１は撮像画像のトリミング処理および台形補正の両方を適用したが、撮影画像の歪みが強くなく、撮像画像を台形補正する必要が無いとユーザが判断した場合は、携帯端末装置１は撮像画像のトリミング処理だけを適用してもよい。すなわち、撮像画像の台形補正はユーザの希望に応じた任意の処理である。
また、上記実施の形態では、ステップＳ４において全ての輪郭線を抽出してトリミング領域を決定していたが、トリミング領域の求め方はこれに限定されず、例えば、ユーザがマーカーペンＭを用いてフリーハンドで囲んで示す領域をそのままトリミング領域としてもよい。
また、上記実施の形態では、先端の着色部が２つの突起部に分割されたマーカーペンＭを用いて、取り込み対象の領域Ｒを二重線のパターンで囲んでマークしているが、領域Ｒを囲む線のパターンはこれに限定されない。例えば、図７に示すように、先端の着色部が３つの突起部に分割されたマーカーペンを用いて、取り込み対象の領域Ｒを三重線のパターンで囲んでマークしても良い。さらに、３つの突起部のそれぞれの幅がそれぞれ異なるマーカーペンを用いて、３本の線の線幅がそれぞれ異なるパターンで、取り込み対象の領域Ｒを囲んでもよい。このように、取り込み対象の領域Ｒを囲む線のパターンを特定のパターンとし、撮像画像に対して特定のパターンの存在を検出することで、特定のマーカーペン以外の使用を排除することができる。なお、ステップＳ３における二重線の画像を単線に変換する処理およびステップＳ１４における二重線の存在の判定処理は任意の処理であり、例えば取り込み対象の領域Ｒを囲む線が単線の場合には、これらの処理を省略することができる。この場合、単線で囲まれる領域をトリミング領域として撮像画像のトリミング処理を行うことができる。
また、上記実施の形態では、マーカーペンには通常の染料系または顔料系のインクを使用しているが、これに代えて、赤外線を反射または吸収する赤外線インクを用いてもよい。赤外線反射インクを用いて、取り込み対象の領域Ｒを囲んでマークすれば、マーク部分において赤外線が反射または吸収されるので、携帯端末装置１側でこれを検知して、取り込み対象の領域Ｒｎを特定してもよい。
また、上記実施の形態では、ステップＳ７において、携帯端末装置１が、微調整された頂点座標Ｐ１〜Ｐ４の座標位置を記録し、ステップＳ１１において、携帯端末装置１が、正面視のトリミング領域の、微調整された頂点座標の座標位置を記録しているが、これら座標位置またはトリミング領域を微調整する処理は任意の処理であり、処理を省略してもよい。
また、上記実施の形態では、ステップＳ１４において、撮像画像に二重線が存在したか否かを判定しているが、ステップＳ３において、撮像画像に対して二重線を検出した結果を、例えばブーリアン型のフラグとして記憶しておき、ステップＳ１４において、記憶しておいたこのフラグの情報に基づいて、撮像画像に二重線が存在したか否かを判定してもよい。
また、上記実施の形態では、トリミング処理した撮像画像の画質を調整する例として、ホワイトバランスの調整、ヒストグラムの均一化、およびガンマ補正を例示しているが、これらに限定されない。携帯端末装置１でのトリミング画像の閲覧に適した画質の調整方法であれば適宜適用することができる。
また、上記実施形態では、トリミング処理後に、撮像画像内のトリミング領域の外側の領域を所定の色で塗りつぶしているが、この領域は、例えば透過ＧＩＦの形式で透明化されてもよい。
１ 携帯端末装置
２ 装置本体
３ 撮像部
４ 表示部
５ タッチパネル
６ 記憶部
７ 制御部
Ｎ 新聞記事
Ｍ マーカーペン
Ｒｎ 取り込み対象の領域
Ｒｔ トリミング領域
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、前記制御部に、前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。
本発明は撮像画像の処理方法に関し、より詳細には、外出先においても撮像画像の所定
の領域をトリミングして保存することができる情報端末装置、撮像画像処理システム、方
法、プログラムおよび記録媒体に関する。
本発明は、上記課題を解決するためになされたものであり、その目的は、外出先においても撮像画像の所定の領域をトリミングして保存することができる情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
さらに、本発明の目的は、撮像部を有する携帯型の情報端末装置にて撮像対象物を撮像する際に、歪みを補正したうえで撮像画像を保存することができる情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体を提供することにある。
上記目的の達成のために、本発明に係る撮像画像処理システムは、撮像部および制御部を有する情報端末装置と、筆記具とを備える撮像画像処理システムであって、撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像の、前記所定の色で囲まれる領域をトリミングする、撮像画像処理システムである。また、本発明に係る情報端末装置は、撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する情報端末装置であって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、情報端末装置である。
また、本発明に係る情報端末装置は、本発明に係る情報端末装置において、前記制御部が、さらに、前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングすることが好ましい。
また、本発明に係る撮像画像処理システムは、撮像部および制御部を有する情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮像画像処理システムであって、撮像対象物の所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得し、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システムである。
また、本発明に係る撮像画像処理方法は、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部が、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得するステップと、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法である。
また、本発明に係る撮像画像処理プログラムは、撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、撮像対象物の所定の領域が、所定の色を有する線で囲まれており、前記制御部に、前記撮像部から、前記撮像対象物の前記所定の領域を撮像した撮像画像を取得する機能と、前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラムである。

Claims (12)

  1. 撮像部と制御部とを備え、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する携帯型の情報端末装置であって、
    前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、
    前記制御部が、
    前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、
    前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
    前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
    前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、携帯端末装置。
  2. 前記制御部が、さらに、
    前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
    ４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
    正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項１に記載の携帯端末装置。
  3. 前記制御部がさらに、
    トリミングされた正面視の前記撮像画像に対して、色温度の調整、ヒストグラムの均一化、およびガンマ補正からなる群から選択される何れかの画質調整を適用する、請求項１または２に記載の携帯端末装置。
  4. 前記撮像画像の前記所定の領域が、所定の模様で囲まれており、
    前記制御部がさらに、
    前記撮像画像内において前記所定の模様の存在を検出し、
    前記所定の模様の存在を前記撮像画像内に検出した場合に、トリミングされた正面視の前記撮像画像を記録する、請求項１〜３のいずれかに記載の携帯端末装置。
  5. 前記所定の模様が、先端の着色部が複数の突起部に分割された筆記具を用いて作成された、請求項４に記載の携帯端末装置。
  6. 撮像部および制御部を有する携帯型の情報端末装置と、筆記具とを備え、前記撮像部から取得した撮像画像の所定の領域を前記情報端末装置がトリミング処理する撮影画像処理システムであって、
    前記撮像画像の前記所定の領域が、前記筆記具を用いて、所定の色を有する線で囲まれており、
    前記制御部が、
    前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得し、
    前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成し、
    前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定し、
    前記撮像画像の、前記トリミング領域で指定される領域をトリミングする、撮像画像処理システム。
  7. 前記制御部が、さらに、
    前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定し、
    ４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定し、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成し、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成し、
    正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする、請求項６に記載の撮像画像処理システム。
  8. 撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理する方法であって、
    前記撮像画像の前記所定の領域が、所定の色を有する線で囲まれており、
    前記制御部が、
    前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得するステップと、
    前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成するステップと、
    前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定するステップと、
    前記撮像画像の、前記トリミング領域で指定される領域をトリミングするステップとを含む撮像画像処理方法。
  9. 前記制御部が、
    前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定するステップと、
    ４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定するステップと、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成するステップと、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成するステップと、
    正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングするステップとをさらに含む、請求項８に記載の撮像画像処理方法。
  10. 撮像部と制御部とを備える情報端末装置において、前記撮像部から取得した撮像画像の所定の領域をトリミング処理するプログラムであって、
    前記制御部に、
    前記撮像部から、撮像対象物の所定の領域を撮像した撮像画像を取得する機能と、
    前記撮像画像から、トリミング対象とする前記所定の色のみを抽出した抽出画像を生成する機能と、
    前記抽出画像において、前記撮像画像の前記所定の領域に対応する複数の輪郭線を抽出し、当該輪郭線で囲まれる面積が最大となる領域をトリミング領域と決定する機能と、
    前記撮像画像の、前記トリミング領域で指定される領域をトリミングする機能とを実現させるための撮像画像処理プログラム。
  11. 前記制御部に、さらに、
    前記トリミング領域を決定した後、前記トリミング領域を構成する複数の線分を延長した複数の直線の組み合わせから、２つの前記直線同士が成す複数の交点候補を求め、求めた複数の前記交点候補のうち、座標が最も外側に位置する４つの前記交点候補を、台形補正用の第１の頂点座標と決定する機能と、
    ４つの前記第１の頂点座標から、４つの前記第１の頂点座標で画定される台形の歪みの指標を計算し、計算した前記指標に基づいて、台形補正後の第２の頂点座標を決定する機能と、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記撮像画像の透視投影変換を行い、正面視の前記撮像画像を生成する機能と、
    前記第１の頂点座標および前記第２の頂点座標を用いて、前記トリミング領域の透視投影変換を行い、正面視の前記トリミング領域を生成する機能と、
    正面視の前記撮像画像の、正面視の前記トリミング領域で指定される領域をトリミングする機能とを実現させるための、請求項１０に記載の撮像画像処理プログラム。
  12. 請求項１０または１１に記載の撮像画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2011277948A 2011-12-20 2011-12-20 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体 Pending JP2013131801A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011277948A JP2013131801A (ja) 2011-12-20 2011-12-20 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体
PCT/JP2012/056327 WO2013094231A1 (ja) 2011-12-20 2012-03-12 情報端末装置、撮像画像処理システム、方法、およびプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277948A JP2013131801A (ja) 2011-12-20 2011-12-20 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2013131801A true JP2013131801A (ja) 2013-07-04

Family

ID=48668141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011277948A Pending JP2013131801A (ja) 2011-12-20 2011-12-20 情報端末装置、撮像画像処理システム、方法、プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JP2013131801A (ja)
WO (1) WO2013094231A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181051A (ja) * 2015-03-23 2016-10-13 キヤノン株式会社 画像処理装置、画像処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262671A (ja) * 1988-08-30 1990-03-02 Toshiba Corp カラー編集処理装置
JPH05153365A (ja) * 1991-11-30 1993-06-18 Ricoh Co Ltd デジタル複写機
JP2005267465A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影画像投影装置、画像処理方法及びプログラム
JP2005303941A (ja) * 2004-04-16 2005-10-27 Casio Comput Co Ltd 補正基準指定装置、及び補正基準指定方法
JP2008178110A (ja) * 2007-01-22 2008-07-31 Gwangju Inst Of Science & Technology カラーマーカーを用いたコンテンツ提供方法およびそれを実行するためのシステム
JP2009069213A (ja) * 2007-09-10 2009-04-02 Omi:Kk 地図年代判定装置、地図年代判定方法、及びプログラム
JP3150079U (ja) * 2009-01-29 2009-04-30 洸弥 平畑 楽々二重ペン

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262671A (ja) * 1988-08-30 1990-03-02 Toshiba Corp カラー編集処理装置
EP0357407A2 (en) * 1988-08-30 1990-03-07 Kabushiki Kaisha Toshiba Image signal processing apparatus for use in color image reproduction system
US5028991A (en) * 1988-08-30 1991-07-02 Kabushiki Kaisha Toshiba Image signal processing apparatus for use in color image reproduction
JPH05153365A (ja) * 1991-11-30 1993-06-18 Ricoh Co Ltd デジタル複写機
JP2005267465A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影画像投影装置、画像処理方法及びプログラム
JP2005303941A (ja) * 2004-04-16 2005-10-27 Casio Comput Co Ltd 補正基準指定装置、及び補正基準指定方法
JP2008178110A (ja) * 2007-01-22 2008-07-31 Gwangju Inst Of Science & Technology カラーマーカーを用いたコンテンツ提供方法およびそれを実行するためのシステム
JP2009069213A (ja) * 2007-09-10 2009-04-02 Omi:Kk 地図年代判定装置、地図年代判定方法、及びプログラム
JP3150079U (ja) * 2009-01-29 2009-04-30 洸弥 平畑 楽々二重ペン

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181051A (ja) * 2015-03-23 2016-10-13 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
WO2013094231A1 (ja) 2013-06-27

Similar Documents

Publication Publication Date Title
EP3547218B1 (en) File processing device and method, and graphical user interface
JP5451888B2 (ja) カメラベースのスキャニング
US20130027757A1 (en) Mobile fax machine with image stitching and degradation removal processing
CN103019537B (zh) 一种图像预览方法及装置
KR101450782B1 (ko) 화상 처리 장치 및 프로그램
JP2017058812A (ja) 画像表示装置、画像表示方法及びプログラム
US9779323B2 (en) Paper sheet or presentation board such as white board with markers for assisting processing by digital cameras
CN110463177A (zh) 文档图像的校正方法及装置
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
US11049303B2 (en) Imaging apparatus, and operation program and operation method for imaging apparatus
WO2022111461A1 (zh) 识别方法、装置及电子设备
WO2013136602A1 (ja) プロジェクタ付き撮影装置及びその撮影制御方法
WO2013094231A1 (ja) 情報端末装置、撮像画像処理システム、方法、およびプログラムを記録した記録媒体
JP2012205089A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2012108720A (ja) 情報処理装置、方法およびプログラム
JP6637576B1 (ja) 情報処理プログラム、サーバ・クライアントシステム、及び情報処理方法
JP7110163B2 (ja) 画像処理装置、撮影装置、画像処理方法、及び画像処理プログラム
US9542720B2 (en) Terminal device, image display method, and storage medium
JP2015102915A (ja) 情報処理装置、制御方法およびコンピュータプログラム
JP6067040B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6973524B2 (ja) プログラム
JP2017058801A (ja) 画像表示装置、画像表示方法及びプログラム
JP2007148612A (ja) 撮影装置、画像処理方法および画像処理プログラム
JP4504140B2 (ja) 筆記面再生方法、筆記面再生装置及び筆記面再生プログラム
KR20220002372A (ko) 컴퓨터 비전을 위한 기록 표면 경계 마커

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160329