JP2007094806A - Image display method, image display apparatus, and image display program - Google Patents
Image display method, image display apparatus, and image display program Download PDFInfo
- Publication number
- JP2007094806A JP2007094806A JP2005284074A JP2005284074A JP2007094806A JP 2007094806 A JP2007094806 A JP 2007094806A JP 2005284074 A JP2005284074 A JP 2005284074A JP 2005284074 A JP2005284074 A JP 2005284074A JP 2007094806 A JP2007094806 A JP 2007094806A
- Authority
- JP
- Japan
- Prior art keywords
- image
- grid
- character
- image data
- lattice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は画像表示方法、画像表示装置及び画像表示プログラムに係り、特に映像画像データと文字画像データとが混在した画像中の文字画像データを、任意の大きさに拡大・縮小して表示する画像表示方法、画像表示装置及び画像表示プログラムに関する。 The present invention relates to an image display method, an image display apparatus, and an image display program, and in particular, an image for displaying character image data in an image in which video image data and character image data are mixed and enlarged or reduced to an arbitrary size. The present invention relates to a display method, an image display device, and an image display program.
以前より、テレビジョン映像、ビデオ映像等に代表される映像コンテンツにおいて、表示される画像中に、映画の字幕、ニュース番組の解説等などの文字がしばしば挿入される。しかし、このような画像中の文字の大きさは受信側で任意の大きさに拡大、縮小することができないため、文字の大きさを任意の大きさにできないといった課題があった。 2. Description of the Related Art Characters such as movie subtitles and news program explanations are often inserted into displayed images in video content such as television video and video video. However, since the size of characters in such an image cannot be enlarged or reduced to an arbitrary size on the receiving side, there is a problem that the size of the characters cannot be made arbitrary.
そこで、このような課題を解決する発明として、画像として表示される文字画像データを拡大処理する際に、表示パネルの解像度・操作方法等によって拡大率を切り替えて処理を行い、処理後の文字画像データを、その文字画像データが含まれていた元の映像画像データに合成して表示する画像表示方法が開示されている(例えば、特許文献1参照)。 Therefore, as an invention to solve such a problem, when enlarging the character image data displayed as an image, the enlargement ratio is switched depending on the resolution and operation method of the display panel, and the processed character image is processed. An image display method is disclosed in which data is synthesized and displayed on the original video image data including the character image data (see, for example, Patent Document 1).
また、一つの画像を構成する映像画像データと文字画像データ(表示データ)とが分離した形式で入力された場合に、文字領域と映像領域とで拡大縮小率をそれぞれ任意に変更して拡大縮小処理を行い、その後でそれぞれのデータを合成して表示する画像表示方法も従来、開示されている(例えば、特許文献2参照)。 In addition, when video image data and character image data (display data) constituting a single image are input in a separate format, the enlargement / reduction ratio is arbitrarily changed between the character area and the video area. An image display method for performing processing and then combining and displaying the respective data has been conventionally disclosed (see, for example, Patent Document 2).
また、この特許文献2には、映像画像データと文字画像データとが分離された形式で入力されない場合でも、入力後の画像を映像画像データと文字画像データとに分離して、映像画像データと文字画像データとで拡大縮小率をそれぞれ任意に変更して拡大縮小処理を行い、その後でそれぞれのデータを合成する方法も開示されている。 Further, in Patent Document 2, even when video image data and character image data are not input in a separated format, the input image is separated into video image data and character image data. There is also disclosed a method of performing enlargement / reduction processing by arbitrarily changing the enlargement / reduction ratio for character image data, and then combining the respective data.
更に、映像画像データと文字画像データとが混在するテレビジョン信号が入力される場合に、映像画像データと文字画像データとを確実に分離して、それぞれの拡大縮小を行った後、それらのデータを合成出力することで文字画像を読み易い大きさで表示する画像表示方法も従来、開示されている(例えば、特許文献3参照)。 Furthermore, when a television signal in which video image data and character image data are mixed is input, the video image data and the character image data are reliably separated, and after the respective enlargement / reduction, the data An image display method for displaying a character image in a size that is easy to read by combining and outputting has been disclosed (for example, see Patent Document 3).
しかしながら、特許文献1記載の従来の画像表示方法は、ブランク部分に字幕の表示されるレターボックスタイプの映像を入力した場合における画像表示方法であり、そのため映像内の文字を拡大/縮小できるわけではなく、結果として適応範囲が狭いという課題がある。 However, the conventional image display method described in Patent Document 1 is an image display method in the case where a letterbox type image in which subtitles are displayed in a blank portion is input. Therefore, characters in the image cannot be enlarged / reduced. As a result, there is a problem that the adaptation range is narrow.
また、特許文献2及び特許文献3記載の従来の画像表示方法では、それぞれ映像画像データと文字画像データとを個別のデータとして別々に処理した後、それら個別処理後の2つのデータの合成を行うため、処理が複雑で処理時間がかかり、装置全体も大規模になり易いという課題がある。また、映像画像データと文字画像データの識別が曖昧な場合は処理することができないという課題もある。
In the conventional image display methods described in Patent Document 2 and
本発明は、以上の点に鑑みてなされたものであり、映像画像データと文字画像データとを個別に処理せず、高速に処理できる画像表示方法、画像表示装置及び画像表示プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and provides an image display method, an image display apparatus, and an image display program that can process video image data and character image data separately without processing them separately. With the goal.
また、本発明の他の目的は、映像画像データと文字画像データの識別が曖昧な場合でも、処理が可能な画像表示方法、画像表示装置及び画像表示プログラムを提供することにある。 Another object of the present invention is to provide an image display method, an image display device, and an image display program that can be processed even when the identification of video image data and character image data is ambiguous.
上記の目的を達成するため、本発明の画像表示方法は、入力画像信号から映像画像データと文字画像データとを分離し、文字画像データを任意の大きさに拡大又は縮小して映像画像データと再合成した再合成画像信号を出力する画像表示方法であって、
入力画像信号による画像を任意の数の格子に分割する第1のステップと、分割したそれぞれの格子が、文字画像データで構成される格子である文字領域格子であるか、映像画像データで構成される格子である画像領域格子であるかを識別する第2のステップと、文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、画像領域格子の各格子点を、文字領域格子の各格子点の移動量に応じて移動制御する第3のステップと、第3のステップにより各格子点が移動制御された後の文字領域格子による文字画像と、各格子点が移動制御された後の画像領域格子による映像画像とからなる画像データを再合成画像信号として生成する第4のステップとを含むことを特徴とする。
In order to achieve the above object, the image display method of the present invention separates video image data and character image data from an input image signal, enlarges or reduces the character image data to an arbitrary size, and An image display method for outputting a recombined recombined image signal,
A first step of dividing an image based on an input image signal into an arbitrary number of grids, and each of the divided grids is a character area grid that is a grid made up of character image data, or is made up of video image data A second step of identifying whether the image area grid is an image area grid, and moving each grid point of the character area grid by a predetermined distance in a direction of enlarging or reducing to a grid of an arbitrary size, A third step of controlling the movement of each grid point according to the amount of movement of each grid point of the character area grid, and a character image by the character area grid after the movement of each grid point by the third step And a fourth step of generating, as a recombined image signal, image data composed of a video image formed by the image area lattice after each lattice point is controlled to move.
また、上記の目的を達成するため、本発明の画像表示装置は、入力画像信号から映像画像データと文字画像データとを分離し、文字画像データを任意の大きさに拡大又は縮小して映像画像データと再合成した再合成画像信号を出力する画像表示装置であって、
入力画像信号による画像を任意の数の格子に分割する画像分割手段と、分割したそれぞれの格子が、文字画像データで構成される格子である文字領域格子であるか、映像画像データで構成される格子である画像領域格子であるかを識別する画像識別手段と、文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、画像領域格子の各格子点を、文字領域格子の各格子点の移動量に応じて移動制御する格子点処理手段と、格子点処理手段により各格子点が移動制御された後の文字領域格子による文字画像と、各格子点が移動制御された後の画像領域格子による映像画像とからなる画像データを再合成画像信号として生成する表示画像作成手段とを有することを特徴とする。
In order to achieve the above object, the image display device of the present invention separates video image data and character image data from an input image signal, and enlarges or reduces the character image data to an arbitrary size. An image display device that outputs a recombined image signal recombined with data,
Image dividing means for dividing an image based on an input image signal into an arbitrary number of lattices, and each divided lattice is a character region lattice that is a lattice composed of character image data or composed of video image data The image identification means for identifying whether the image area grid is a grid, and each grid point of the character area grid is moved by a predetermined distance in the direction of enlargement or reduction to a grid of an arbitrary size, and each of the image area grid Grid point processing means for controlling the movement of the grid points in accordance with the amount of movement of each grid point of the character area grid, a character image by the character area grid after the movement of each grid point by the grid point processing means, and And display image creating means for generating, as a recombined image signal, image data composed of a video image by an image area grid after the grid points are controlled to move.
また、上記の目的を達成するため、本発明の画像表示プログラムは、上記の本発明の画像表示方法の各ステップをコンピュータにより実行させることを特徴とする。 In order to achieve the above object, an image display program of the present invention is characterized by causing a computer to execute each step of the above image display method of the present invention.
上記の本発明の画像表示方法、画像表示装置及び画像表示プログラムでは、入力画像信号から映像画像データと文字画像データとを分離し、文字画像データを任意の大きさに拡大又は縮小して映像画像データと再合成した再合成画像信号を出力するに際し、入力画像信号による画像を任意の数の格子に分割すると共に、分割したそれぞれの格子が、文字画像データで構成される格子である文字領域格子であるか、映像画像データで構成される格子である画像領域格子であるかを識別し、文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、画像領域格子の各格子点を、文字領域格子の各格子点の移動量に応じて移動制御することにより、文字画像データの文字の識別の処理や映像画像データの映像情報の識別処理を個別に行うのではなく(換言すると、文字画像データと映像画像データとを個別のデータとして処理するのではなく)、単に文字を含んでいる文字領域のデータと文字を含んでいない画像領域のデータとして扱う。 In the above image display method, image display apparatus, and image display program of the present invention, video image data and character image data are separated from the input image signal, and the character image data is enlarged or reduced to an arbitrary size to produce a video image. When outputting the re-synthesized image signal re-synthesized with the data, the image by the input image signal is divided into an arbitrary number of lattices, and each divided lattice is a character region lattice made up of character image data. Or an image area grid that is a grid composed of video image data, and each grid point of the character area grid is moved by a predetermined distance in the direction of enlarging or reducing to an arbitrarily sized grid At the same time, by controlling the movement of each grid point of the image area grid according to the amount of movement of each grid point of the character area grid, the character identification processing of the character image data and the video image data The image information identification processing is not performed separately (in other words, the character image data and the video image data are not processed as separate data), but the character region data and characters including the characters are included. It is treated as image area data that is not.
本発明によれば、映像画像データと文字画像データとが混在した入力画像信号中の文字画像データによる画像を任意の大きさに拡大又は縮小して表示するに際し、文字画像データと映像画像データとを個別のデータとして処理するのではなく、単に文字を含んでいる文字領域のデータであるか、文字を含んでいない画像領域のデータであるかに応じて、任意の格子の大きさとなるような格子点の移動処理を行うようにしたため、従来に比べて高速な処理を行うことができる。 According to the present invention, when an image based on character image data in an input image signal in which video image data and character image data are mixed is enlarged or reduced to an arbitrary size, character image data and video image data are displayed. Is not processed as individual data, but is simply a character area data that includes characters or an image area data that does not include characters. Since the lattice point moving process is performed, it is possible to perform a process at a higher speed than in the prior art.
次に、本発明の一実施の形態について、図面と共に説明する。図1は本発明になる画像表示装置の第1の実施の形態の概略ブロック図を示す。同図において、画像入力部10は、映像画像データと文字画像データとが混在した画像信号を入力する。画像入力部10は、入力画像信号がNTSC方式やPAL方式などのインターレース方式のテレビジョン信号の場合は、インターレース方式画像信号をプログレッシブ化し、ディジタルデータとする処理を行って、記憶部11に入力画像データ111として記録する。また、インターレース方式画像信号をインターレース方式のままディジタルデータに変換し、記憶部11に入力画像データ111として記録してもよい。
Next, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic block diagram of a first embodiment of an image display apparatus according to the present invention. In the figure, an
入力画像信号がディジタルデータの場合は、画像入力部10は、入力されたディジタルデータをそのまま記憶部11に入力画像データ111として記録する。その際、入力ディジタルデータが、データ圧縮が行われたデータであれば、伸張して復元した画像データを記憶部11に入力画像データ111として記録する。
When the input image signal is digital data, the
記憶部11は、前述した入力画像データ111を記録する画像データ記憶部分、後述する画像分割部12で記憶部11に記憶した画像データを分割するために必要な分割数112の記憶部分、後述する画像識別部13で識別した文字領域を、後述する格子点処理部14でどの程度拡大・縮小するかを決定するための拡大縮小率113の記憶部分、格子点処理部14で処理した文字領域格子点の移動に対して他の領域の格子点をどのように移動するかを設定するパラメータなどの初期パラメータ114の記憶部分、画像分割部12により分割した画像格子の格子点座標情報115を記憶する記憶部分、画像識別部13により識別した格子毎の識別情報である画像文字識別情報116の記憶部分、出力用画像データ117の記憶部分を有している。上記の分割数112、拡大縮小率113、初期パラメータ114は、図示しないデータの入力部によりユーザの任意の値に記憶部11に予め記憶される。
The
画像分割部12は、記憶部11に記憶されている入力画像データ111の中の1枚の画像データを読み出し、その画像データを記憶部11から読み出した画像分割数112に応じて格子状に分割し、それにより得られた格子点座標情報115を記憶部11に記録する。
The
画像識別部13は、記憶部11から読み出した入力画像データ111と格子点座標情報115とに基づき、画像データにおける格子点座標情報115が示すそれぞれの格子部分が文字領域であるか、画像領域であるかを識別する。その識別方法は、例えば、特開昭60−116081号公報に開示されているように、格子をさらに小さくした領域を作成し、前記各領域における画像データの水平方向および垂直方向に濃度勾配を検出してヒストグラムを算出し、算出されたヒストグラムの度数の分布を算出して所定のしきい値と比較することによって文字候補領域を抽出し、抽出した文字候補領域の配置関係によって文字領域であるか、画像領域であるかを識別し、得られた画像文字識別情報116を記憶部11に記録する。
Based on the
格子点処理部14は、記憶部11に記憶されている入力画像データ111、格子点座標情報115、画像文字識別情報116、文字領域の拡大縮小率113、画像領域格子点制御パラメータ等の初期パラメータ114を読み出し、読み出した入力画像データ111中の文字領域格子(すなわち、入力画像データ111の画像を格子に区切った際の画像識別部13による画像識別により文字情報が含まれていると判断された格子)における格子点を、初期パラメータ114にて決定された移動量だけ移動し、移動量に応じて画像領域格子(すなわち、入力画像データ111の画像を格子に区切った際の画像識別部13による画像識別により画像情報が含まれていると判断された格子)の格子点を移動し、移動後の格子点座標情報115を記憶部11に記録する。
The grid
表示画像作成部15は、記憶部11から読み出した格子点座標情報115と入力画像データ111とに基づいて、出力用画像データを作成し、記憶部11に記録する。画像出力部16は、記憶部11に記憶した出力用画像データ117を外部へ出力する。
The display
次に、本発明の画像表示装置及び画像表示方法の第1の実施の形態により画像データがどのように処理されるかについて、具体的に図1〜図3を併せ参照して説明する。図2は本発明になる画像表示方法の第1の実施の形態のフローチャート、図3は図2のフローチャートに従って画像データがどのように処理されているかを示す画像データ遷移図である。 Next, how image data is processed according to the first embodiment of the image display apparatus and the image display method of the present invention will be specifically described with reference to FIGS. FIG. 2 is a flowchart of the first embodiment of the image display method according to the present invention, and FIG. 3 is an image data transition diagram showing how image data is processed according to the flowchart of FIG.
まず、図1の画像入力部10から入力されて記憶部11に記憶された入力画像データ111が入力された映像画像として読み出され、図1の画像分割部12によって任意の格子数の格子に分割される(図2のステップS11)。ここで、入力画像データ111による入力映像画像の一例が図3(A)に示され、これが画像分割部12によって、図3(B)に示すように、例えば、水平方向に16個、垂直方向に12個の格子に分割される。
First,
続いて、ステップS11において分割して得られた、水平方向に16個、垂直方向に12個の各格子の映像画像のそれぞれについて、図1の画像識別部13で映像画像データによる画像領域と文字画像データによる文字領域のいずれであるかを識別し、その識別結果を格子の位置座標と対応付けて記憶部11に画像文字識別情報116として記憶する(図2のステップS12)。図3(C)は、入力画像データ中の全ての文字画像データが、正しく文字領域21〜23として識別された場合を示す。なお、画像領域と文字領域との識別方法は、特開昭60−116081号公報などに開示されている公知の方法で行われ、また、その識別方法自体は本発明の要旨ではないので、その詳細な説明は省略する。
Subsequently, with respect to each of the 16 horizontal image images and 12 vertical image images obtained by the division in step S11, the
次に、図1の格子点処理部14は、ステップS12において識別した文字領域の格子の各格子点を、初期パラメータ114に基づいて格子が任意の大きさの格子となるように拡大又は縮小する位置へと移動させる(図2のステップS13)。図3(D)がステップS13により格子点が移動された状態を示す。図3(D)は、文字領域24〜26の各格子サイズが、同図(C)の元の文字領域21〜23の各格子サイズの1.2倍になるように拡大した移動例を示す。
Next, the grid
ここで、各格子サイズの移動例について具体的に説明する。一例として、説明の簡単のために、図4に示すように、縦横それぞれ3つずつの3×3の計9個の格子について説明すると、格子点は黒丸3301〜3316で示すように全部で16個となる。なお、白丸は後述する移動後の格子点を示す。これら16個の格子点の座標を、一番左上の格子点3301が(0,0)、その一つ右の格子点3302が(1,0)、更に一つ右の格子点3303が(2,0)、更に一つ右の格子点3304が(3,0)、次の行の左から右方向に順に格子点3305が(0,1)、格子点3306が(1,1)、格子点3307が(2,1)、格子点3308が(3,1)であるものとする。
Here, an example of movement of each lattice size will be specifically described. As an example, for simplification of description, as shown in FIG. 4, a total of nine grids of 3 × 3 each of 3 × 3 will be described. The grid points are 16 in total as indicated by
同様に、次の行の格子点の座標を、左から右方向に順に格子点3309が(0,2)、格子点3310が(1,2)、格子点3311が(2,2)、格子点3312が(3,2)とし、最後の行の格子点の座標を、左から右方向に順に格子点3313が(0,3)、格子点3314が(1,3)、格子点3315が(2,3)、格子点3316が(3,3)であるものとする。
Similarly, the coordinates of the grid points in the next row are (0, 2) for the
ここで、左上の一つの格子を1.2倍に拡大するものとすると、格子点3301の座標は(0,0)で移動しないが、格子点3302は座標(1.2,0)に、格子点3305は座標(0,1.2)に、格子点3306は座標(1.2,1.2)に移動する。これ以外の12個の格子点をどのように移動させるかのアルゴリズムは様々であるが、均等に分散させる場合は
(3.0−1.2)/2=0.9
であるので、格子点3303は座標(2.1,0)に移動し、格子点3304は座標(3,0)のままである。また、
(1.2−1.0)/2=0.1
であるので、格子点3307は座標(2.1,1.1)に移動し、格子点3308は(3,1)のままである。同様に、格子点3309は座標(0,2.1)、格子点3310は座標(1.1,2.1)に移動する。それ以外の格子点3311は(2,2)、格子点3312は(3,2)、格子点3313は(0,3)、格子点3314は(1,3)、格子点3315は(2,3)、格子点3316は(3,3)のままで移動しない。
Here, if one grid at the upper left is enlarged by 1.2 times, the coordinates of the
Therefore, the
(1.2-1.0) /2=0.1
Therefore, the
また、アルゴリズムを均等ではなく、次の格子で全て吸収するようにすれば、格子点3302が座標(1.2,0)、格子点3305が座標(0,1.2)、格子点3306が座標(1.2,1.2)へ移動するが、それ以外の格子点は移動しない。
Further, if the algorithm is not uniform and is absorbed by the next grid, the
なお、文字領域の拡大/縮小の中心は格子が文字領域の4辺に接していない限り格子点座標位置を平均した座標とする。また、格子が文字領域の4辺に接している場合は、2辺に接している場合と1辺のみに接している場合とに区別し、2辺に接している場合は、2辺の交点を中心とし、1辺のみ接している場合は接している辺上の格子点座標位置を平均した座標を中心としている。 The center of the enlargement / reduction of the character area is a coordinate obtained by averaging the lattice point coordinate positions unless the lattice is in contact with the four sides of the character area. Also, when the grid touches the four sides of the character area, it distinguishes between touching two sides and touching only one side. When touching two sides, the intersection of the two sides If only one side is in contact, the center is the coordinate obtained by averaging the grid point coordinate positions on the contact side.
続いて、図1の格子点処理部14は、図2のステップS13において処理した文字領域格子の格子点移動量に応じて、文字領域24〜26内の格子点以外の画像領域格子の各格子点を移動させる(図2のステップS14)。図3(E)はステップS14により同図(D)に示す状態から、文字領域24〜26内の格子点以外の画像領域格子の各格子点を移動させた例を示す。図3(E)では、文字領域24〜26内の格子点以外の画像領域格子の各格子点のうち、水平位置で近しい格子点座標を平均化すると共に、垂直位置で近しい格子点座標を平均化した場合を示す。
Subsequently, the grid
すなわち、画像領域格子の各格子点において、文字領域格子の格子点と同じ列の格子点は同じx座標の値として揃え、同じ行の格子点は同じy座標の値として揃える。ただし、複数の異なるx位置文字領域格子点がある列に関しては、挟まれた区間を平均化する。例えば、x=3.2とx=4.1とに挟まれた2点の画像領域格子の格子点があるとすると、それは0.3(=(4.1−3.2)/3)となり、それぞれのx座標は3.5、3.8となる。挟まれていない区間の格子点に関しては最も近い格子点と同じx座標とする。y座標も同様に行う。 That is, at each grid point of the image area grid, grid points in the same column as the grid area of the character area grid are aligned as the same x coordinate value, and grid points in the same row are aligned as the same y coordinate value. However, for a column with a plurality of different x-position character area grid points, the sandwiched sections are averaged. For example, if there is a lattice point of two image area lattices sandwiched between x = 3.2 and x = 4.1, it is 0.3 (= (4.1-3.2) / 3). Thus, the respective x coordinates are 3.5 and 3.8. The grid points in the section not sandwiched are set to the same x coordinate as the closest grid point. The y-coordinate is similarly performed.
なお、格子点の移動の仕方はこの限りではなく、全ての格子が正方形に近づくよう移動させてもよいし、画像領域の格子点は全く移動させなくてもよい。ただし、全く移動させない場合でも、画像領域と文字領域の両方に接する格子点は文字領域の移動に伴い移動している。 Note that the method of moving the lattice points is not limited to this, and all the lattices may be moved closer to a square, or the lattice points of the image region may not be moved at all. However, even when the character area is not moved at all, the lattice points that are in contact with both the image area and the character area move as the character area moves.
続いて、図1の画像生成部15は、図2のステップS13およびステップS14において移動した格子点の最終位置に基づいて、図3(F)に示す如き画像の画像データを作成する(図2のステップS15)。すなわち、S14までの処理において、文字領域格子及び画像領域格子のそれぞれの格子点座標が求まっているので、後は入力画像データと格子点座標の移動量に基づき、バイリニアフィルタ、バイキュービックフィルタなどの画像補間処理を行い、文字領域格子が拡大された画像として生成する。
Subsequently, the
ここで、文字領域の画像だけについて、図3(A)に示した入力画像と、同図(F)に示した生成された画像とを比較すると、同図(G)に示すように、それぞれ上の文字が生成された画像の文字、下の文字が入力画像の文字であり、ここでは入力画像の文字に比べて生成された画像の文字が拡大されている。このようにして生成された画像データは、記憶部11に一旦記憶された後、図1の画像出力部16により、表示されるべき画像データとして出力される(図2のステップS16)。
Here, when only the image of the character region is compared with the input image shown in FIG. 3A and the generated image shown in FIG. 3F, as shown in FIG. The upper characters are the characters of the generated image, and the lower characters are the characters of the input image. Here, the characters of the generated image are enlarged compared to the characters of the input image. The image data generated in this way is temporarily stored in the
このように、映像画像データと文字画像データとが混在した映像画像における、文字画像データを任意の大きさに拡大又は縮小できる画像表示装置において、従来は映像画像データと文字画像データとを個別のデータとして別々に処理し、文字画像データについてはその文字がどのような文字であるかまでを記憶・記録して処理した後、処理後の映像画像データと合成していたのに対し、本実施の形態では、文字領域格子の格子点を移動すると共に、それに伴い画像領域格子の格子点の移動を制御するだけであり、文字画像データはあくまでも文字を含んでいる文字領域のデータとしての判断しか行わず、余分な記憶媒体容量を使わず、扱う情報量も少ないので、高速な処理ができる。 As described above, in an image display device capable of enlarging or reducing character image data to an arbitrary size in a video image in which video image data and character image data are mixed, conventionally, video image data and character image data are individually separated. This processing is performed separately as data, and for character image data, it was recorded and processed up to what the characters were, and then combined with the processed video image data In this form, the grid points of the character area grid are moved, and the movement of the grid points of the image area grid is only controlled accordingly, and the character image data can only be determined as the data of the character area containing characters. No extra storage medium capacity is used, and the amount of information handled is small, so that high-speed processing can be performed.
次に、本発明における画像表示方法及び画像表示装置の第2の実施の形態について説明する。本実施の形態の画像表示装置の構成は、図1に示した第1の実施の形態と同様であるが、本実施の形態では、記憶部11に記憶されている画像文字識別情報116に識別コードを付加することで、文字領域と画像領域との識別が曖昧な場合でも文字領域の拡大又は縮小を行えるようにしたものである。ここで、上記の識別コードとしては、例えば、文字領域の場合は”1”、文字領域可能性大である場合は”2”、文字領域可能性小である場合は”3”、画像領域の場合は”4”である。
Next, an image display method and an image display apparatus according to a second embodiment of the present invention will be described. The configuration of the image display device of the present embodiment is the same as that of the first embodiment shown in FIG. 1, but in this embodiment, the image
次に、本発明の画像表示装置及び画像表示方法の第2の実施の形態により画像データがどのように処理されるかについて、具体的に図1、図5〜図7を併せ参照して説明する。図5は本発明になる画像表示方法の第2の実施の形態のフローチャート、図6及び図7は図5のフローチャートに従って画像データがどのように処理されているかを示す画像データ遷移図である。 Next, how image data is processed according to the second embodiment of the image display apparatus and image display method of the present invention will be described with reference to FIGS. 1 and 5 to 7. To do. FIG. 5 is a flowchart of the second embodiment of the image display method according to the present invention, and FIGS. 6 and 7 are image data transition diagrams showing how the image data is processed according to the flowchart of FIG.
まず、図1の画像入力部10から入力されて記憶部11に記憶された入力画像データ111が入力された映像画像として読み出され、図1の画像分割部12によって任意の格子状に分割される(図5のステップS21)。ここで、入力画像データ111による入力映像画像の一例が図6(A)に示され、これが画像分割部12によって、図6(B)に示すように、例えば、水平方向に16個、垂直方向に12個の格子に分割される。
First, the
続いて、ステップS21において格子状に分割して得られた、水平方向に16個、垂直方向に12個の格子のそれぞれについて、図1の画像識別部13で文字領域、文字領域可能性大、文字領域可能性小、画像領域の4つの何れであるか識別し、識別した内容に応じた識別コードを、識別した格子の位置座標に対応付けて記憶部11に画像文字識別情報116として記憶する(図5のステップS22)。
Subsequently, for each of the 16 grids in the horizontal direction and 12 grids in the vertical direction obtained by dividing into grids in step S21, the
ここで、上記の4つの領域の識別方法は、例えば特開昭60−116081号公報記載の公知の方法を用いることができる。この公知の方法は、画像を小領域に分割して、各小領域で水平方向及び垂直方向に濃度勾配を検出してヒストグラムを算出し、算出されたヒストグラムの度数の分散を算出して所定のしきい値と比較することによって文字候補領域を抽出し、抽出された文字候補領域の配置関係によって文字領域及び文字画像データ中に含まれる文字画像の文字数を抽出する方法である。なお、前述したように、上記の識別コードは識別対象の格子が、文字領域の場合は”1”、文字領域可能性大である場合は”2”、文字領域可能性小である場合は”3”、画像領域の場合は”4”である。 Here, as a method for identifying the above four regions, for example, a known method described in Japanese Patent Application Laid-Open No. 60-116081 can be used. This known method divides an image into small regions, detects a density gradient in each of the small regions in the horizontal direction and the vertical direction, calculates a histogram, calculates the variance of the frequency of the calculated histogram, and calculates a predetermined value. This is a method of extracting a character candidate area by comparing with a threshold value, and extracting the number of characters of the character image included in the character area and the character image data based on the arrangement relationship of the extracted character candidate areas. As described above, the identification code is “1” when the identification target grid is a character region, “2” when the character region possibility is large, and “2” when the character region possibility is small. 3 ”and“ 4 ”in the case of an image area.
図6(C)はステップS22による識別結果を格子状に分割された入力画像と共に示す。同図(C)に示す例では、時刻を表す「8:15」の画像を含む格子を文字領域(識別コード:1)31として識別し、「3−B」の画像を含む格子を文字領域可能性大の領域(識別コード:2)32として識別し、「あいさつしっかり」の画像を含む格子を文字領域可能性小の領域(識別コード:3)33として識別し、その他の画像における格子を画像領域(識別コード:4)として識別されており、入力された文字画像データの文字画像が正しく文字領域として識別した場合を示す。 FIG. 6C shows the identification result obtained in step S22 together with the input image divided in a grid pattern. In the example shown in FIG. 6C, a grid including an image of “8:15” representing the time is identified as a character area (identification code: 1) 31, and a grid including an image of “3-B” is defined as a character area. Identify a region having a high possibility (identification code: 2) 32, identify a lattice including an image of “greeting firmly” as a region (identification code: 3) 33 having a low possibility of character region, and identify lattices in other images. This is a case where it is identified as an image region (identification code: 4), and the character image of the input character image data is correctly identified as a character region.
続いて、図1の格子点処理部14は、記憶部11に予め任意に設定されて記憶されている初期パラメータ114と、ステップS22で記憶された画像文字識別情報116とを再生し、画像文字識別情報116に付加されている上記の識別コードのうちのどの値の識別コードに対して拡大/縮小処理を行うかを、初期パラメータに基づいて決定する(図5のステップS23)。
Subsequently, the lattice
図7は識別コードの値が”1”と”2”である格子(すなわち、文字領域にある格子と、文字領域可能性大の領域にある格子)に対して、元の格子サイズの1.1倍になるように拡大処理を行うと決定した場合の図を示す。続いて、格子点処理部14は、ステップS23において決定した拡大/縮小処理対象の格子の各格子点を格子が拡大/縮小する位置へと、第1の実施の形態と同様の方法で移動させる(図5のステップS24)。これにより、図7(A)に示す画像中の拡大対象の文字領域34にある格子の各格子点と、文字領域可能性大の領域35にある格子の各格子点とが、同図(B)に示すように、1.1倍に拡大された位置にそれぞれ移動して領域36、37を形成する。
FIG. 7 shows that the original grid size is 1. for the grids whose identification code values are “1” and “2” (that is, the grids in the character area and the grids in the area where the possibility of the character area is high). The figure in the case where it is determined that the enlargement process is performed so as to be 1 time is shown. Subsequently, the lattice
なお、拡大/縮小の中心は格子が対象の領域の4辺に接していない限り格子点座標位置を平均した座標とする。格子が対象の領域の4辺に接している場合は2辺に接している場合と1辺のみに接している場合とに区別し、2辺に接している場合は、2辺の交点を中心とし、1辺のみ接している場合は接している辺上の格子点座標位置を平均した座標を中心としている。 The center of enlargement / reduction is a coordinate obtained by averaging the grid point coordinate positions unless the grid is in contact with the four sides of the target region. When the grid touches the four sides of the target area, it distinguishes between touching two sides and touching only one side. When touching two sides, the intersection of the two sides is the center. In the case where only one side is in contact, the center is the coordinate obtained by averaging the grid point coordinate positions on the side in contact.
続いて、格子点処理部14は、ステップS24において処理した拡大/縮小処理対象格子の格子点移動量に応じて、前記拡大/縮小処理対象格子以外の格子(ここでは、文字領域可能性小領域と画像領域)の各格子点を移動させる(図5のステップS25)。これにより、図7の例では、図7(C)に示すように、同図(B)に示した文字領域36及び文字領域可能性大の領域37にある格子以外の格子が、1.1倍の拡大処理による格子移動量に対応した移動量だけ移動する。図7では拡大/縮小処理対象格子以外の格子の格子点を水平位置で近しい格子点座標を平均化し、垂直位置で近しい格子点座標を平均化した場合を示す。
Subsequently, the lattice
なお、格子点の移動の仕方はこの限りではなく、全ての格子が正方形に近づくよう移動させてもよいし、拡大/縮小処理対象格子以外の格子の格子点を全く移動させなくてもよい。ただし、全く移動させない場合でも、拡大/縮小処理対象格子と拡大/縮小処理対象格子以外の格子の両方に接する格子点は文字領域の移動に伴い移動する。 The method of moving the lattice points is not limited to this, and all the lattices may be moved closer to a square, or the lattice points of the lattices other than the enlargement / reduction processing target lattice may not be moved at all. However, even if not moved at all, the grid points that touch both the enlargement / reduction processing target grid and the grid other than the enlargement / reduction processing target grid move as the character area moves.
続いて、図1の画像生成部15は、図5のステップS24及びステップS25において移動した格子点の最終位置に基づいて、図7(D)に示す如き画像の画像データを作成する(図5のステップS26)。このようにして生成された画像データは、記憶部11に一旦記憶された後、図1の画像出力部16により、表示されるべき出力用画像データ117として出力される(図5のステップS27)。
Subsequently, the
このように、本実施の形態によれば、映像画像データと文字画像データとが混在した映像画像における、文字画像データを任意の大きさに拡大又は縮小できる画像表示装置において、入力映像画像における文字領域と画像領域との識別が曖昧な場合でも、文字領域可能性大と文字領域可能性小の領域をそれぞれ識別し、文字領域可能性大の領域も文字領域として判断するようにしているため、文字領域の拡大を行うことが可能となる。なお、縮小の場合も上記の拡大の場合と同様の手順で行われる。 As described above, according to the present embodiment, in an image display device capable of enlarging or reducing character image data to an arbitrary size in a video image in which video image data and character image data are mixed, characters in an input video image are displayed. Even if the distinction between the area and the image area is ambiguous, each area is identified as a character area possibility and a character area possibility small area, and the character area possibility large area is also determined as a character area. The character area can be enlarged. In the case of reduction, the same procedure as in the case of enlargement is performed.
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以上の実施の形態では1枚の画像についての説明を行ったが、同じ処理を連続して行うことで動画映像への対応も可能である。さらに、以上の実施の形態では画像表示装置及び画像表示方法について説明したが、本発明は上記の実施の形態の画像表示装置を動作させるべく当該画像表示装置と持続された装置、またはシステム内のコンピュータに、上記の実施の形態の画像表示方法を実現させるコンピュータプログラムや、そのコンピュータプログラムを記録したCD(Compact Disc)、DVD(Digital Versatile Disc)などの情報記憶媒体も包含するものである。 Note that the present invention is not limited to the above embodiment. For example, in the above embodiment, one image has been described. Is also possible. Furthermore, although the image display apparatus and the image display method have been described in the above embodiments, the present invention is intended to operate the image display apparatus according to the above-described embodiments and a device that is sustained with the image display apparatus or the system. A computer program for realizing the image display method of the above-described embodiment on a computer, and an information storage medium such as a CD (Compact Disc) and a DVD (Digital Versatile Disc) on which the computer program is recorded are also included.
なお、上記のコンピュータプログラムは、情報記録媒体からコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれてもよく、更にはコンピュータ内に組み込まれていてもよい。また、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The above computer program may be taken into the computer from an information recording medium, may be distributed via a communication network, taken into the computer, or may be incorporated into the computer. All modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
画像データと文字データとが混在した映像画像における、文字データを任意の大きさに拡大・縮小できる画像表示装置、画像表示方法、情報記憶媒体、および画像表示プログラムに幅広く使用することが可能である。 It can be widely used in an image display device, an image display method, an information storage medium, and an image display program capable of enlarging / reducing character data in a video image in which image data and character data are mixed. .
10 画像入力部
11 記憶部
12 画像分割部
13 画像識別部
14 格子点処理部
15 表示画像作成部
16 画像出力部
111 入力画像データ
112 分割数
113 拡大縮小率
114 初期パラメータ
115 格子点情報
116 画像文字識別情報
117 出力用画像データ
DESCRIPTION OF
Claims (3)
前記入力画像信号による画像を任意の数の格子に分割する第1のステップと、
前記分割したそれぞれの格子が、前記文字画像データで構成される格子である文字領域格子であるか、前記映像画像データで構成される格子である画像領域格子であるかを識別する第2のステップと、
前記文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、前記画像領域格子の各格子点を、前記文字領域格子の各格子点の移動量に応じて移動制御する第3のステップと、
前記第3のステップにより各格子点が移動制御された後の前記文字領域格子による文字画像と、各格子点が移動制御された後の前記画像領域格子による映像画像とからなる画像データを前記再合成画像信号として生成する第4のステップと
を含むことを特徴とする画像表示方法。 An image display method of separating video image data and character image data from an input image signal, and outputting the recombined image signal recombined with the video image data by expanding or reducing the character image data to an arbitrary size. There,
A first step of dividing an image by the input image signal into an arbitrary number of grids;
A second step of identifying whether each of the divided grids is a character area grid that is a grid configured by the character image data or an image area grid that is a grid configured by the video image data. When,
The grid points of the character area grid are moved by a predetermined distance in a direction to enlarge or reduce the grid points of an arbitrary size, and the grid points of the image area grid are moved by the grid points of the character area grid. A third step of controlling movement according to
Image data consisting of a character image by the character area grid after movement of each grid point in the third step and a video image by the image area grid after movement control of each grid point is re-executed. And a fourth step of generating as a composite image signal.
前記入力画像信号による画像を任意の数の格子に分割する画像分割手段と、
前記分割したそれぞれの格子が、前記文字画像データで構成される格子である文字領域格子であるか、前記映像画像データで構成される格子である画像領域格子であるかを識別する画像識別手段と、
前記文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、前記画像領域格子の各格子点を、前記文字領域格子の各格子点の移動量に応じて移動制御する格子点処理手段と、
前記格子点処理手段により各格子点が移動制御された後の前記文字領域格子による文字画像と、各格子点が移動制御された後の前記画像領域格子による映像画像とからなる画像データを前記再合成画像信号として生成する表示画像作成手段と
を有することを特徴とする画像表示装置。 An image display device that separates video image data and character image data from an input image signal, and outputs a recombined image signal re-synthesized with the video image data by expanding or reducing the character image data to an arbitrary size. There,
Image dividing means for dividing the image by the input image signal into an arbitrary number of grids;
Image identifying means for identifying whether each of the divided grids is a character area grid that is a grid composed of the character image data or an image area grid that is a grid composed of the video image data; ,
The grid points of the character area grid are moved by a predetermined distance in a direction to enlarge or reduce the grid points of an arbitrary size, and the grid points of the image area grid are moved by the grid points of the character area grid. Grid point processing means for controlling movement according to
Image data composed of a character image by the character area grid after the movement of each grid point by the grid point processing means and a video image by the image area grid after the movement of each grid point is re-executed. An image display device comprising: a display image creating means for generating a composite image signal.
前記コンピュータに、
前記入力画像信号による画像を任意の数の格子に分割する第1のステップと、
前記分割したそれぞれの格子が、前記文字画像データで構成される格子である文字領域格子であるか、前記映像画像データで構成される格子である画像領域格子であるかを識別する第2のステップと、
前記文字領域格子の各格子点を、任意の大きさの格子に拡大又は縮小する方向に所定距離移動すると共に、前記画像領域格子の各格子点を、前記文字領域格子の各格子点の移動量に応じて移動制御する第3のステップと、
前記第3のステップにより各格子点が移動制御された後の前記文字領域格子による文字画像と、各格子点が移動制御された後の前記画像領域格子による映像画像とからなる画像データを前記再合成画像信号として生成する第4のステップと
を実行させることを特徴とする画像表示プログラム。
An image display method for separating video image data and character image data from an input image signal, expanding or reducing the character image data to an arbitrary size, and outputting a recombined image signal recombined with the video image data A program to be executed by a computer,
In the computer,
A first step of dividing an image by the input image signal into an arbitrary number of grids;
A second step of identifying whether each of the divided grids is a character area grid that is a grid configured by the character image data or an image area grid that is a grid configured by the video image data. When,
The grid points of the character area grid are moved by a predetermined distance in a direction to enlarge or reduce the grid points of an arbitrary size, and the grid points of the image area grid are moved by the grid points of the character area grid. A third step of controlling movement according to
Image data consisting of a character image by the character area grid after movement of each grid point in the third step and a video image by the image area grid after movement control of each grid point is re-executed. And a fourth step of generating as a composite image signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005284074A JP2007094806A (en) | 2005-09-29 | 2005-09-29 | Image display method, image display apparatus, and image display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005284074A JP2007094806A (en) | 2005-09-29 | 2005-09-29 | Image display method, image display apparatus, and image display program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007094806A true JP2007094806A (en) | 2007-04-12 |
Family
ID=37980442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005284074A Withdrawn JP2007094806A (en) | 2005-09-29 | 2005-09-29 | Image display method, image display apparatus, and image display program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007094806A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066983A (en) * | 2008-09-10 | 2010-03-25 | Brother Ind Ltd | Print label editing apparatus |
CN113095327A (en) * | 2021-03-16 | 2021-07-09 | 深圳市雄帝科技股份有限公司 | Method and system for positioning optical character recognition area and storage medium thereof |
-
2005
- 2005-09-29 JP JP2005284074A patent/JP2007094806A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066983A (en) * | 2008-09-10 | 2010-03-25 | Brother Ind Ltd | Print label editing apparatus |
JP4582359B2 (en) * | 2008-09-10 | 2010-11-17 | ブラザー工業株式会社 | Print label editing device |
CN113095327A (en) * | 2021-03-16 | 2021-07-09 | 深圳市雄帝科技股份有限公司 | Method and system for positioning optical character recognition area and storage medium thereof |
CN113095327B (en) * | 2021-03-16 | 2022-10-14 | 深圳市雄帝科技股份有限公司 | Method and system for positioning optical character recognition area and storage medium thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7974492B2 (en) | Image data reproducing apparatus with changing proportions of combined enlarged images, method of controlling same and control program therefor | |
JP4850278B2 (en) | Content creation support device, content creation support method, and scenario file generation method | |
JP4770878B2 (en) | Information display device and program | |
CN102224545B (en) | The video of similar events and tableaux are based on the merging of the global motion vector of this video | |
JP4726577B2 (en) | Slide show generating apparatus, slide show data generating apparatus, control method therefor, and program for controlling them | |
JP2007228334A (en) | Moving picture control apparatus and method, and program | |
JPH11252518A (en) | Sub-video unit title preparing device and storing medium | |
Conge et al. | Improved seam carving for image resizing | |
JP2005017559A (en) | Image display device | |
JP2007094806A (en) | Image display method, image display apparatus, and image display program | |
Kumar et al. | A distortion-sensitive seam carving algorithm for content-aware image resizing | |
JP5566120B2 (en) | Display control apparatus, method, program, and recording medium | |
JP5484132B2 (en) | Video processing apparatus and control method thereof | |
JPH096953A (en) | Method for recording and reproducing image data | |
WO2016185831A1 (en) | Image processing device and image processing method | |
JP4489661B2 (en) | Slide show generating apparatus, control method therefor, and control program therefor | |
US20100054713A1 (en) | Video reproducing apparatus | |
JP2008263657A (en) | Image processor, thumbnail moving image creation method and thumbnail moving image creation program | |
KR100355234B1 (en) | Hybrid interpolator of 2 dimensions for edge enhancement and method thereof | |
US7200814B2 (en) | Reproduction apparatus | |
CN117934266A (en) | Canvas-based 2D image rendering method, canvas-based 2D image rendering system and medium | |
US20020012469A1 (en) | Picture image processing method, processing apparatus and recording medium | |
JP5205989B2 (en) | Recording / reproducing apparatus and program | |
JP2005115011A (en) | Image display apparatus, image display method, image display program and recording medium recording the program | |
JP5389083B2 (en) | Image processing apparatus, image encoding system, and image decoding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071228 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100303 |