JP2015033055A - 画像処理システム、及び、画像処理方法 - Google Patents
画像処理システム、及び、画像処理方法 Download PDFInfo
- Publication number
- JP2015033055A JP2015033055A JP2013162599A JP2013162599A JP2015033055A JP 2015033055 A JP2015033055 A JP 2015033055A JP 2013162599 A JP2013162599 A JP 2013162599A JP 2013162599 A JP2013162599 A JP 2013162599A JP 2015033055 A JP2015033055 A JP 2015033055A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- image processing
- important
- pixel information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 65
- 230000010354 integration Effects 0.000 claims description 29
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
図1は、一般的な領域重要度判定処理を説明するための図である。図1(a)は、表示画面(201)に、ユーザにとって重要な対象(202)である「船舶」と、対象外(203)の「波」が映っていることを示している。
図2は、単純な重要領域指定の概要を説明するための図である。また、図2は、図1で示した技術を、映像監視装置として利用する一例を示している。
上述の課題を解決するために、本発明の実施形態では、以下に述べるような構成を有するシステムを提案する。
図4は、本発明の実施形態で実行される処理のシーケンス(例)を説明するための図である。図4は、上述した各部の動作を、時間の流れに沿って説明した図である。
図5乃至図7を用いて、図3に示した情報取得部(118)および復号化側重要度判定部(119)の動作を、以下詳しく説明する。
図5は、重要領域の意義(具体例)を説明するための図である。図5は、図3に示した表示装置(104)における表示画面を示したものである。図5には、一例として、ユーザにとって重要な対象(506)である「船舶」と、対象外(507)の「水面」が映っていることが示されている。
図6は、情報取得部(118)によって実行される情報取得処理の例を説明するための図であり、図3に示した情報取得部(118)の動作に基づいて表示される表示画面(601)の一例を示している。具体的には、図6には、ユーザが、表示画面(601)に映る対象(船舶)を目視しながら、図3に示す操作部(105)を操作して、画面上の対象の位置(602)を指定した状況が示されている。
図7は、優先すべき画素情報の変更処理の概要を説明するための図であり、表示されている、画面上の対象の位置(602)の周辺の位置(A,B,C…)の画素情報(図6参照)を、画素情報テーブル(603)にまとめて表示したあとの動作を示している。
図8は、本発明の実施形態による重要度統合部(113)の詳細構成を示す図である。
図8(a)に示されるように、符号化側重要度判定部(801)は、図3に示した画像入力部(106)から入力された画像(b)(図8(b)に対応)を用いて、重要領域(c)(図8(c)に対応)を抽出する。符号化側重要度判定部(801)は、例えば、機械学習を用いた画像認識技術(例えば、ブースティング(Adaboost)、ニューラルネットワーク、サポートベクターマシン(SVM)、等)によって実現でき、一般的な公知技術によって容易に実現可能なため、図示は省略する。また、機械学習を用いないで重要度を判定する技術として、例えば、非特許文献1に記載の技術を用いてもよい。この技術は、人間の視覚的注意に基づいて顕著性の情報を取得し、顕著性が高い領域が重要であると推定する技術である。この技術では、入力画像に含まれる輝度、色、エッジ方向の各特徴量の不連続部分が視覚的に注意を引くと仮定し、これらの各特徴量に対して多解像度ピラミッドを構成し、解像度ごとに特徴量の不連続度合いを計算して、ひとつに統合することで、最終的な顕著性の情報としている。
図9は、本発明の実施形態による画像処理の手順(例)を説明するためのフローチャートである。図9(a)は画像符号化装置側の処理を、図9(b)は画像復号化装置側の処理を、図9(c)はステップ(913)の詳細処理を説明するためのフローチャートである。
図9(a)において、ステップ(901)にて処理が開始し、ステップ(902)において画像符号化装置(102)は、入力されたフレーム画像を取得する。
図9(b)において、ステップ(910)で処理が開始し、ステップ(911)において、画像復号化装置(103)は、画像符号化装置(102)から伝送されてきた画像データ(符号化データ)を復号化して表示装置(104)の画面上に表示する。この表示画像をユーザが目視し、もし画面内に重要な対象が映っていれば、キーボードやマウス等のポインティングシステムを用いて、その対象の位置(座標)を指定する。前述のように、このユーザによる指定操作は、所定間隔毎に1回、及び/又は、ユーザが画面上に表示される重要領域にずれを感じた場合に、行われるものである。
図9(c)は、ステップ(913)の処理内容の詳細(例)を説明するためのフローチャートである。
(i)以上説明した本発明の実施形態によれば、動画像内で被写体が大きく移動しているような場合でも、動画像を受信する側でユーザが重要領域を容易に指定できる技術を実現できる。また、ユーザによって重要領域と一旦指定された領域は、その後も自動的に重要領域と判定されやすくなる。また、このように安定した重要領域判定の結果を用いて、非重要領域の画質を意図的に劣化させた後に符号化することにより、非重要領域よりも重要領域の方に相対的に多くの符号化データを割り当てることができるようになるため、重要領域の画質を高めた画像伝送を実現できる。
102・・・画像符号化装置
103・・・画像復号化装置
104・・・表示装置
105・・・操作部
107,305・・・前処理部
113・・・重要度統合部
119,801・・・重要度判定部
118・・・情報取得部
603,703,706・・・画素情報テーブル
Claims (15)
- 複数のフレーム画像を符号化して符号化画像を出力する第1の画像処理装置と、当該第1の画像処理装置から前記符号化画像を受信し、復号化する第2の画像処理装置と、を有する画像処理システムであって、
前記第1の画像処理装置は、
入力画像を符号化する符号化部と、
前記第2の画像処理装置から画素情報を受信する受信部と、
前記入力画像中の領域の重要度を判定する第1の重要度判定部と、
前記第1の重要度判定部によって得られた重要領域の情報と、前記第2の画像処理装置からの情報と統合する重要度統合部と、を有し、
前記第2の画像処理装置は、
前記符号化画像を復号化し、復号画像を生成する復号化部と、
前記復号画像を表示するための表示装置と、
前記表示装置によって表示された前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を取得する情報取得部と、
前記取得した画素情報のうち、指定された箇所の画素情報を含む領域を重要領域として判定する第2の重要度判定部と、
前記重要と判定された領域に関する画素情報を第1の画像処理装置へ送信する送信部と、を有し、
前記重要度統合部は、前記第2の画像処理装置から前記重要と判定された領域に関する画素情報を受信した場合、前記第1の重要度判定部によって得られた重要領域の情報と、前記第2の画像処理装置からの前記重要と判定された領域に関する画素情報に基づく重要領域の情報とを統合して統合情報を生成し、
前記符号化部は、前記重要度統合部からの前記統合情報に基づいて、前記入力画像の中で重要と判定された領域以外の領域の画質を劣化させ、画像を符号化することを特徴とする、画像処理システム。 - 請求項1において、
前記情報取得部は、前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を前記表示装置に出力し、
前記表示装置は、前記情報取得部から取得した前記指定箇所及び当該指定箇所の周辺領域の画素情報の一覧を、前記指定箇所の画素情報を最優先情報として、及び、前記周辺領域の画素情報を所定の順番で、表示することを特徴とする画像処理システム。 - 請求項2において、
前記情報取得部は、一覧表示された前記画素情報のうち、最初に指定された前記指定箇所とは別の、改めて指定された箇所の画素情報を前記最優先情報として表示するように前記表示装置に通知することを特徴とする画像処理システム。 - 請求項3において、
前記情報取得部は、前記改めて指定された箇所以外の箇所の画素情報の表示順番を繰り下げることを特徴とする画像処理システム。 - 請求項1乃至4の何れか1項において、
前記画素情報は、色情報、輝度情報、エッジ情報、コーナー情報、及び周波数分布情報のうち少なくとも1つを含む画像特徴量であることを特徴とする画像処理システム。 - 請求項1乃至5の何れか1項において、
前記情報取得部が画素情報を取得するフレーム画像は、前記重要と判定された領域以外の領域の解像度を下げて符号化するフレーム画像とは異なることを特徴とする画像処理システム。 - 請求項1乃至6の何れか1項において、
前記第1の重要度判定部は、画像特徴量の不連続度合いを計算することによって顕著性の情報を取得し、当該顕著性が高い領域を重要と判定することを特徴とする画像処理システム。 - 請求項1乃至7の何れか1項において、
前記重要度統合部は、前記第1の重要度判定部によって得られた重要領域の情報と、前記第2の画像処理装置からの前記重要と判定された領域に関する画素情報に基づく重要領域の情報とを、所定の比率で加重加算して前記統合情報を生成することを特徴とする画像処理システム。 - 第1の画像処理装置が複数のフレーム画像を符号化して符号化画像を出力し、第2の画像処理装置が前記第1の画像処理装置から前記符号化画像を受信し、復号化する、画像処理方法であって、
前記第1の画像処理装置は、符号化部と、受信部と、第1の重要度判定部と、重要度統合部と、を有し、前記第2の画像処理装置は、復号化部と、表示装置と、情報取得部と、第2の重要度判定部と、を有し、
前記画像処理方法は、
前記第1の重要度判定部が、入力画像中の領域の重要度を判定するステップと、
前記受信部が、前記第2の画像処理装置から重要と判定された領域に関する画素情報を受信するステップと、
前記重要度統合部が、前記第2の画像処理装置から前記重要と判定された領域に関する画素情報を受信した後、前記第1の重要度判定部によって得られた重要領域の情報と、前記第2の画像処理装置からの画素情報に基づいて判定される重要領域の情報とを統合して統合情報を生成するステップと、
前記符号化部が、前記重要度統合部からの前記統合情報に基づいて、前記入力画像の中で重要と判定された領域以外の領域の画質を劣化させ、画像を符号化して符号化画像を出力するステップと、
前記復号化部が、前記符号化画像を復号化し、復号画像を生成するステップと、
前記表示装置が、前記復号画像を表示するステップと、
前記情報取得部が、前記表示装置によって表示された前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を取得するステップと、
前記第2の重要度判定部が、前記取得した画素情報のうち、指定された箇所の画素情報を含む領域を重要領域として判定するステップと、
前記送信部が、前記重要と判定された領域に関する画素情報を第1の画像処理装置へ送信するステップと、
を含むことを特徴とする画像処理方法。 - 請求項9において、さらに、
前記情報取得部が、前記復号画像において指定された箇所及び当該指定箇所の周辺領域の画素情報を前記表示装置に出力するステップと、
前記表示装置が、前記情報取得部から取得した前記指定箇所及び当該指定箇所の周辺領域の画素情報の一覧を、前記指定箇所の画素情報を最優先情報として、及び、前記周辺領域の画素情報を所定の順番で、表示するステップを含むことを特徴とする画像処理方法。 - 請求項10において、さらに、
前記情報取得部が、一覧表示された前記画素情報のうち、最初に指定された前記指定箇所とは別の、改めて指定された箇所の画素情報を前記最優先情報として表示するように前記表示装置に通知するステップを含むことを特徴とする画像処理方法。 - 請求項11において、
前記情報取得部は、前記改めて指定された箇所以外の箇所の画素情報の表示順番を繰り下げることを特徴とする画像処理方法。 - 請求項9乃至12の何れか1項において、
前記画素情報は、色情報、輝度情報、エッジ情報、コーナー情報、及び周波数分布情報のうち少なくとも1つを含む画像特徴量であることを特徴とする画像処理方法。 - 請求項9乃至13の何れか1項において、
前記情報取得部が画素情報を取得するフレーム画像は、前記重要と判定された領域以外の領域の解像度を下げて符号化するフレーム画像とは異なることを特徴とする画像処理方法。 - 請求項9乃至14の何れか1項において、
前記第1の重要度判定部は、画像特徴量の不連続度合いを計算することによって顕著性の情報を取得し、当該顕著性が高い領域を重要と判定することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013162599A JP6132700B2 (ja) | 2013-08-05 | 2013-08-05 | 画像処理システム、及び、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013162599A JP6132700B2 (ja) | 2013-08-05 | 2013-08-05 | 画像処理システム、及び、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015033055A true JP2015033055A (ja) | 2015-02-16 |
JP6132700B2 JP6132700B2 (ja) | 2017-05-24 |
Family
ID=52518021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013162599A Active JP6132700B2 (ja) | 2013-08-05 | 2013-08-05 | 画像処理システム、及び、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6132700B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017046164A (ja) * | 2015-08-26 | 2017-03-02 | 沖電気工業株式会社 | 画像処理装置、プログラム及び方法 |
KR20200061873A (ko) * | 2018-11-26 | 2020-06-03 | 수니코리아 엘엘씨(한국뉴욕주립대학교) | 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
JP2001313938A (ja) * | 2000-05-01 | 2001-11-09 | Canon Inc | 画像符号化装置と画像復号化装置及びそれらの制御方法及び画像通信システム |
JP2002344925A (ja) * | 2001-05-15 | 2002-11-29 | Sony Corp | 動画像配信装置、動画像配信方法、動画像配信プログラム、動画像配信プログラム格納媒体、画像指定装置、画像指定方法、画像指定プログラム及び画像指定プログラム格納媒体及び動画像提供システム |
JP2003224850A (ja) * | 2002-01-29 | 2003-08-08 | Nippon Hoso Kyokai <Nhk> | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム |
JP2010259087A (ja) * | 2005-03-31 | 2010-11-11 | Euclid Discoveries Llc | ビデオデータを処理する装置および方法 |
-
2013
- 2013-08-05 JP JP2013162599A patent/JP6132700B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (ja) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | 動画像通信システム |
JP2001313938A (ja) * | 2000-05-01 | 2001-11-09 | Canon Inc | 画像符号化装置と画像復号化装置及びそれらの制御方法及び画像通信システム |
JP2002344925A (ja) * | 2001-05-15 | 2002-11-29 | Sony Corp | 動画像配信装置、動画像配信方法、動画像配信プログラム、動画像配信プログラム格納媒体、画像指定装置、画像指定方法、画像指定プログラム及び画像指定プログラム格納媒体及び動画像提供システム |
JP2003224850A (ja) * | 2002-01-29 | 2003-08-08 | Nippon Hoso Kyokai <Nhk> | 映像中継システム並びに符号化情報指示装置及びそのプログラム並びに符号化映像伝送装置及びそのプログラム |
JP2010259087A (ja) * | 2005-03-31 | 2010-11-11 | Euclid Discoveries Llc | ビデオデータを処理する装置および方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017046164A (ja) * | 2015-08-26 | 2017-03-02 | 沖電気工業株式会社 | 画像処理装置、プログラム及び方法 |
US10356424B2 (en) | 2015-08-26 | 2019-07-16 | Oki Electric Industry Co., Ltd. | Image processing device, recording medium, and image processing method |
KR20200061873A (ko) * | 2018-11-26 | 2020-06-03 | 수니코리아 엘엘씨(한국뉴욕주립대학교) | 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법 |
KR102238125B1 (ko) * | 2018-11-26 | 2021-04-08 | 수니코리아 엘엘씨(한국뉴욕주립대학교) | 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6132700B2 (ja) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111741289B (zh) | 处理立方体面图像的方法和装置 | |
US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
US10244200B2 (en) | View-dependent operations during playback of panoramic video | |
US20170118475A1 (en) | Method and Apparatus of Video Compression for Non-stitched Panoramic Contents | |
US10244215B2 (en) | Re-projecting flat projections of pictures of panoramic video for rendering by application | |
KR102523505B1 (ko) | 역 톤 매핑을 위한 방법 및 장치 | |
US10958950B2 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
KR20220145405A (ko) | 피쳐 양자화/역양자화를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 | |
US20150178898A1 (en) | Processing panoramic pictures | |
US20210233303A1 (en) | Image processing apparatus and image processing method | |
US20170011528A1 (en) | Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device | |
JP5950605B2 (ja) | 画像処理システム、及び、画像処理方法 | |
US20200267385A1 (en) | Method for processing synchronised image, and apparatus therefor | |
US20200234399A1 (en) | Method and apparatus for reducing artifacts in projection-based frame | |
CN114554212A (zh) | 视频处理装置及方法、计算机存储介质 | |
EP3515082B1 (en) | Server device for streaming video content and client device for receiving and rendering video content | |
JP6132700B2 (ja) | 画像処理システム、及び、画像処理方法 | |
JP2017207818A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2019149785A (ja) | 映像変換装置及びプログラム | |
EP3714597B1 (en) | Methods and apparatus for determining rotation angle for spherical multimedia content | |
US11272209B2 (en) | Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content | |
JP6538469B2 (ja) | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム | |
US11233999B2 (en) | Transmission of a reverse video feed | |
JP2017130709A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2003348502A (ja) | 画像表示システムと画像送信装置及び画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170418 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6132700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |