JP2022036991A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2022036991A
JP2022036991A JP2021189810A JP2021189810A JP2022036991A JP 2022036991 A JP2022036991 A JP 2022036991A JP 2021189810 A JP2021189810 A JP 2021189810A JP 2021189810 A JP2021189810 A JP 2021189810A JP 2022036991 A JP2022036991 A JP 2022036991A
Authority
JP
Japan
Prior art keywords
description
image data
image
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021189810A
Other languages
English (en)
Other versions
JP7218786B2 (ja
Inventor
省吾 高梨
Shogo TAKANASHI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2022036991A publication Critical patent/JP2022036991A/ja
Application granted granted Critical
Publication of JP7218786B2 publication Critical patent/JP7218786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保する。【解決手段】記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する。記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳する。例えば、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。【選択図】図３

Description

本技術は、画像処理装置、画像処理方法およびプログラムに関し、詳しくは、記述者が記述部に記述している状態を撮像して得られた動画像データを処理する画像処理装置などに関する。
従来から画像配信における画像の表示手法において、文字部分等の視認性を向上させる提案はいくつかなされている。例えば、特許文献１には、画像中の文字部分を抽出し、その部分だけ高解像度または文字認識したテキスト結果を重畳することにより視認性を高める手法が示されている。これは低ビットレートでの画像配信を想定したものであり、文字部分の情報は視認性を向上させる必要があることが述べられている。
また、特許文献２には、画像中の文字を認識し文字色や背景色を特定した上で、文字色や背景色を調整して表示する手法が示されている。これも文字の視認性を向上させる手法の一つといえる。
特許文献１、２に示される手法は、あくまでも、低ビットレートや背景と文字色の似た色など、画像上に常に映ってはいるものの視認性の低い部分に対する手法であって、本質的に文字部分等が隠れてしまうために視認性が低下する場合には有効ではない。
特開２００３－１７９８８８号公報 特開２０１５－０６９２３４号公報
本技術の目的は、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することにある。
本技術の概念は、
記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置にある。
本技術において、記述判断処理部により、記述者が記述部に記述している状態を撮像して得られた動画像データが処理されて、記述部分が判断される。例えば、記述判断処理部は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する、ようにされてもよい。
この場合、例えば、記述判断処理部は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断し、記述判断処理部は、形状評価値を、纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比に基づいて求め、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求め、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める、ようにされてもよい。
記述重畳処理部により、記述部分と判断された各部分を記述として表示する表示データが発生されて動画像データに重畳される。例えば、記述重畳処理部は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする、ようにされてもよい。
この場合、例えば、記述重畳処理部は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。また、この場合、例えば、記述重畳処理部は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する、ようにされてもよい。
このように本技術においては、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳するものである。そのため、記述者によって隠される記述部上の記述の視認性を記述者と記述部上の記述との位置関係を保った状態で確保することが可能となる。
なお、本技術において、動画像データに基づいて記述者の顔が正面を向いている状態が検知されるとき、動画像データに表示データを重畳しないように記述重畳処理部を制御する記述重畳制御部をさらに備える、ようにされてもよい。記述者が手を止めて口頭による説明や解説を始めた場合、情報として重要になるのは記述よりも記述者の表情や身振り手振りの様子であると考えられるが、それを記述の重畳表示に邪魔されずに表示することが可能となる。
また、本技術において、例えば、記述者が記述部に記述している状態を撮像する撮像部と、この撮像部で得られた撮像信号を処理して動画像データを得る撮像信号処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える、ようにされてもよい。
本技術によれば、記述者によって隠される記述部上の記述の視認性を記述者と記述との位置関係を保った状態で確保することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての画像処理システムの構成例を示すブロック図である。 カメラによるあるフレームの撮像画像の一例を示す図である。 画像処理装置の構成例を示すブロック図である。 記述判断処理部における処理を説明するためのフローチャートである。 形状評価の値の求め方を説明するための図である。 表示装置のディスプレイに表示される表示画像の一例を示す図である。 画像処理装置の他の構成例を示すブロック図である。 記述者が正面を向いている状態にあるときに表示装置のディスプレイに表示される表示画像の一例を示す図である。 カメラの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［画像処理システムの構成例］
図１は、実施の形態としての画像処理システム１０の構成例を示している。この画像処理システム１０は、カメラ１０１と、画像処理装置１０２と、所定数の表示装置１０３-1～１０３-Nを有している。
カメラ１０１は、記述者２０１が記述部２０２に記述２０３を加えながら説明している状態を撮像して動画像データを得る。図２は、カメラ１０１によるあるフレームの撮像画像の一例を示している。この撮像画像においては、記述部２０２の上に記述２０３が存在し、その前側に記述者２０１が存在している。記述者２０１が移動や身振りや手振りをすることで、このフレームでは記述者２０１で隠されている記述２０３の部分も、この後のフレームにおいてカメラ１０１で撮像できる。
記述者２０１としては、例えば、大学の講義室で学生に講義を行う教授などの講義者、会社の会議室で他の社員にプレゼンテーションを行う社員などが想定される。記述部２０２は、ホワイトボードや黒板などの記述可能な部分であり、講義室や会議室の記述可能な壁部であってもよい。
画像処理装置１０２は、カメラ１０１で得られた動画像データを処理して記述部分を判断し、記述部分と判断された各部分を記述として表示する表示データを発生し、この表示データを動画像データに重畳し、表示データが重畳された動画像データを、表示装置１０３-1～１０３-Nに配信する。配信は、無線あるいは有線により行われる。
表示装置１０３-1～１０３-Nは、画像処理装置１０２から上述の表示データが重畳された動画像データを受け取り、当該動画像データに基づいて画像表示をする。この場合、ディスプレイに表示される画像は、記述が重畳されたものとなる。そのため、記述者２０１によって隠される記述部２０２上の記述２０３の視認性が、記述者２０１と記述２０３との位置関係を保った状態で確保される。
表示装置１０３-1～１０３-Nの配置位置としては、記述者２０１が今説明を行っている講義室や会議室などの室内、あるいは他の講義室や会議室、さらには遠隔地などであってもよい。表示装置１０３-1～１０３-Nの配置位置が画像処理装置１０２から比較的近い場合にはＷｉ－Ｆｉなどの無線ＬＡＮを使用できる。一方、表示装置１０３-1～１０３-Nの配置位置が遠隔地である場合には、インターネットによる配信などが考えられる。
画像処理装置１０２から表示装置１０３-1～１０３-Nへの動画像データの配信は必ずしもライブで行われる必要はない。例えば、画像処理装置１０２で得られた動画像データを記録部に記録保存しておき、適宜なタイミングで再生して表示装置１０３-1～１０３-Nに配信することも考えられる。
画像処理装置１０２の詳細を説明する。画像処理装置１０２は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、この差分値が閾値以上である画素が連続する纏まりを把握し、この纏まり毎に記述部分であるか否かを判断する。具体的には、画像処理装置１０２は、纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて記述部分であるか否かを判断する。
画像処理装置１０２は、形状評価値を、纏まりを包含する最小四角形と纏まりの内部に包含される最大四角形の縦横比の関係性から求める。また、画像処理装置１０２は、抽出時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求める。また、画像処理装置１０２は、静止時間評価値を、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める。
また、画像処理装置１０２は、表示データを動画像データに重畳する際に、記述の視認性を高めるための処理をする。例えば、画像処理装置１０２は、動画像データの解像度を低下させる処理を行った後に、この動画像データに表示データを重畳する。また、例えば、画像処理装置１０２は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。また、例えば、画像処理装置１０２は、記述部分と判断された各部分の色が背景画像の色と異なるように動画像データの色情報に基づいて表示データを処理した後に、この表示データを動画像データに重畳する。
図３は、画像処理装置１０２の構成例を示している。この画像処理装置１０２は、制御部１２１と、画像データ入力部１２２と、記述判断処理部１２３と、表示データ発生部１２４と、重畳部１２５と、画像圧縮処理部１２６と、ネットワークインタフェース１２７と、記録部１２８を有している。
制御部１２１は、画像処理装置１０２の各部の動作を制御する。画像データ入力部１２２は、カメラ１０１で得られた動画像データを入力する部分である。例えば、この画像データ入力部１２２は、カメラ１０１との間を接続するケーブルコネクト部であってもよい。また、例えば、この画像データ入力部１２２は、カメラ１０１との間を通信で接続する場合には、無線あるいは有線の通信インタフェースであってもよい。
記述判断処理部１２３は、画像データ入力部１２２に入力された動画像データを処理して記述部分を判断する。この記述判断処理部１２３は、フレーム毎に、図４のフローチャートのスタートからエンドまでの処理を、例えばプログラムに基づいてソフトウェアで実行する。
まず、記述判断処理部１２３は、ステップＳＴ１において、あるフレームで、そのフレームの画像と基準フレーム画像（最初は記述部２０２に記述が行われる前の状態のフレーム画像）との間で画素毎の差分を抽出し、その差分抽出結果から、画素値差分の大きな画素、つまり基準フレーム画像の状態から変化が生じた画素を抽出し、そのような画素が連続する纏まり（所定数）を把握する。
このようにステップＳＴ１で把握される纏まりには、記述２０３の部分が含まれるが、その他に記述者２０１等の部分も含まれる。以下のステップでは、纏まり毎に、記述２０３の部分であるか否かを判断する。この判断には、形状評価、抽出時間評価および静止時間評価の値を用いる。
次に、記述判断処理部１２３は、ステップＳＴ２において、形状評価の値αを求める。記述判断処理部１２３は、この値αを、纏まりを包含する最小四角形（外部四角形）と纏まりの内部に包含される最大四角形（内部四角形）の縦横比の関係性に基づいて求める。図５（ａ）は、記述２０３の部分に対応した纏まりの一例を示しており、矢印Ｐｏで示す四角形が外部四角形であり、矢印Ｐｉで示す四角形が内部四角形である。また、図５（ｂ）は、記述者２０１の部分に対応した纏まりの一例を示しており、矢印Ｑｏで示す四角形が外部四角形であり、矢印Ｑｉで示す四角形が内部四角形である。
記述２０３の部分に対応した纏まりの場合、外部四角形（Ｐｏ）に比べて内部四角形（Ｐｉ）は小さくなることから、形状評価の値αは高くなる。一方、記述者２０１の部分に対応した纏まりの場合、記述２０３の部分に対応した纏まりに比べて大きな纏まりとなることから、外部四角形（Ｑｏ）に比べて内部四角形（Ｑｉ）も一定の大きさを持つ。そのため、形状評価の値αは低くなる。
次に、記述判断処理部１２３は、ステップＳＴ３において、抽出時間評価の値βを求める。記述判断処理部１２３は、この値βを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける基準フレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は高くなる。
例えば、記述判断処理部１２３は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、基準フレーム画像からの差分が大きかったフレーム（差分抽出フレーム）か否かの結果を蓄積していき、連続した差分抽出フレーム数（この評価が複数画素で行われるときは例えば平均値）を評価値βとする。
記述２０３の部分のような場合、記述された後に大きな差分が抽出され続けるので、評価値βは高くなる。一方、移動している記述者２０１の部分のような場合、記述者２０１が通過しきると大きな差分の抽出が途切れるので、評価値βは低くなる。ただし、記述者２０１が移動せずに止まる場合、記述者２０１の部分であるにも関わらず評価値βが高くなることがある。
次に、記述判断処理部１２３は、ステップＳＴ４において、静止状態評価の値γを求める。記述判断処理部１２３は、この値γを、纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求めるものであり、差分値が大きなフレームが多くあるほどその値は低くなる。
例えば、記述判断処理部１２３は、纏まりに含まれる画素（全部の画素あるいは一部の画素）について、１フレーム前との画素差分を蓄積していき、その差分値の大きさの逆数（この評価が複数画素で行われるときは例えば平均値）を評価値γとする。
記述２０３の部分のような場合、１フレーム前の画像との間の画素差分値はゼロとなるか、あるいは小さいため、評価値γは高くなる。一方、移動や身振り手振りする記述者２０１の部分のような場合、１フレーム前の画像との間の画素差分値が大きくなるため、評価値γは低くなる。
次に、記述判断処理部１２３は、ステップＳＴ５において、ステップＳＴ２からステップＳＴ４で求めた各評価の値α、β、γを評価関数Ｅ（α、β、γ）に代入して、記述か否かを判断するための評価値を得る。そして、記述判断処理部１２３は、このステップＳＴ５において、さらに、評価値が閾値ＴＨｒより大きいとき、纏まりは、記述部分（記述２０３の部分）であると判断する。
次に、記述判断処理部１２３は、ステップＳＴ６において、ステップＳＴ５で記述部分と判断された纏まりに含まれる各画素に関しては、基本的には、記述部分の画素として追加保持する。しかし、このように記述部分と判断された纏まりに含まれる各画素が、以前に記述部分として保持されている画素であるときは、それはその後に消去された部分に当たるので、記述部分の画素としての保持から削除する。
ここで、保持するとは、例えば、記述部分と判断された纏まりに含まれる各画素の値をフレームメモリの対応画素位置に書き込んで保持しておくことである。なお、記述部分と判断された纏まりに含まれる各画素の値そのものをフレームメモリの対応画素位置に書き込んでおく代わりに、記述部分と判断された纏まりに含まれる各画素の画素位置の情報のみを保持しておく構成であってもよい。
次に、記述判断処理部１２３は、ステップＳＴ７において、ステップＳＴ６での保持または削除の結果に基づいて、現時点で記述部分として保持されている各画素の値を記述２０３に対応した値としたフレーム画像を生成し、当該フレーム画像を新たな基準フレーム画像とする。次のフレームにおける記述判断処理では、このように更新された基準フレーム画像が用いられることとなる。
図３に戻って、表示データ発生部１２４は、各フレームにおいて、記述判断処理部１２３で保持や削除の処理がされて更新された記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データを発生する。
重畳部１２５は、画像データ入力部１２２に入力された動画像データに、表示データ発生部１２４で発生された表示データを重畳する。これにより、記述部２０２の上に記述された記述２０３を動画像データによる画像の上に重畳して表示することが可能となる。
この場合、重畳部１２５は、画像上に重畳表示される記述２０３の視認性を高めるために、例えば以下の処理の一部あるいは全部をする。
例えば、重畳部１２５は、動画像データの解像度を低下させる処理、例えば空間的なローパスフィルタを使用した高周波成分除去処理などを行った後に、この動画像データに表示データを重畳する。これにより、動画像データによる画像はぼけた状態となり、当該画像に重畳表示される記述２０３の視認性を高めることができる。
また、例えば、重畳部１２５は、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理した後に、この表示データを動画像データに重畳する。なお、この縁取りの処理は、表示データ発生部１２４で行ってもよい。
例えば、記述部分の元々の色が黒色であれば白色による縁取り処理がされ、逆に記述部分の元々の色が白色であれば黒色による縁取り処理がされる。縁取りの色については、これに限定されるものではない。このように縁取りがされることで、例えば、記述部分の元々の色が記述者２０１の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述２０３の視認性を高めることができる。
また、例えば、重畳部１２５は、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように動画像データの色情報に基づいて表示データの色変更処理をした後に、この表示データを動画像データに重畳する。なお、この色変更処理は、表示データ発生部１２４で行ってもよい。このように表示データの色変更処理がされることで、例えば、記述部分の元々の色が記述者２０１の洋服の色に似通っていた場合に、動画像データによる画像に重畳表示される記述２０３の視認性を高めることができる。
画像圧縮処理部１２６は、重畳部１２５で表示データが重畳された動画像データに対して、例えば、ＭＰＥＧ方式によりデータ圧縮符号化処理を行って、符号化画像データを生成する。ネットワークインタフェース１２７は、画像圧縮処理部１２６で生成された符号化画像データを、無線あるいは有線のネットワークを介して、表示装置１０３-1～１０３-Nに送信する。なお、画像圧縮処理部１２６で生成された符号化画像データを記録部１２８に一時的に記録しておき、ネットワークインタフェース１２７は、適宜なタイミングで記録部１２８から符号化画像データを読み出し、表示装置１０３-1～１０３-Nに送信することも可能とされる。
図１に示す画像処理システム１０の動作を簡単に説明する。カメラ１０１では、記述者２０１が記述部２０２に記述２０３を加えながら説明している状態が撮像されて、動画像データが得られる。この動画像データは、画像処理装置１０２に供給される。
画像処理装置１０２では、カメラ１０１からの動画像データが処理されて記述部分が判断され、記述部分と判断された各部分を記述として表示する表示データが発生され、この表示データが動画像データに重畳される。そして、画像処理装置１０２から表示装置１０３-1～１０３-Nに、無線あるいは有線のネットワークを通じて、表示データが重畳された動画像データ（符号化画像データ）が配信される。
表示装置１０３-1～１０３-Nでは、画像処理装置１０２から受信された動画像データに基づいて、画像表示が行われる。この場合、ディスプレイに表示される画像は、動画像データによる画像の上に記述が重畳表示されたものとなる。
次に、図３に示す画像処理装置１０２の動作を簡単に説明する。画像データ入力部１２２に、カメラ１０１で撮像して得られた動画像データが入力される。この動画像データは、重畳部１２５および記述判断処理部１２３に供給される。
記述判断部１２３では、動画像データが処理され、フレーム毎に記述部分が判断されて、記述部分の画素として保持されていく。記述部分か否かの判断は、現在のフレーム画像と基準フレーム画像との間で画素毎の差分値が抽出され、この差分値が閾値以上である画素が連続する纏まり毎に、形状評価、抽出時間評価および静止時間評価の値を用いて行われる。
この場合、ある期間では記述者２０１で隠れている状態の記述２０３の部分も、記述者２０１が移動や身振りや手振りをすることで、他の期間では記述者２０１で隠れていない状態となるので、ある程度の時間経過により、記述部２０２に記述された記述２０３の部分のほとんどが記述部分の画素として保持されることとなる。
記述判断処理部１２３でフレーム毎に更新される記述部分の画素情報は表示データ発生部１２４に送られる。表示データ発生部１２４では、各フレームにおいて、当該記述部分の画素情報に基づいて、各画素を記述部分として表示する表示データが発生される。この表示データは、重畳部１２５に供給される。
重畳部１２５では、画像データ入力部１２２に入力された動画像データに、表示データ発生部１２４で発生された表示データが重畳される。この場合、重畳部１２５では、画像上に重畳表示される記述２０３の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように表示データの色変更をする処理などが行われる。
表示データが重畳された動画像データは、重畳部１２５から画像圧縮処理部１２６に供給される。画像圧縮処理部１２６では、表示データが重畳された動画像データに対して、例えば、ＭＰＥＧ方式によりデータ圧縮符号化処理が行われ、符号化画像データが生成される。
この符号化画像データは、ネットワークインタフェース１２７に直接供給されるか、あるいは一旦記録部１２８に記録され、適宜なタイミングで再生されてネットワークインタフェース１２７に供給される。ネットワークインタフェース１２７により、符号化画像データが、無線あるいは有線のネットワークを通じて、表示装置１０３-1～１０３-Nに送信される。
図６は、表示装置１０３-1～１０３-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部２０２の前側に記述者２０１が存在する動画像データによる画像の上に、表示データによる記述２０３が重畳表示されている。また、この例においては、記述２０３の部分が縁取りされて示されている。そのため、記述者２０１で隠される記述部２０２上の記述２０３の視認性が、記述者２０１と記述部２０２上の記述２０３との位置関係を保った状態で確保されている。
上述したように、図１に示す画像処理システム１０において、画像処理装置１０２では、記述部分と判断された各部分を記述として表示する表示データを発生して動画像データに重畳している。そのため、記述者２０１によって隠される記述部２０２上の記述２０３の視認性を記述者２０１と記述部２０２上の記述２０３との位置関係を保った状態で確保することができる。
また、図１に示す画像処理システム１０において、画像処理装置１０２では、動画像データに表示データを重畳する際に、画像上に重畳表示される記述２０３の視認性を高めるための処理、例えば、動画像データの解像度を低下させる処理、記述部分と判断された各部分が縁取りされて表示されるように表示データを処理する処理、記述部分と判断された各部分の色が背景画像（動画像データによる画像）の色と異なるように表示データの色変更をする処理などを行っている。そのため、画像上に重畳表示される記述２０３の視認性を高めことができる。
＜２．変形例＞
なお、上述実施の形態においては、記述者２０１の状態によらず、常に動画像データによる画像上に記述２０３を重畳表示する例を示した。しかし、記述者２０１が例えば正面を向いて話し始めた状態では、講義出席者や会議主席者は、当該記述者２０１の一挙手一投足に注目すべきものとも考えられ、その場合には動画像データによる画像上に記述２０３が重畳表示されないようにしてもよい。
図７は、その場合における画像処理装置１０２の構成例を示している。この図７において、図３と対応する部分には同一符号を付し、その詳細説明は省略する。顔認識処理部１２９は、画像データ入力部１２２に入力された動画像データを処理して記述者２０１の顔を認識し、記述者２０１が正面を向いている状態にあるか否かを検知し、その検知結果を制御部１２１に送る。
制御部１２１は、記述者２０１が正面を向いている状態にないときは、上述実施例におけると同様に、記述判断処理部１２３、表示データ発生部１２４および重畳部１２５を動作させる。一方、制御部１２１は、記述者２０１が正面を向いている状態にあるときは、記述判断処理部１２３および表示データ発生部１２４の動作を一時的に停止させ、重畳部１２５では、画像データ入力部１２２に入力された動画像データをそのまま出力とさせる。なお、記述者２０１が正面を向いている状態にあっても、記述判断処理部１２３の動作は継続されていてもよい。
図７に示す画像処理装置１０２のその他の構成および動作は、上述した図３に示す画像処理装置１０２と同様である。
図８は、記述者２０１が正面を向いている状態にあるときに表示装置１０３-1～１０３-Nのディスプレイに表示される表示画像の一例を示している。この表示画像においては、記述部２０２の前側に記述者２０１が存在する動画像データによる画像の上に、表示データによる記述２０３は重畳表示されていない。これにより、講義出席者や会議主席者は、ディスプレイ画面を通じて記述者２０１の一挙手一投足により注目することが可能となる。
なお、動画像データによる画像上に記述２０３が重畳表示されないようにすることは、記述者２０１が正面を向いている状態にあるときに限定されるものではなく、その他の場合であってもよい。また、図７の画像処理装置１０２では記述者２０１が正面を向いている状態にあるか否かを顔認識処理部１２９で検知し、その検知結果に基づいて画像データによる画像上に記述２０３が重畳表示されないようにしている。しかし、動画像データによる画像上に記述２０３を重畳表示するか否かの判断を人為的に行うことも考えられる。
また、上述実施の形態においては、画像処理装置１０２は、カメラ１０１とは別個に設けられている。しかし、カメラ１０１の内部に、画像処理装置１０２の機能を備える構成も考えられる。
図９は、その場合におけるカメラ１０１の構成例を示している。このカメラ１０１は、制御部１１１と、撮像部１１２と、撮像信号処理部１１３と、画像データ出力部１１４を有している。制御部１１１は、カメラ１０１の各部の動作を制御する。撮像部１１２は、図示しない撮像レンズおよび撮像素子を有しており、画像を撮像し、撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子である。
撮像信号処理部１１３は、撮像部１１２から出力される撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、動画像データ（撮像画像データ）を生成する。画像データ出力部１１４は、撮像信号処理部１１３で生成された動画像データを外部機器に出力する、例えば、この画像データ出力部１１４は、例えば外部機器と接続するためのケーブルを接続するコネクタである。また、例えば、この画像データ出力部１１４は、動画像データを外部機器に有線または無線のネットワークで送信するネットワークインタフェースである。
また、このカメラ１０１は、さらに、記述判断処理部１２３と、表示データ発生部１２４と、重畳部１２５と、画像圧縮処理部１２６と、ネットワークインタフェース１２７と、記録部１２８を有している。これらについては、上述の画像処理装置１０２（図３参照）で説明した通りであるので、ここではその説明を省略する。
また、上述実施の形態においては、記述者２０１が記述部２０２、例えばホワイトボード、黒板などに記述２０３を加えながら説明している状態を撮像して得られた動画像データを処理するものであったが、その他の同様の動画像データを処理することもできる。例えば、記述者が机上で紙に記述を加えながら説明している状態を撮像して得られた動画像データを同様に処理して、記述の視認性を高めることも可能である。
また、記述部２０２上の記述は、文字だけに限定されるものではなく、図形やマークであってもよく、また、筆記によるものだけでなく、記述部２０２上に掲示されたものであってもよい。
また、本技術は、以下のような構成を取ることもできる。
（１）記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理部と、
上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理部を備える
画像処理装置。
（２）上記記述判断処理部は、
現在のフレーム画像と基準フレーム画像との間で画素毎の差分値を抽出し、該差分値が閾値以上である画素が連続する纏まりを把握し、該纏まり毎に上記記述部分であるか否かを判断する
前記（１）に記載の画像処理装置。
（３）上記記述判断処理部は、
上記纏まり毎に、形状評価値、抽出時間評価値および静止時間評価値を用いて上記記述部分であるか否かを判断し、
上記記述判断処理部は、
上記形状評価値を、上記纏まりを包含する最小四角形と上記纏まりの内部に包含される最大四角形の縦横比の関係性から求め、
上記抽出時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける上記基準フレーム画像との間の差分値に基づいて求め、
上記静止時間評価値を、上記纏まりに含まれる画素についての現在のフレームおよび現在より前の複数のフレームにおける１フレーム前のフレーム画像との間の差分値に基づいて求める
前記（２）に記載の画像処理装置。
（４）上記記述重畳処理部は、上記表示データを上記動画像データに重畳する際に、記述の視認性を高めるための処理をする
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記記述重畳処理部は、
上記動画像データの解像度を低下させる処理を行った後に、該動画像データに上記表示データを重畳する
前記（４）に記載の画像処理装置。
（６）上記記述重畳処理部は、
上記記述部分と判断された各部分が縁取りされて表示されるように上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記（４）または（５）に記載の画像処理装置。
（７）上記記述重畳処理部は、
上記記述部分と判断された各部分の色が背景画像の色と異なるように上記動画像データの色情報に基づいて上記表示データを処理した後に、該表示データを上記動画像データに重畳する
前記（４）から（６）のいずれかに記載の画像処理装置。
（８）上記動画像データに基づいて上記記述者の顔が正面を向いている状態が検知されるとき、上記動画像データに上記表示データを重畳しないように上記記述重畳処理部を制御する記述重畳制御部をさらに備える
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）上記記述者が記述部に記述している状態を撮像する撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記記述重畳処理部で得られた動画像データを外部機器に送信する送信部をさらに備える
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）記述判断処理部が、記述者が記述部に記述している状態を撮像して得られた動画像データを処理して記述部分を判断する記述判断処理ステップと、
記述重畳処理部が、上記記述部分と判断された各部分を記述として表示する表示データを発生して上記動画像データに重畳する記述重畳処理ステップを有する
画像処理方法。
１０・・・画像処理システム
１０１・・・カメラ
１０２・・・画像処理装置
１０３-1～１０３-N・・・表示装置
１１１・・・制御部
１１２・・・撮像部
１１３・・・撮像信号処理部
１１４・・・画像データ出力部
１２１・・・制御部
１２２・・・画像データ入力部
１２３・・・記述判断処理部
１２４・・・表示データ発生部
１２５・・・重畳部
１２６・・・画像圧縮処理部
１２７・・・ネットワークインタフェース
１２８・・・記録部
１２９・・・顔認識処理部
２０１・・・記述者
２０２・・・記述部
２０３・・・記述

Claims (18)

  1. 記述者が記述している記述部分を決定する記述決定部と、
    前記記述者の状態を検知する状態検知部と、
    前記状態検知部によって検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳部を備える
    画像処理装置。
  2. 前記記述決定部は、前記記述者を撮像して得られた画像データから前記記述部分を決定する
    請求項１に記載の画像処理装置。
  3. 前記状態検知部は、前記記述者を撮像して得られた画像データから前記記述者の状態を検知する
    請求項１または２に記載の画像処理装置。
  4. 前記重畳部は、前記記述者が所定の状態にあるか否かに基づいて、前記表示データを前記画像データに重畳するかしないかを決定する
    請求項１から３のいずれかに記載の画像処理装置。
  5. 前記重畳部は、前記記述者が前記所定の状態にある場合、前記表示データを前記画像データに重畳しない
    請求項４に記載の画像処理装置。
  6. 前記所定の状態は、前記記述者が特定の人と話している状態である
    請求項５に記載の画像処理装置。
  7. 前記所定の状態は、前記記述者が特定の方向を向いている状態である
    請求項５に記載の画像処理装置。
  8. 前記重畳部は、前記記述者が正面を向いている状態にある場合、前記表示データを前記画像データに重畳しない
    請求項１から３のいずれかに記載の画像処理装置。
  9. 前記重畳部は、前記記述部分と決定された各部分を記述として表示する前記表示データを前記画像データに重畳する
    請求項１から８のいずれかに記載の画像処理装置。
  10. 前記重畳部は、前記表示データを前記画像データに重畳する際に、記述の視認性を高めるための処理をする
    請求項１から９のいずれかに記載の画像処理装置。
  11. 前記重畳部は、前記画像データの解像度を低下させる処理を行った後に、該画像データに前記表示データを重畳する
    請求項１から９のいずれかに記載の画像処理装置。
  12. 前記重畳部は、前記記述部分と判断された各部分が縁取りされて表示されるように前記表示データを処理した後に、該表示データを前記画像データに重畳する
    請求項１から９のいずれかに記載の画像処理装置。
  13. 前記重畳部は、前記記述部分と判断された各部分の色が背景画像の色と異なるように前記画像データの色情報に基づいて前記表示データを処理した後に、該表示データを前記画像データに重畳する
    請求項１から９のいずれかに記載の画像処理装置。
  14. 前記記述者の顔を認識する顔認識部をさらに備え、
    前記状態検知部は、前記顔認識部による顔認識結果に基づいて、前記記述者の状態を検知する
    請求項１から１３のいずれかに記載の画像処理装置。
  15. 前記画像データは、前記記述部分が記述される領域の少なくとも一部を含む
    請求項１から１４のいずれかに記載の画像処理装置。
  16. 前記記述部分は、文字、図形、マークの少なくとも一つを含む
    請求項１から１５のいずれかに記載の画像処理装置。
  17. 記述決定部が、記述者が記述している記述部分を決定する記述決定ステップと、
    状態検知部が、前記記述者の状態を検知する状態検知ステップと、
    重畳部が、前記状態検知ステップで検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳ステップを有する
    画像処理方法。
  18. 記述決定部が、記述者が記述している記述部分を決定する記述決定ステップと、
    状態検知部が、前記記述者の状態を検知する状態検知ステップと、
    重畳部が、前記状態検知ステップで検知された前記記述者の状態に基づいて、前記記述部分に対応する表示データを生成し、前記記述者を撮像して得られた画像データに重畳する重畳ステップを有する画像処理方法を
    コンピュータに実行させるためのプログラム。
JP2021189810A 2017-03-08 2021-11-24 画像処理装置、画像処理方法およびプログラム Active JP7218786B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017043471 2017-03-08
JP2017043471 2017-03-08
PCT/JP2018/007905 WO2018163977A1 (ja) 2017-03-08 2018-03-01 画像処理装置および画像処理方法
JP2019504531A JP6984648B2 (ja) 2017-03-08 2018-03-01 画像処理装置および画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019504531A Division JP6984648B2 (ja) 2017-03-08 2018-03-01 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2022036991A true JP2022036991A (ja) 2022-03-08
JP7218786B2 JP7218786B2 (ja) 2023-02-07

Family

ID=63448953

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019504531A Active JP6984648B2 (ja) 2017-03-08 2018-03-01 画像処理装置および画像処理方法
JP2021189810A Active JP7218786B2 (ja) 2017-03-08 2021-11-24 画像処理装置、画像処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019504531A Active JP6984648B2 (ja) 2017-03-08 2018-03-01 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (2) US11102425B2 (ja)
EP (1) EP3595289A4 (ja)
JP (2) JP6984648B2 (ja)
KR (1) KR102435737B1 (ja)
CN (1) CN110366849B (ja)
WO (1) WO2018163977A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873709B2 (en) 2018-07-10 2020-12-22 Fuji Xerox Co., Ltd. Systems and methods for automatic detection and insetting of digital streams into a 360-degree video
CN115516505A (zh) * 2020-05-15 2022-12-23 索尼集团公司 图像处理设备、图像处理方法和程序

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179888A (ja) * 2001-12-11 2003-06-27 Nec Corp コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP2004212895A (ja) * 2003-01-08 2004-07-29 Nec Corp 教育支援システム及び方法並びに教育支援用プログラム
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
JP2012064214A (ja) * 2010-09-15 2012-03-29 Sharp Corp 画像表示方法、共有ボードシステム
JP2014010781A (ja) * 2012-07-02 2014-01-20 Sharp Corp 表示装置、表示方法、制御プログラム、および、記録媒体
US20140105563A1 (en) * 2008-08-29 2014-04-17 Freedom Scientific, Inc. Segmenting and playback of whiteboard video capture
JP2014153419A (ja) * 2013-02-05 2014-08-25 Kobunshoin Co Ltd 書写教則教材、および書写教則教材の作成方法
JP2015069234A (ja) * 2013-09-26 2015-04-13 シャープ株式会社 表示処理装置、並びにその制御方法および制御プログラム
US20150271446A1 (en) * 2014-03-18 2015-09-24 Citrix Systems, Inc. Sharing physical whiteboard content in electronic conference
JP2016119567A (ja) * 2014-12-19 2016-06-30 シャープ株式会社 画像処理装置、画像処理方法、電子機器、及び画像処理プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224847B2 (en) * 2003-02-24 2007-05-29 Microsoft Corp. System and method for real-time whiteboard streaming
US7880719B2 (en) * 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
JP5493709B2 (ja) * 2009-03-13 2014-05-14 株式会社リコー 映像編集装置
US20110145725A1 (en) * 2009-12-11 2011-06-16 Richard John Campbell Methods and Systems for Attaching Semantics to a Collaborative Writing Surface
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
CN102651810A (zh) * 2011-02-25 2012-08-29 株式会社理光 白板共享系统和白板共享方法
JP6102215B2 (ja) * 2011-12-21 2017-03-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US9542958B2 (en) * 2012-12-18 2017-01-10 Seiko Epson Corporation Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
US9830060B2 (en) * 2013-08-28 2017-11-28 Microsoft Technology Licensing, Llc Manipulation of content on a surface
CN104980475B (zh) * 2014-04-04 2019-12-10 北京百度网讯科技有限公司 显示内容的同步呈现方法和装置
US10061467B2 (en) * 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
KR101702535B1 (ko) * 2015-08-06 2017-02-22 주식회사 미디어와사람들 결함내성 설계반영의 멀티데이터 녹취시스템 및 안전성 향상 방법
KR101904817B1 (ko) * 2017-12-21 2018-10-05 (주) 미스터멘션 통화 내용 음성-텍스트 변환 녹취록 생성 시스템
US10547768B2 (en) * 2018-05-04 2020-01-28 International Business Machines Corporation Physical obstruction correction based virtual display generation
KR102100178B1 (ko) * 2019-01-21 2020-05-15 퓨렌스 주식회사 블록 체인 기반의 녹취 정보 위변조 확인 시스템 및 그 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179888A (ja) * 2001-12-11 2003-06-27 Nec Corp コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
JP2004212895A (ja) * 2003-01-08 2004-07-29 Nec Corp 教育支援システム及び方法並びに教育支援用プログラム
US20140105563A1 (en) * 2008-08-29 2014-04-17 Freedom Scientific, Inc. Segmenting and playback of whiteboard video capture
JP2011044061A (ja) * 2009-08-24 2011-03-03 Tokyo Univ Of Agriculture & Technology 画像表示装置、入力装置、及び画像表示方法
JP2012064214A (ja) * 2010-09-15 2012-03-29 Sharp Corp 画像表示方法、共有ボードシステム
JP2014010781A (ja) * 2012-07-02 2014-01-20 Sharp Corp 表示装置、表示方法、制御プログラム、および、記録媒体
JP2014153419A (ja) * 2013-02-05 2014-08-25 Kobunshoin Co Ltd 書写教則教材、および書写教則教材の作成方法
JP2015069234A (ja) * 2013-09-26 2015-04-13 シャープ株式会社 表示処理装置、並びにその制御方法および制御プログラム
US20150271446A1 (en) * 2014-03-18 2015-09-24 Citrix Systems, Inc. Sharing physical whiteboard content in electronic conference
JP2016119567A (ja) * 2014-12-19 2016-06-30 シャープ株式会社 画像処理装置、画像処理方法、電子機器、及び画像処理プログラム

Also Published As

Publication number Publication date
US11659134B2 (en) 2023-05-23
JP6984648B2 (ja) 2021-12-22
CN110366849B (zh) 2022-02-11
US20190364225A1 (en) 2019-11-28
EP3595289A1 (en) 2020-01-15
KR20190122692A (ko) 2019-10-30
CN114257773A (zh) 2022-03-29
JP7218786B2 (ja) 2023-02-07
US20210352223A1 (en) 2021-11-11
WO2018163977A1 (ja) 2018-09-13
EP3595289A4 (en) 2020-03-04
CN110366849A (zh) 2019-10-22
US11102425B2 (en) 2021-08-24
KR102435737B1 (ko) 2022-08-23
JPWO2018163977A1 (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
US9270941B1 (en) Smart video conferencing system
US20230206569A1 (en) Augmented reality conferencing system and method
US20130242127A1 (en) Image creating device and image creating method
JP7218786B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113302915B (zh) 生成出现在物理表面上且在视频上捕获的内容的记录的方法及系统
CN108010037A (zh) 图像处理方法、装置及存储介质
JP5317630B2 (ja) 画像配信装置、方法及びプログラム
US11880983B2 (en) Image enhancement system
JP2020535688A (ja) 物理的な筆記面を含むビデオの処理
JP5793975B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体
CN108737852A (zh) 一种视频处理方法、终端、具有存储功能的装置
JP7334470B2 (ja) 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
JP4649640B2 (ja) 画像処理方法、画像処理装置、及びコンテンツ作成システム
US20160142633A1 (en) Capture apparatuses of video images
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN114257773B (zh) 图像处理设备和图像处理方法
CN113810725A (zh) 视频处理方法、装置、存储介质及视频通讯终端
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법
JP5004680B2 (ja) 画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体
JP2007174269A (ja) 画像処理装置および方法、並びにプログラム
JP6254862B2 (ja) 撮像装置およびその制御方法、システム、並びにプログラム
JP2023157347A (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び画像処理システム
CN117676097A (zh) 基于虚拟isp的三目摄像头拼接显示装置及方法
KR20200025083A (ko) 가상현실 영상의 제작 및 중계를 위한 1인 미디어 방송 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230109

R151 Written notification of patent or utility model registration

Ref document number: 7218786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151